wZD - мощный сервер хранения эффективно, спроектированный pдля больших систем хранения данных с маленькими и большими файлами для смешанного использования и значительно уменьшает большое количество файлов в компактной форме, котораяe снаружи выглядит как обычный WebDAV-сервер.
Сервер написан на языке Go что использует модифицированную версию базы данных BoltDB в качестве серверной части для сохранения и распространения любого количества маленьких и больших файлов, ключей / значений NoSQL, в компактной форме в базах данных (файлах) Micro Bolt, с распределением файлов и значений в базах данных BoltDB в зависимости от количества каталоги или подкаталоги и общая структура каталогов.
Сервер может значительно уменьшить количество небольших файлов в обычных или кластерных файловых системах с кронштейном полного замка. При поддержке разработчиков wZD в кластере хранится около 250 миллионов небольших файлов, распределенных в 15 миллионах каталогов в кластере MooseFS FS.
О wZD
вЗД позволяет двигаться (файл) содержимое каталогов в файлы в формате BoltDB а затем распространять эти файлы из этих файлов (или помещать файлы в файлы с помощью метода PUT), значительно уменьшая количество файлов в файловой системе и уменьшая накладные расходы на хранение метаданных.
Чтобы повысить эффективность обработки больших файлов, такие файлы можно хранить отдельно от файлов Bolt.
Такой подход позволяет организовать хранение большого количества небольших файлов, без ограничения количества индексных дескрипторов в файловой системе.
Сервер также может использоваться как база данных NoSQL для данных в формате "ключ-значение" (с разделами на основе структуры каталогов) или для распространения предварительно сгенерированных документов html или json из базы данных.
Что касается производительности, загрузка и запись данных с использованием файлов Bolt приводит к увеличению задержки примерно на 20-25% при чтении и на 40-50% при записи. Чем меньше размер файла, тем меньше разница в задержке.
Из ключевых особенностей, выделяются следующие:
- многопоточность
- Несколько серверов для отказоустойчивости и балансировки нагрузки
- Максимальная прозрачность для пользователя или разработчика
- Поддерживаемые методы HTTP: GET, HEAD, PUT и DELETE
- Управление поведением чтения и записи с помощью заголовков клиента
- Поддержка настраиваемых виртуальных хостов.
- Масштабирование линейного чтения / записи с использованием объединенных файловых систем
- Эффективные методы чтения и записи данных.
- Поддерживает целостность данных CRC при записи или чтении
- Поддержка заголовков Range и Accept-Ranges, If-None-Match и If-Modifed-Since
- Хранение и совместное использование файлов в 10.000 раз больше, чем inodes в любой совместимой с Posix файловой системе, в зависимости от структуры каталогов
- Поддержка добавления, обновления, удаления файлов и значений, а также отложенного сжатия файлов Bolt.
- Позволяет использовать сервер в качестве базы данных NoSQL с простой фрагментацией на основе структуры каталогов
- Поддержка файлов болтов для выборочного чтения определенного количества байтов значения
- Простая фрагментация данных на тысячи или миллионы файлов Bolt на основе структуры каталогов
- Поддержка смешанного режима с возможностью сохранения больших файлов отдельно от файлов Bolt.
- Поддержка получения списка или количества ключей в каталоге, в том числе неуникальных.
- Включает многопоточный файлер wZA для переноса файлов без остановки службы
Что касается ограничений текущей версии: нет поддержки Multipart, метод POST, протокол HTTPS, папки для языков программирования, рекурсивное удаление каталогов, нет поддержки монтирования структуры в файловую систему через WebDAV или FUSE, файлы хранятся под системным пользователем.
В конце концов если вам интересно узнать об этом больше о wZD, а также об инструкциях и требованиях по его установке вы можете узнать подробнее По следующей ссылке.