wZD - потужний сервер зберігання даних ефективно, розроблений сдля великих систем зберігання даних з малими та великими файлами для змішаного використання і різко зменшує велику кількість файлів у компактній формі, щоЗовні він виглядає як звичайний сервер WebDAV.
Сервер написано мовою Go що використовує модифіковану версію бази даних BoltDB як задній інтерфейс для збереження та розповсюдження будь-якої кількості малих та великих файлів, ключів / значень NoSQL у компактній формі в мікробазах даних (файлах) Bolt, з розподілом файлів та значень у базах даних BoltDB залежно від кількості каталоги або підкаталоги та загальна структура каталогів.
Сервер може значно зменшити кількість малих файлів у звичайних або кластерних файлових системах з повним замком. За підтримки розробників wZD, кластер зберігає близько 250 мільйонів невеликих файлів, розподілених по 15 мільйонам каталогів кластера MooseFS FS.
Про wZD
wZD дає можливість рухатися (файл) вміст каталогів до файлів у форматі BoltDB а потім розподілити ці файли з цих файлів (або вкласти їх у файли методом PUT), значно зменшивши кількість файлів у файловій системі та зменшивши накладні витрати на зберігання метаданих.
Для підвищення ефективності обробки великих файлів такі файли можна зберігати окремо від файлів Bolt.
Такий підхід дозволяє організувати зберігання великої кількості невеликих файлів, не обмежуючись обмеженням кількості інодів у файловій системі.
Сервер також може використовуватися як база даних NoSQL для даних у форматі ключ / значення (з розділами на основі структури каталогів) або для розповсюдження попередньо згенерованих html або json документів із бази даних.
Що стосується продуктивності, завантаження та запис даних за допомогою файлів Bolt призводить до збільшення затримки приблизно на 20-25% при читанні та на 40-50% при записі. Чим менший розмір файлу, тим менша різниця в затримці.
З ключових особливостей, виділяються:
- Багатопотоковість
- Кілька серверів для відмовостійкості та балансування навантаження
- Максимальна прозорість для користувача або розробника
- Підтримувані методи HTTP: GET, HEAD, PUT та DELETE
- Керуйте поведінкою читання та запису за допомогою заголовків клієнта
- Підтримка настроюваних віртуальних хостів.
- Лінійне масштабування читання / запис за допомогою об'єднаних файлових систем
- Ефективні методи читання та запису даних.
- Підтримує цілісність даних CRC під час запису або читання
- Підтримуються заголовки Range та Accept-Ranges, If-None-Match та If-Modifed-Since
- Зберігайте та обмінюйтесь у 10.000 разів більшою кількістю файлів, ніж inodes, у будь-якій сумісній з Posix файловій системі, залежно від структури каталогів
- Підтримка додавання, оновлення, видалення файлів і значень та відкладене ущільнення файлів Bolt
- Дозволяє серверу використовуватись як база даних NoSQL, з легкою фрагментацією на основі структури каталогів
- Підтримка файлу болтів для вибіркового зчитування певної кількості байтів значення
- Легка фрагментація даних на тисячі або мільйони файлів Bolt на основі структури каталогів
- Підтримка змішаного режиму з можливістю зберігати великі файли окремо від файлів Bolt
- Підтримка отримання списку або кількості ключів у каталозі, включаючи не унікальні
- Включає багатопотоковий файл WZA для перенесення файлів без зупинки служби
Щодо обмежень поточної версії: немає підтримки Multipart, метод POST, протокол HTTPS, папки для мов програмування, рекурсивне видалення каталогів, немає підтримки монтування структури у файловій системі через WebDAV або FUSE, файли зберігаються під користувачем системи.
В кінці кінців якщо вам цікаво дізнатись більше про це про wZD, а також інструкції та вимоги щодо його встановлення ви можете ознайомитися з деталями У наступному посиланні.