wZD е мощен сървър за съхранение ефективно, проектиран стрза големи системи за съхранение на данни с малки и големи файлове за смесена употреба и драстично намалява голям брой файлове в компактна форма, коятоОтвън изглежда като нормален WebDAV сървър.
Сървърът е написано на Go език че използва модифицирана версия на базата данни BoltDB като back-end за запазване и разпространение на произволен брой малки и големи файлове, NoSQL ключове / стойности, в компактна форма в микроболни бази данни (файлове), с разпределение на файлове и стойности в бази данни на BoltDB в зависимост от броя на директории или поддиректории и общата структура на директориите.
Сървърът може значително да намали броя на малките файлове в обикновени или клъстерирани файлови системи с пълна заключваща скоба. Подкрепен от разработчици на wZD, клъстерът съхранява около 250 милиона малки файлове, разпределени в 15 милиона директории в клъстера MooseFS FS.
За wZD
wZD прави възможно придвижването (файл) съдържанието на директориите на файлове във формат BoltDB и след това разпределете тези файлове от тези файлове (или ги поставете във файлове, използвайки метода PUT), значително намалявайки броя на файловете във файловата система и намалявайки режийните разходи за съхранение на метаданни.
За да се увеличи ефективността на обработката на големи файлове, такива файлове могат да се съхраняват отделно от Bolt файловете.
Такъв подход ви позволява да организирате съхранението на голям брой малки файлове, без да почива на ограничението на броя на инодите във файловата система.
Сървърът може да се използва и като база данни NoSQL за данни във формат ключ / стойност (с дялове, базирани на структурата на директорията) или за разпространение на предварително генерирани html или json документи от базата данни.
По отношение на производителността, зареждането и записването на данни с помощта на Bolt файлове води до увеличаване на латентността с приблизително 20-25% при четене и 40-50% при писане. Колкото по-малък е размерът на файла, толкова по-малка е разликата в латентността.
От основните характеристики, се открояват следните:
- Многопоточност
- Множество сървъри за толерантност към грешки и балансиране на натоварването
- Максимална прозрачност за потребителя или разработчика
- Поддържани HTTP методи: GET, HEAD, PUT и DELETE
- Управлявайте поведението за четене и запис чрез клиентски заглавки
- Поддръжка за персонализирани виртуални хостове.
- Линейно мащабиране на четене / запис с помощта на обединени файлови системи
- Ефективни методи за четене и запис на данни.
- Поддържа целостта на CRC данните при писане или четене
- Range и Accept-Ranges, If-None-Match и If-Modifed-Since заглавките поддържат
- Съхранявайте и споделяйте 10.000 XNUMX пъти повече файлове от inodes във всяка файлова система, съвместима с Posix, в зависимост от структурата на директориите
- Поддръжка за добавяне, актуализиране, изтриване на файлове и стойности и забавено уплътняване на Bolt файлове
- Позволява на сървъра да се използва като база данни NoSQL, с лесно фрагментиране въз основа на структурата на директориите
- Поддръжка на болтов файл за селективно четене на определен брой байтове на стойност
- Лесно фрагментиране на данни в хиляди или милиони Bolt файлове въз основа на структурата на директориите
- Поддръжка в смесен режим, с възможност за запазване на големи файлове отделно от Bolt файлове
- Поддръжка за получаване на списък или брой ключове в директория, включително неуникални
- Включва многонишков wZA файл за мигриране на файлове без спиране на услугата
По отношение на ограниченията на текущата версия: няма поддръжка за Multipart, методът POST, протоколът HTTPS, папки за езици за програмиране, рекурсивно изтриване на директории, няма поддръжка за монтиране на структурата във файловата система чрез WebDAV или FUSE, файловете се съхраняват под системния потребител.
Накрая ако се интересувате да научите повече за това за wZD, както и инструкциите и изискванията за инсталирането му, можете да се консултирате с подробностите В следващия линк.