wZD és un potent servidor d'emmagatzematge eficientment, dissenyat perara sistemes d'emmagatzematge de dades grans amb arxius petits i grans per a ús mixt i redueix dràsticament una gran quantitat darxius en una forma compacta que sembla un servidor WebDAV normal des de l'exterior.
el servidor està escrit en llenguatge Go que utilitza una versió modificada de la base de dades BoltDB com a back-end per guardar i distribuir qualsevol quantitat d'arxius petits i grans, claus/valors NoSQL, en una forma compacta dins de bases de dades micro Bolt (arxius), amb distribució d'arxius i valors a bases de dades BoltDB depenent del nombre de directoris o subdirectoris i lestructura general dels directoris.
el servidor pot reduir significativament la quantitat de fitxers petits en sistemes de fitxers regulars o agrupats amb suport de bloqueig total. Amb el suport dels desenvolupadors de wZD, el clúster emmagatzema al voltant de 250 milions d'arxius petits distribuïts en 15 milions de directoris al clúster MooseFS FS.
Sobre wZD
wZD fa possible moure (arxivar) el contingut de directoris a fitxers en format BoltDB i després distribuir aquests fitxers des d'aquests fitxers (o posar fitxers en fitxers usant el mètode PUT), reduint significativament el nombre de fitxers al sistema de fitxers i reduint la sobrecàrrega d'emmagatzematge de metadades.
Per augmentar l'eficiència del processament de fitxers grans, aquests fitxers es poden emmagatzemar per separat dels fitxers de Bolt.
Aquest enfocament li permet organitzar l'emmagatzematge d'una gran quantitat de fitxers petits, sense descansar al límit de la quantitat d'inodes al sistema de fitxers.
el servidor també es pot utilitzar com una base de dades NoSQL per a dades en format clau/valor (amb particions basades en l'estructura del directori) o per distribuir documents html o json generats prèviament des de la base de dades.
En termes de rendiment, carregar i escriure dades usant arxius Bolt condueix a un augment en la latència daproximadament 20-25% en llegir i de 40 a 50% en escriure. Com més petita sigui la mida del fitxer, menor serà la diferència en la latència.
De les característiques clau, Es destaquen les següents:
- Multithreading
- Servidors múltiples per a tolerància a falles i equilibri de càrrega
- Màxima transparència per a l'usuari o el desenvolupador
- Mètodes HTTP admesos: GET, HEAD, PUT i DELETE
- Administra el comportament de lectura i escriptura a través de capçaleres de clients
- Suport per a hosts virtuals personalitzables.
- Escalat lineal de lectura i escriptura utilitzant sistemes de fitxers agrupats
- Mètodes efectius de lectura i escriptura de dades.
- Admet integritat de dades CRC en escriure o llegir
- Compatibilitat amb encapçalats Range i Accept-Ranges, If-None-Match i If-Modifed-Since
- Emmagatzemeu i compartiu 10.000 vegades més fitxers que inodes en qualsevol sistema de fitxers compatible amb Posix, depenent de l'estructura del directori
- Suport per afegir, actualitzar, eliminar fitxers i valors, i compactació retardada de fitxers Bolt
- Permet que el servidor es faci servir com una base de dades NoSQL, amb una fragmentació fàcil basada en l'estructura del directori
- Suport de fitxers Bolt per a la lectura selectiva d'un cert nombre de bytes d'un valor
- Fragmentació fàcil de dades en milers o milions de fitxers Bolt basats en l'estructura de directoris
- Suport de manera mixta, amb capacitat per guardar fitxers grans per separat dels fitxers Bolt
- Suport per obtenir una llista o nombre de claus en un directori, incloses les no úniques
- Inclou un arxivador wZA multiprocés per migrar fitxers sense aturar el servei
Pel que fa a les limitacions de la versió actual: no hi ha suport per a Multipart, el mètode POST, el protocol HTTPS, carpetes per a llenguatges de programació, eliminació recursiva de directoris, no hi ha suport per muntar l'estructura al sistema de fitxers a través de WebDAV o FUSE, els fitxers s'emmagatzemen sota un usuari del sistema.
Finalment si estàs interessat en conèixer més a l'respecte sobre wZD així com les instruccions i requisits per a la seva instal·lació pots consultar els detalls en el següent enllaç.