wZD è un potente server di archiviazione efficiente, progettato pper sistemi di archiviazione dati di grandi dimensioni con file piccoli e grandi per uso misto e riduce drasticamente un gran numero di file in una forma compatta cheDall'esterno sembra un normale server WebDAV.
Il server è scritto in lingua Go che utilizza una versione modificata del database BoltDB come back-end per salvare e distribuire qualsiasi numero di file piccoli e grandi, chiavi / valori NoSQL, in una forma compatta all'interno di database micro Bolt (file), con distribuzione di file e valori nei database BoltDB a seconda del numero di directory o sottodirectory e la struttura generale delle directory.
Il server può ridurre significativamente il numero di file di piccole dimensioni nei file system regolari o in cluster con staffa di blocco completa. Supportato dagli sviluppatori wZD, il cluster memorizza circa 250 milioni di piccoli file distribuiti in 15 milioni di directory sul cluster MooseFS FS.
Informazioni su wZD
wZD permette di muoversi (file) il contenuto delle directory nei file in formato BoltDB e quindi distribuire questi file da questi file (o inserire file in file utilizzando il metodo PUT), riducendo in modo significativo il numero di file nel file system e riducendo l'overhead di archiviazione dei metadati.
Per aumentare l'efficienza dell'elaborazione di file di grandi dimensioni, tali file possono essere archiviati separatamente dai file Bolt.
Un tale approccio consente di organizzare l'archiviazione di un gran numero di piccoli file, senza riposare sul limite del numero di inode nel filesystem.
Il server può essere utilizzato anche come database NoSQL per i dati in formato chiave / valore (con partizioni basate sulla struttura della directory) o per distribuire documenti html o json pre-generati dal database.
In termini di prestazioni, il caricamento e la scrittura dei dati utilizzando i file Bolt porta ad un aumento della latenza di circa il 20-25% durante la lettura e del 40-50% durante la scrittura. Minore è la dimensione del file, minore è la differenza di latenza.
Delle caratteristiche principali, si distinguono i seguenti:
- multithreading
- Più server per tolleranza ai guasti e bilanciamento del carico
- Massima trasparenza per l'utente o sviluppatore
- Metodi HTTP supportati: GET, HEAD, PUT e DELETE
- Gestisci il comportamento di lettura e scrittura tramite le intestazioni dei client
- Supporto per host virtuali personalizzabili.
- Ridimensionamento lineare in lettura / scrittura utilizzando file system in pool
- Metodi efficaci di lettura e scrittura dei dati.
- Supporta l'integrità dei dati CRC durante la scrittura o la lettura
- Supporto delle intestazioni Range e Accept-Ranges, If-None-Match e If-Modifed-Since
- Archivia e condividi 10.000 volte più file degli inode su qualsiasi file system compatibile con Posix, a seconda della struttura della directory
- Supporto per l'aggiunta, l'aggiornamento, l'eliminazione di file e valori e la compattazione ritardata dei file Bolt
- Consente al server di essere utilizzato come database NoSQL, con una facile frammentazione basata sulla struttura delle directory
- Supporto per file Bolt per la lettura selettiva di un certo numero di byte di un valore
- Facile frammentazione dei dati in migliaia o milioni di file Bolt in base alla struttura delle directory
- Supporto della modalità mista, con la possibilità di salvare file di grandi dimensioni separatamente dai file Bolt
- Supporto per ottenere un elenco o un numero di chiavi in una directory, comprese quelle non univoche
- Include un filer wZA multi-thread per migrare i file senza interrompere il servizio
Per quanto riguarda le limitazioni della versione attuale: non c'è supporto per Multipart, il metodo POST, il protocollo HTTPS, cartelle per linguaggi di programmazione, cancellazione ricorsiva di directory, non c'è supporto per il montaggio della struttura nel file system tramite WebDAV o FUSE, i file vengono archiviati in un utente di sistema.
Infine se sei interessato a saperne di più su wZD oltre alle istruzioni e ai requisiti per la sua installazione è possibile consultare i dettagli nel seguente link