wZD is een krachtige opslagserver efficiënt, ontworpen pvoor grote gegevensopslagsystemen met kleine en grote bestanden voor gemengd gebruik en vermindert drastisch een groot aantal bestanden in een compacte vorme ziet er van buiten uit als een normale WebDAV-server.
De server is geschreven in Go-taal dat gebruikt een aangepaste versie van de BoltDB-database als back-end voor het opslaan en distribueren van een willekeurig aantal kleine en grote bestanden, NoSQL-sleutels/waarden, in een compacte vorm binnen micro Bolt-databases (archieven), met distributie van bestanden en waarden in BoltDB-databases, afhankelijk van het aantal mappen of submappen en de algemene structuur van de mappen.
De server kan het aantal kleine bestanden in reguliere of geclusterde bestandssystemen aanzienlijk verminderen met volledige vergrendelingsondersteuning. Ondersteund door de wZD-ontwikkelaars, slaat het cluster ongeveer 250 miljoen kleine bestanden op, verspreid over 15 miljoen mappen op het MooseFS FS-cluster.
Over wZD
wZD maakt het mogelijk om te bewegen (bestand) de inhoud van mappen naar bestanden in BoltDB-indeling en vervolgens deze bestanden uit deze archieven distribueren (of bestanden in archieven plaatsen met behulp van de PUT-methode), waardoor het aantal bestanden op het bestandssysteem aanzienlijk wordt verminderd en de overhead voor metadataopslag wordt verminderd.
Om de verwerking van grote bestanden efficiënter te maken, kunnen dergelijke bestanden afzonderlijk van Bolt-bestanden worden opgeslagen.
Dergelijke aanpak stelt u in staat om de opslag van een groot aantal kleine bestanden te organiseren, zonder te rusten op de limiet van het aantal inodes in het bestandssysteem.
De server kan ook worden gebruikt als een NoSQL-database voor gegevens in sleutel/waarde-indeling (met partities op basis van directorystructuur) of voor het distribueren van vooraf gegenereerde html- of json-documenten uit de database.
In termen van prestaties leidt het laden en schrijven van gegevens met behulp van Bolt-bestanden tot een toename van de latentie van ongeveer 20-25% bij het lezen en 40-50% bij het schrijven. Hoe kleiner de bestandsgrootte, hoe kleiner het verschil in latentie.
Van de belangrijkste kenmerken, vallen het volgende op:
- multithreading
- Meerdere servers voor fouttolerantie en taakverdeling
- Maximale transparantie voor de gebruiker of ontwikkelaar
- Ondersteunde HTTP-methoden: GET, HEAD, PUT en DELETE
- Beheer lees- en schrijfgedrag via clientheaders
- Ondersteuning voor aanpasbare virtuele hosts.
- Lineaire lees- en schrijfschaling met behulp van geclusterde bestandssystemen
- Effectieve methoden voor het lezen en schrijven van gegevens.
- Ondersteunt CRC-gegevensintegriteit bij schrijven of lezen
- Ondersteuning voor Range- en Accept-Ranges-, If-None-Match- en If-Modifed-Since-headers
- Bewaar en deel 10.000 keer meer bestanden dan inodes op elk Posix-compatibel bestandssysteem, afhankelijk van de directorystructuur
- Ondersteuning voor het toevoegen, bijwerken, verwijderen van bestanden en waarden, en vertraagde verdichting van Bolt-bestanden
- Hiermee kan de server worden gebruikt als een NoSQL-database, met eenvoudige sharding op basis van directorystructuur
- Bolt-bestandsondersteuning voor het selectief lezen van een bepaald aantal bytes van een waarde
- Eenvoudig gegevens indelen in duizenden of miljoenen Bolt-bestanden op basis van directorystructuur
- Ondersteuning voor gemengde modus, met de mogelijkheid om grote bestanden afzonderlijk van Bolt-bestanden op te slaan
- Ondersteuning voor het verkrijgen van een lijst of aantal sleutels in een directory, inclusief niet-unieke sleutels
- Bevat een wZA-archiver met meerdere threads om bestanden te migreren zonder de service te stoppen
Wat betreft de beperkingen van de huidige versie: er is geen ondersteuning voor Multipart, de POST-methode, het HTTPS-protocol, mappen voor programmeertalen, recursieve verwijdering van mappen, geen ondersteuning voor het koppelen van structuur aan bestandssysteem via WebDAV of FUSE, worden de bestanden opgeslagen onder een systeemgebruiker.
Eindelijk als u er meer over wilt weten over wZD, evenals de instructies en vereisten voor de installatie ervan, kunt u de details raadplegen In de volgende link.