wZD er en stærk lagerserver effektivt, designet stil store datalagringssystemer med små og store filer til blandet brug og reducerer drastisk et stort antal filer i en kompakt form, dere ligner en normal WebDAV-server udefra.
Serveren er skrevet på Go-sprog at bruger en ændret version af BoltDB-databasen som en back-end til at gemme og distribuere et hvilket som helst antal små og store filer, NoSQL-nøgler / værdier, i en kompakt form inden for micro Bolt-databaser (filer), med distribution af filer og værdier i BoltDB-databaser afhængigt af antallet af mapper eller undermapper og mappernes generelle struktur.
Serveren kan reducere antallet af små filer i almindelige eller grupperede filsystemer betydeligt med fuld låsebeslag. Støttet af wZD-udviklere gemmer klyngen omkring 250 millioner små filer fordelt på 15 millioner kataloger på MooseFS FS-klyngen.
Om wZD
wZD gør det muligt at bevæge sig (fil) indholdet af mapper til filer i BoltDB-format og distribuer derefter disse filer fra disse filer (eller læg filer i filer ved hjælp af PUT-metoden), hvilket reducerer antallet af filer i filsystemet markant og reducerer omkostningerne til lagring af metadata.
For at øge effektiviteten ved behandling af store filer kan sådanne filer gemmes separat fra Bolt-filer.
En sådan tilgang giver dig mulighed for at organisere lagring af et stort antal små filer, uden at hvile på grænsen for antallet af inoder i filsystemet.
Serveren kan også bruges som en NoSQL-database til data i nøgle- / værdiformat (med partitioner baseret på bibliotekstruktur) eller til at distribuere prægenererede html- eller json-dokumenter fra databasen.
Med hensyn til ydeevne fører indlæsning og skrivning af data ved hjælp af Bolt-filer til en stigning i ventetid på ca. 20-25% ved læsning og 40-50% ved skrivning. Jo mindre filstørrelse, jo mindre er forskellen i latenstid.
Af de vigtigste funktioner, følgende skiller sig ud:
- multithreading
- Flere servere til fejltolerance og belastningsafbalancering
- Maksimal gennemsigtighed for brugeren eller udvikleren
- Understøttede HTTP-metoder: GET, HEAD, PUT og SLET
- Administrer læse- og skriveadfærd gennem klientoverskrifter
- Support til tilpassede virtuelle værter.
- Lineær læse / skrive skalering ved hjælp af poolede filsystemer
- Effektive metoder til læsning og skrivning af data.
- Understøtter CRC-dataintegritet, når du skriver eller læser
- Område og accept-områder, hvis-ingen-match og hvis-ændret-siden overskrifter understøtter
- Gem og del 10.000 gange flere filer end inoder på ethvert Posix-kompatibelt filsystem afhængigt af bibliotekstrukturen
- Støtte til tilføjelse, opdatering, sletning af filer og værdier og forsinket komprimering af Bolt-filer
- Tillader, at serveren bruges som en NoSQL-database med let fragmentering baseret på katalogstrukturen
- Bolt-filunderstøttelse til selektiv læsning af et bestemt antal bytes af en værdi
- Nem fragmentering af data i tusinder eller millioner af Bolt-filer baseret på katalogstruktur
- Understøttelse af blandet tilstand med mulighed for at gemme store filer separat fra Bolt-filer
- Støtte til at hente en liste eller et antal nøgler i et bibliotek, inklusive ikke-unikke
- Inkluderer en flertrådet wZA-fil til at migrere filer uden at stoppe tjenesten
Med hensyn til begrænsningerne af den aktuelle version: der er ingen support til multipart, POST-metoden, HTTPS-protokollen, mapper til programmeringssprog, rekursiv sletning af mapper, der er ingen understøttelse af montering af strukturen i filsystemet via WebDAV eller FUSE, arkiveres filerne under en systembruger.
Endelig hvis du er interesseret i at vide mere om det om wZD samt instruktionerne og kravene til installationen kan du se detaljerne I det følgende link.