wZD är en kraftfull lagringsserver effektivt, designad sidför stora datalagringssystem med små och stora filer för blandad användning och drastiskt minskar ett stort antal filer i en kompakt form some ser ut som en vanlig WebDAV-server från utsidan.
Servern är skriven på Go-språk que använder en modifierad version av BoltDB-databasen som back-end för att spara och distribuera valfritt antal små och stora filer, NoSQL-nycklar/värden, i en kompakt form inom micro Bolt-databaser (filer), med distribution av filer och värden i BoltDB-databaser beroende på antalet kataloger eller underkataloger och den allmänna strukturen för kataloger.
Servern kan avsevärt minska antalet små filer i vanliga eller klustrade filsystem med fullt låsstöd. Med stöd av wZD-utvecklarna lagrar klustret cirka 250 miljoner små filer fördelade på 15 miljoner kataloger på MooseFS FS-klustret.
Om wZD
wZD gör det möjligt att flytta (fil) innehållet i kataloger till filer i BoltDB-format och distribuera sedan dessa filer från dessa arkiv (eller placera filer i arkiv med PUT-metoden), vilket avsevärt minskar antalet filer i filsystemet och minskar metadatalagringskostnaderna.
För att öka effektiviteten i behandlingen av stora filer kan sådana filer lagras separat från Bolt-filer.
Ett sådant tillvägagångssätt låter dig organisera lagringen av ett stort antal små filer, utan att vila på gränsen för antalet inoder i filsystemet.
Servern kan även användas som en NoSQL-databas för data i nyckel/värde-format (partitionerat baserat på katalogstruktur) eller för distribution av förgenererade html- eller json-dokument från databasen.
När det gäller prestanda leder laddning och skrivning av data med hjälp av Bolt-filer till en ökning av latensen på cirka 20-25% vid läsning och 40-50% vid skrivning. Ju mindre filstorlek, desto mindre skillnad i latens.
Av de viktigaste funktionerna, följande sticker ut:
- multitrådning
- Flera servrar för feltolerans och lastbalansering
- Maximal transparens för användaren eller utvecklaren
- HTTP-metoder som stöds: GET, HEAD, PUT och DELETE
- Hantera läs- och skrivbeteende via klienthuvuden
- Stöd för anpassningsbara virtuella värdar.
- Linjär läs- och skrivskalning med hjälp av klustrade filsystem
- Effektiva metoder för att läsa och skriva data.
- Stöder CRC-dataintegritet när du skriver eller läser
- Stöd för rubriker Range och Accept-Ranges, If-None-Match och If-Modifed-Since
- Lagra och dela 10.000 XNUMX gånger fler filer än inoder på något Posix-kompatibelt filsystem, beroende på katalogstruktur
- Stöd för att lägga till, uppdatera, ta bort filer och värden och fördröjd komprimering av Bolt-filer
- Tillåter att servern används som en NoSQL-databas, med enkel sönderdelning baserat på katalogstruktur
- Boltfilstöd för selektiv läsning av ett visst antal byte av ett värde
- Enkel chunking av data i tusentals eller miljontals Bolt-filer baserat på katalogstruktur
- Stöd för blandat läge, med möjlighet att spara stora filer separat från Bolt-filer
- Stöd för att få en lista eller ett antal nycklar i en katalog, inklusive icke-unika
- Inkluderar ett flertrådigt wZA-arkiv för att migrera filer utan att stoppa tjänsten
Angående begränsningarna från den nuvarande versionen: det finns inget stöd för Multipart, POST-metoden, HTTPS-protokollet, mappar för programmeringsspråk, rekursiv radering av kataloger, inget stöd för montering av struktur till filsystem via WebDAV eller FUSE, lagras filerna under en systemanvändare.
Slutligen om du är intresserad av att veta mer om det om wZD samt instruktionerna och kraven för dess installation kan du se detaljerna I följande länk.