wZD, en kompakt server til lagring af filer

logo

wZD er en stærk lagerserver effektivt, designet stil store datalagringssystemer med små og store filer til blandet brug og reducerer drastisk et stort antal filer i en kompakt form, dere ligner en normal WebDAV-server udefra.

Serveren er skrevet på Go-sprog at bruger en ændret version af BoltDB-databasen som en back-end til at gemme og distribuere et hvilket som helst antal små og store filer, NoSQL-nøgler / værdier, i en kompakt form inden for micro Bolt-databaser (filer), med distribution af filer og værdier i BoltDB-databaser afhængigt af antallet af mapper eller undermapper og mappernes generelle struktur.

Serveren kan reducere antallet af små filer i almindelige eller grupperede filsystemer betydeligt med fuld låsebeslag. Støttet af wZD-udviklere gemmer klyngen omkring 250 millioner små filer fordelt på 15 millioner kataloger på MooseFS FS-klyngen.

Om wZD

wZD gør det muligt at bevæge sig (fil) indholdet af mapper til filer i BoltDB-format og distribuer derefter disse filer fra disse filer (eller læg filer i filer ved hjælp af PUT-metoden), hvilket reducerer antallet af filer i filsystemet markant og reducerer omkostningerne til lagring af metadata.

For at øge effektiviteten ved behandling af store filer kan sådanne filer gemmes separat fra Bolt-filer.

En sådan tilgang giver dig mulighed for at organisere lagring af et stort antal små filer, uden at hvile på grænsen for antallet af inoder i filsystemet.

Serveren kan også bruges som en NoSQL-database til data i nøgle- / værdiformat (med partitioner baseret på bibliotekstruktur) eller til at distribuere prægenererede html- eller json-dokumenter fra databasen.

Med hensyn til ydeevne fører indlæsning og skrivning af data ved hjælp af Bolt-filer til en stigning i ventetid på ca. 20-25% ved læsning og 40-50% ved skrivning. Jo mindre filstørrelse, jo mindre er forskellen i latenstid.

Af de vigtigste funktioner, følgende skiller sig ud:

  • multithreading
  • Flere servere til fejltolerance og belastningsafbalancering
  • Maksimal gennemsigtighed for brugeren eller udvikleren
  • Understøttede HTTP-metoder: GET, HEAD, PUT og SLET
  • Administrer læse- og skriveadfærd gennem klientoverskrifter
  • Support til tilpassede virtuelle værter.
  • Lineær læse / skrive skalering ved hjælp af poolede filsystemer
  • Effektive metoder til læsning og skrivning af data.
  • Understøtter CRC-dataintegritet, når du skriver eller læser
  • Område og accept-områder, hvis-ingen-match og hvis-ændret-siden overskrifter understøtter
  • Gem og del 10.000 gange flere filer end inoder på ethvert Posix-kompatibelt filsystem afhængigt af bibliotekstrukturen
  • Støtte til tilføjelse, opdatering, sletning af filer og værdier og forsinket komprimering af Bolt-filer
  • Tillader, at serveren bruges som en NoSQL-database med let fragmentering baseret på katalogstrukturen
  • Bolt-filunderstøttelse til selektiv læsning af et bestemt antal bytes af en værdi
  • Nem fragmentering af data i tusinder eller millioner af Bolt-filer baseret på katalogstruktur
  • Understøttelse af blandet tilstand med mulighed for at gemme store filer separat fra Bolt-filer
  • Støtte til at hente en liste eller et antal nøgler i et bibliotek, inklusive ikke-unikke
  • Inkluderer en flertrådet wZA-fil til at migrere filer uden at stoppe tjenesten

Med hensyn til begrænsningerne af den aktuelle version: der er ingen support til multipart, POST-metoden, HTTPS-protokollen, mapper til programmeringssprog, rekursiv sletning af mapper, der er ingen understøttelse af montering af strukturen i filsystemet via WebDAV eller FUSE, arkiveres filerne under en systembruger.

Endelig hvis du er interesseret i at vide mere om det om wZD samt instruktionerne og kravene til installationen kan du se detaljerne I det følgende link.


Indholdet af artiklen overholder vores principper for redaktionel etik. Klik på for at rapportere en fejl her.

Vær den første til at kommentere

Efterlad din kommentar

Din e-mailadresse vil ikke blive offentliggjort. Obligatoriske felter er markeret med *

*

*

  1. Ansvarlig for dataene: Miguel Ángel Gatón
  2. Formålet med dataene: Control SPAM, management af kommentarer.
  3. Legitimering: Dit samtykke
  4. Kommunikation af dataene: Dataene vil ikke blive kommunikeret til tredjemand, undtagen ved juridisk forpligtelse.
  5. Datalagring: Database hostet af Occentus Networks (EU)
  6. Rettigheder: Du kan til enhver tid begrænse, gendanne og slette dine oplysninger.