wZD, kompaktni poslužitelj za pohranu datoteka

logo

wZD je moćan poslužitelj za pohranu učinkovito, dizajnirano strza velike sustave za pohranu podataka s malim i velikim datotekama za mješovitu upotrebu i drastično smanjuje velik broj datoteka u kompaktnom obliku kojiIzvana izgleda kao uobičajeni WebDAV poslužitelj.

Poslužitelj je napisan na jeziku Go ovo koristi modificiranu verziju baze podataka BoltDB kao pozadina za spremanje i distribuciju bilo kojeg broja malih i velikih datoteka, NoSQL ključeva / vrijednosti, u kompaktnom obliku unutar mikro Bolt baza podataka (datoteka), s distribucijom datoteka i vrijednosti u BoltDB bazama podataka, ovisno o broju direktorija ili poddirektorijuma i općenita struktura direktorija.

Poslužitelj može značajno smanjiti broj malih datoteka u redovnim sustavima datoteka ili u klastere s punim nosačem brave. Uz podršku programera wZD, klaster pohranjuje oko 250 milijuna malih datoteka raspoređenih u 15 milijuna direktorija na MooseFS FS klasteru.

O wZD-u

wZD omogućuje kretanje (datoteka) sadržaj direktorija u datoteke u BoltDB formatu a zatim distribuirati ove datoteke iz tih datoteka (ili ih staviti u datoteke metodom PUT), značajno smanjujući broj datoteka u datotečnom sustavu i smanjujući opće troškove za pohranu metapodataka.

Da bi se povećala učinkovitost obrade velikih datoteka, takve se datoteke mogu pohraniti odvojeno od datoteka Bolt.

Takav pristup omogućuje vam organiziranje pohrane velikog broja malih datoteka, bez odmaranja na ograničenju broja inoda u datotečnom sustavu.

Poslužitelj može se koristiti i kao NoSQL baza podataka za podatke u formatu ključ / vrijednost (s particijama temeljenim na strukturi direktorija) ili za distribuciju unaprijed generiranih html ili json dokumenata iz baze podataka.

Što se tiče performansi, učitavanje i pisanje podataka pomoću datoteka Bolt dovodi do povećanja latencije od približno 20-25% pri čitanju i 40-50% pri pisanju. Što je veličina datoteke manja, to je razlika u kašnjenju manja.

Od ključnih značajki, izdvajaju se:

  • Višenitnost
  • Više poslužitelja za toleranciju grešaka i uravnoteženje opterećenja
  • Maksimalna transparentnost za korisnika ili programera
  • Podržane HTTP metode: GET, HEAD, PUT i DELETE
  • Upravljajte ponašanjem čitanja i pisanja putem zaglavlja klijenta
  • Podrška za prilagodljive virtualne hostove.
  • Linearno skaliranje čitanja / pisanja pomoću združenih datotečnih sustava
  • Učinkovite metode čitanja i pisanja podataka.
  • Podržava CRC integritet podataka prilikom pisanja ili čitanja
  • Podrška zaglavlja Range i Accept-Ranges, If-None-Match i If-Modifed-Since
  • Pohranite i podijelite 10.000 puta više datoteka nego inoda na bilo kojem datotečnom sustavu kompatibilnom s Posix, ovisno o strukturi direktorija
  • Podrška za dodavanje, ažuriranje, brisanje datoteka i vrijednosti i odgođeno sabijanje Bolt datoteka
  • Omogućuje poslužitelj da se koristi kao NoSQL baza podataka, s lakom fragmentacijom na temelju strukture direktorija
  • Podrška datoteke vijaka za selektivno čitanje određenog broja bajtova vrijednosti
  • Jednostavna fragmentacija podataka u tisuće ili milijune Bolt datoteka na temelju strukture direktorija
  • Podrška u mješovitom načinu, s mogućnošću spremanja velikih datoteka odvojeno od datoteka Bolt
  • Podrška za dobivanje popisa ili broja ključeva u direktoriju, uključujući one koji nisu jedinstveni
  • Uključuje datoteku wZA s više niti za migriranje datoteka bez zaustavljanja usluge

Glede ograničenja trenutne verzije: nema podrške za Multipart, POST metoda, HTTPS protokol, mape za programske jezike, rekurzivno brisanje direktorija, nema podrške za montiranje strukture u datotečni sustav putem WebDAV-a ili FUSE-a, datoteke su pohranjene pod korisnikom sustava.

Konačno ako vas zanima više o tome o wZD-u, kao i uputama i zahtjevima za njegovu instalaciju, možete potražiti detalje U sljedećem linku.


Ostavite svoj komentar

Vaša email adresa neće biti objavljen. Obavezna polja su označena s *

*

*

  1. Za podatke odgovoran: Miguel Ángel Gatón
  2. Svrha podataka: Kontrola neželjene pošte, upravljanje komentarima.
  3. Legitimacija: Vaš pristanak
  4. Komunikacija podataka: Podaci se neće dostavljati trećim stranama, osim po zakonskoj obvezi.
  5. Pohrana podataka: Baza podataka koju hostira Occentus Networks (EU)
  6. Prava: U bilo kojem trenutku možete ograničiti, oporaviti i izbrisati svoje podatke.