wZD, kompaktni poslužitelj za pohranu datoteka

logo

wZD je moćan poslužitelj za pohranu efikasno, dizajnirano strza velike sisteme za skladištenje podataka s malim i velikim datotekama za mješovitu upotrebu i drastično smanjuje velik broj datoteka u kompaktnom obliku kojiIzvana izgleda kao normalni WebDAV server.

Poslužitelj je napisan na Go jeziku Que koristi modificiranu verziju baze podataka BoltDB kao pozadina za spremanje i distribuciju bilo kojeg broja malih i velikih datoteka, NoSQL ključeva / vrijednosti, u kompaktnom obliku unutar mikro Bolt baza podataka (datoteka), s distribucijom datoteka i vrijednosti u BoltDB bazama podataka, ovisno o broju direktorija ili poddirektorijuma i opća struktura direktorija.

Poslužitelj može značajno smanjiti broj malih datoteka u redovnim ili grupisanim sistemima datoteka sa potpunim nosačem brave. Uz podršku programera wZD, klaster čuva oko 250 miliona malih datoteka raspoređenih u 15 miliona direktorija na MooseFS FS klasteru.

O wZD-u

wZD omogućava kretanje (datoteka) sadržaj direktorija datoteka u BoltDB formatu a zatim distribuirajte ove datoteke iz ovih datoteka (ili stavite datoteke u datoteke metodom PUT), značajno smanjujući broj datoteka u sistemu datoteka i smanjujući opseg skladištenja metapodataka.

Da bi se povećala efikasnost obrade velikih datoteka, takve se datoteke mogu pohraniti odvojeno od datoteka Bolt.

Takav pristup omogućava vam organiziranje pohrane velikog broja malih datoteka, bez ograničavanja broja inoda u datotečnom sistemu.

Poslužitelj može se koristiti i kao NoSQL baza podataka za podatke u formatu ključ / vrijednost (s particijama zasnovanim na strukturi direktorija) ili za distribuciju unaprijed generiranih html ili json dokumenata iz baze podataka.

Što se tiče performansi, učitavanje i pisanje podataka pomoću Bolt datoteka dovodi do povećanja latencije od približno 20-25% pri čitanju i 40-50% pri pisanju. Što je datoteka manja, manja je razlika u kašnjenju.

Od ključnih karakteristika, izdvajaju se:

  • multithreading
  • Više servera za toleranciju grešaka i uravnoteženje opterećenja
  • Maksimalna transparentnost za korisnika ili programera
  • Podržane HTTP metode: GET, HEAD, PUT i DELETE
  • Upravljajte ponašanjem čitanja i pisanja putem zaglavlja klijenta
  • Podrška za prilagodljive virtualne hostove.
  • Linearno skaliranje čitanja / pisanja pomoću združenih sistema datoteka
  • Učinkovite metode čitanja i pisanja podataka.
  • Podržava CRC integritet podataka prilikom pisanja ili čitanja
  • Podrška zaglavlja Range i Accept-Ranges, If-None-Match i If-Modifed-Since
  • Pohranite i podijelite 10.000 puta više datoteka nego inoda na bilo kojem Posix-kompatibilnom sistemu datoteka, ovisno o strukturi direktorija
  • Podrška za dodavanje, ažuriranje, brisanje datoteka i vrijednosti i odgođeno sabijanje Bolt datoteka
  • Omogućuje poslužitelj da se koristi kao NoSQL baza podataka, s lakom fragmentacijom na temelju strukture direktorija
  • Podrška datoteke vijka za selektivno čitanje određenog broja bajtova vrijednosti
  • Jednostavna fragmentacija podataka u tisuće ili milijune Bolt datoteka na temelju strukture direktorija
  • Podrška u mješovitom načinu, s mogućnošću spremanja velikih datoteka odvojeno od datoteka Bolt
  • Podrška za dobivanje popisa ili broja ključeva u direktoriju, uključujući one koji nisu jedinstveni
  • Uključuje wZA datoteku s više niti za migriranje datoteka bez zaustavljanja usluge

Što se tiče ograničenja trenutne verzije: nema podrške za Multipart, POST metoda, HTTPS protokol, mape za programske jezike, rekurzivno brisanje direktorija, nema podrške za montiranje strukture u sistem datoteka putem WebDAV-a ili FUSE-a, datoteke su pohranjene pod sistemskim korisnikom.

Konačno ako ste zainteresirani da saznate više o tome o wZD-u, kao i uputama i zahtjevima za njegovu instalaciju, možete pogledati detalje Na sledećem linku.


Budite prvi koji komentarišete

Ostavite komentar

Vaša e-mail adresa neće biti objavljena. Obavezna polja su označena sa *

*

*

  1. Za podatke odgovoran: Miguel Ángel Gatón
  2. Svrha podataka: Kontrola neželjene pošte, upravljanje komentarima.
  3. Legitimacija: Vaš pristanak
  4. Komunikacija podataka: Podaci se neće dostavljati trećim stranama, osim po zakonskoj obavezi.
  5. Pohrana podataka: Baza podataka koju hostuje Occentus Networks (EU)
  6. Prava: U bilo kojem trenutku možete ograničiti, oporaviti i izbrisati svoje podatke.