wZD je výkonný úložný server efektivně, navrženo strpro velké systémy ukládání dat s malými a velkými soubory pro smíšené použití a drasticky redukuje velké množství souborů v kompaktní podoběZ vnějšku vypadá jako normální server WebDAV.
Server je napsán v jazyce Go že používá upravenou verzi databáze BoltDB jako back-end pro ukládání a distribuci libovolného počtu malých i velkých souborů, klíčů / hodnot NoSQL, v kompaktní podobě v rámci mikro Bolt databází (souborů), s distribucí souborů a hodnot v BoltDB databázích v závislosti na počtu adresáře nebo podadresáře a obecnou strukturu adresářů.
Server může významně snížit počet malých souborů v běžných nebo seskupených souborových systémech s úplným zámkem. S podporou vývojářů wZD klastr ukládá přibližně 250 milionů malých souborů rozložených do 15 milionů adresářů v klastru MooseFS FS.
O wZD
wZD umožňuje pohyb (soubor) obsah adresářů do souborů ve formátu BoltDB a poté tyto soubory z těchto souborů distribuovat (nebo je ukládat do souborů pomocí metody PUT), což významně snižuje počet souborů v systému souborů a snižuje režii úložiště metadat.
Pro zvýšení efektivity zpracování velkých souborů lze takové soubory ukládat odděleně od souborů Bolt.
Takový přístup umožňuje organizovat ukládání velkého počtu malých souborů, aniž by spočíval na limitu počtu inodů v systému souborů.
Server lze také použít jako databázi NoSQL pro data ve formátu klíč / hodnota (s oddíly založenými na adresářové struktuře) nebo k distribuci předem vygenerovaných html nebo json dokumentů z databáze.
Pokud jde o výkon, načítání a zápis dat pomocí souborů Bolt vede ke zvýšení latence přibližně o 20–25% při čtení a o 40–50% při zápisu. Čím menší je velikost souboru, tím menší je rozdíl v latenci.
Z klíčových funkcí, vynikají následující:
- Vícevláknové zpracování
- Více serverů pro odolnost proti chybám a vyvážení zátěže
- Maximální transparentnost pro uživatele nebo vývojáře
- Podporované metody HTTP: GET, HEAD, PUT a DELETE
- Spravujte chování pro čtení a zápis prostřednictvím záhlaví klienta
- Podpora přizpůsobitelných virtuálních hostitelů.
- Lineární škálování čtení / zápisu pomocí sdružených souborových systémů
- Efektivní metody čtení a zápisu dat.
- Podporuje integritu dat CRC při zápisu nebo čtení
- Podpora záhlaví Rozsah a Přijmout, Pokud-Žádná-Shoda a If-Modifed-Od
- Ukládejte a sdílejte 10.000 XNUMXkrát více souborů než inody v libovolném systému souborů kompatibilním s Posix, v závislosti na struktuře adresářů
- Podpora pro přidávání, aktualizaci, mazání souborů a hodnot a zpožděné zhutňování souborů Bolt
- Umožňuje použití serveru jako databáze NoSQL se snadnou fragmentací na základě adresářové struktury
- Podpora šroubových souborů pro selektivní čtení určitého počtu bajtů hodnoty
- Snadná fragmentace dat na tisíce nebo miliony souborů Bolt na základě adresářové struktury
- Podpora smíšeného režimu se schopností ukládat velké soubory odděleně od souborů Bolt
- Podpora pro získání seznamu nebo počtu klíčů v adresáři, včetně nejedinečných
- Zahrnuje vícevláknový soubor wZA pro migraci souborů bez zastavení služby
Pokud jde o omezení aktuální verze: neexistuje podpora pro Multipart, metoda POST, protokol HTTPS, složky pro programovací jazyky, rekurzivní mazání adresářů, neexistuje podpora pro připojení struktury do systému souborů přes WebDAV nebo FUSE, jsou soubory uloženy pod uživatelem systému.
Konečně pokud máte zájem o tom vědět více o wZD, stejně jako pokyny a požadavky na jeho instalaci, si můžete přečíst podrobnosti Na následujícím odkazu.