wZD, e kompakten Dateispeicher-Server

logo

wZD ass e staarke Späicherserver effizient, entworf pfir grouss Datenspeichersystemer mat klengen a grousse Dateie fir gemëschte Gebrauch a reduzéiert drastesch eng grouss Zuel vu Dateien an enger kompakter Form déie gesäit aus wéi en normale WebDAV Server vu baussen.

De Server gëtt a Go Sprooch geschriwwen Q benotzt eng modifizéiert Versioun vun der BoltDB Datebank als Back-End fir all Zuel vu klengen a groussen Dateien, NoSQL Schlësselen / Wäerter ze späicheren an ze verdeelen, an enger kompakter Form a Micro Bolt Datenbanken (Dateien), mat Verdeelung vun Dateien a Wäerter an BoltDB Datenbanken ofhängeg vun der Zuel vu Verzeichnisser oder Ënnerverzeechner an der allgemenger Struktur vun de Verzeechnes.

De Server kann d'Zuel vu klengen Dateien a regelméissegen oder gruppéierte Dateisystemer wesentlech reduzéieren mat voller Spärhalterung. Ënnerstëtzend vun wZD Entwéckler späichert de Cluster ongeféier 250 Millioune kleng Dateie verdeelt iwwer 15 Milliounen Verzeechnes am MooseFS FS Cluster.

Iwwer wZD

wZD mécht et méiglech ze plënneren [Datei] den Inhalt vu Verzeechnes fir Dateien am BoltDB Format an dann dës Dateie vun dësen Dateie verdeelen (oder Dateien an Dateie mat der PUT Method setzen), wesentlech d'Zuel vun Dateien am Dateisystem reduzéiert an d'Metadatenspeicher reduzéieren.

Fir d'Effizienz vun der Veraarbechtung vu groussen Dateien ze erhéijen, kënnen esou Dateie getrennt vu Bolt Dateie gespäichert ginn.

Sou eng Approche erlaabt Iech d'Späichere vun enger grousser Zuel vu klengen Dateien z'organiséieren, ouni op der Limit vun der Unzuel vun Inoden am Dateisystem ze raschten.

De Server kann och als NoSQL Datebank benotzt ginn fir Daten am Schlëssel- / Wärterformat (mat Partituren op Basis vun der Verzeechnesstruktur) oder fir pre-generéiert HTML oder json Dokumenter aus der Datebank ze verdeelen.

Wat d'Performance ubelaangt, Date luede a schreiwe mat Bolt Dateien féiert zu enger Erhéijung vun der Latenz vun ongeféier 20-25% beim Liesen a 40-50% beim Schreiwen. Wat déi Dateigréisst méi kleng ass, wat den Ënnerscheed an der Latenz méi kleng ass.

Vun de Schlësselfeatures, folgend opfalen:

  • Multithreading
  • Multiple Server fir Feeler Toleranz a Lastbalancéierung
  • Maximal Transparenz fir de Benotzer oder den Entwéckler
  • Ënnerstëtzte HTTP Methoden: GET, HEAD, PUT, an DELETE
  • Managen Lies- a Schreifverhalen duerch Client Header
  • Ënnerstëtzung fir personaliséierbar virtuell Hosten.
  • Linear Skala mat Liesen / Schreiwe mat Pooled Dateisystemer
  • Effektiv Methoden fir Daten ze liesen an ze schreiwen.
  • Ënnerstëtzt CRC Datenintegritéit beim Schreiwen oder Liesen
  • Range an Accept-Ranges, If-None-Match, a If-Modifed-Since Header ënnerstëtzen
  • Späichert an deelt 10.000 Mol méi Dateie wéi Inoden op all Posix-kompatiblen Dateisystem, ofhängeg vun der Verzeechnesstruktur
  • Ënnerstëtzung fir d'Addéieren, d'Aktualiséierung, d'Läsche vu Dateien a Wäerter a verspéiten Verdichtung vu Bolt Dateien
  • Erlaabt de Server als NoSQL Datebank ze benotzen, mat einfacher Fragmentéierung baséiert op der Verzeechnesstruktur
  • Bolt Dateie Support fir selektiv Liesung vun enger gewëssen Unzuel vu Bytes vun engem Wäert
  • Einfach Fragmentéierung vun Daten an Dausende oder Millioune Bolt Dateien baséiert op Verzeechnesstruktur
  • Mixed Mode Support, mat der Méiglechkeet grouss Dateie getrennt vu Bolt Dateien ze späicheren
  • Ënnerstëtzung fir eng Lëscht oder Zuel vu Schlësselen an engem Verzeechnes ze kréien, och net eenzegaarteg
  • Enthält e Multi-threaded wZA Filer fir Dateien ze migréieren ouni de Service ze stoppen

Wat d'Aschränkungen ugeet vun der aktueller Versioun: et gëtt keng Ënnerstëtzung fir Multipart, der POST Method, dem HTTPS Protokoll, Classeure fir Programméierungssproochen, rekursiv Läschung vun Telefonsbicher, et gëtt keng Ënnerstëtzung fir d'Struktur am Dateisystem iwwer WebDAV oder FUSE opzebauen, d'Dateie ginn ënner engem Systembenutzer gespäichert.

Endlech wann Dir interesséiert sidd méi doriwwer ze wëssen iwwer wZD souwéi d'Instruktiounen an Ufuerderunge fir seng Installatioun kënnt Dir d'Detailer consultéieren An de folgende Link.


Den Inhalt vum Artikel hält sech un eis Prinzipie vun redaktionnell Ethik. Fir e Feeler ze mellen klickt hei.

Gitt d'éischt fir ze kommentéieren

Gitt Äre Kommentar

Är Email Adress gëtt net publizéiert ginn. Néideg Felder sinn markéiert mat *

*

*

  1. Responsabel fir d'Daten: Miguel Ángel Gatón
  2. Zweck vun den Donnéeën: Kontroll SPAM, Kommentarmanagement.
  3. Legitimatioun: Är Zoustëmmung
  4. Kommunikatioun vun den Donnéeën: D'Donnéeë ginn net un Drëttubidder matgedeelt ausser duerch legal Verpflichtung.
  5. Datenspeicher: Datebank gehost vun Occentus Networks (EU)
  6. Rechter: Zu all Moment kënnt Dir Är Informatioun limitéieren, recuperéieren an läschen.