wZD, kompaktowy serwer do przechowywania plików

logo

wZD to potężny serwer pamięci masowej wydajnie, zaprojektowane pdo dużych systemów przechowywania danych z małymi i dużymi plikami do użytku mieszanego i drastycznie zmniejsza dużą liczbę plików w kompaktowej formiee wygląda jak zwykły serwer WebDAV z zewnątrz.

Serwer jest napisany w języku Go oferuje nasz konfigurator korzysta ze zmodyfikowanej wersji bazy danych BoltDB jako zaplecze do zapisywania i dystrybucji dowolnej liczby małych i dużych plików, kluczy / wartości NoSQL, w kompaktowej formie w bazach danych (plików) micro Bolt, z dystrybucją plików i wartości w bazach danych BoltDB w zależności od liczby katalogi lub podkatalogi oraz ogólna struktura katalogów.

Serwer może znacznie zmniejszyć liczbę małych plików w zwykłych lub klastrowych systemach plików z pełnym wspornikiem blokującym. Wspierany przez programistów wZD, klaster przechowuje około 250 milionów małych plików w 15 milionach katalogów w klastrze MooseFS FS.

O wZD

wZD umożliwia poruszanie się (plik) zawartość katalogów do plików w formacie BoltDB a następnie rozpowszechniać te pliki z tych plików (lub umieszczać je w plikach przy użyciu metody PUT), znacznie zmniejszając liczbę plików w systemie plików i zmniejszając obciążenie związane z przechowywaniem metadanych.

Aby zwiększyć wydajność przetwarzania dużych plików, takie pliki mogą być przechowywane oddzielnie od plików Bolt.

Takie podejście pozwala uporządkować przechowywanie dużej liczby małych plików, bez spoczywania na limicie liczby i-węzłów w systemie plików.

Serwer może być również używany jako baza danych NoSQL dla danych w formacie klucz / wartość (z partycjami opartymi na strukturze katalogów) lub do dystrybucji wstępnie wygenerowanych dokumentów html lub json z bazy danych.

Pod względem wydajności ładowanie i zapisywanie danych przy użyciu plików Bolt prowadzi do zwiększenia opóźnienia o około 20–25% podczas odczytu i 40–50% podczas zapisu. Im mniejszy rozmiar pliku, tym mniejsza różnica w opóźnieniu.

Z kluczowych funkcjiwyróżniają się następujące:

  • Wielowątkowość
  • Wiele serwerów zapewniających odporność na uszkodzenia i równoważenie obciążenia
  • Maksymalna przejrzystość dla użytkownika lub programisty
  • Obsługiwane metody HTTP: GET, HEAD, PUT i DELETE
  • Zarządzaj zachowaniem odczytu i zapisu za pomocą nagłówków klienta
  • Wsparcie dla konfigurowalnych hostów wirtualnych.
  • Liniowe skalowanie odczytu / zapisu przy użyciu systemów plików w puli
  • Skuteczne metody odczytu i zapisu danych.
  • Obsługuje integralność danych CRC podczas pisania lub czytania
  • Obsługa nagłówków Range i Accept-Ranges, If-None-Match i If-Modifed-Since
  • Przechowuj i udostępniaj 10.000 razy więcej plików niż i-węzłów w dowolnym systemie plików zgodnym z Posix, w zależności od struktury katalogów
  • Obsługa dodawania, aktualizowania, usuwania plików i wartości oraz opóźnionego zagęszczania plików Bolt
  • Umożliwia używanie serwera jako bazy danych NoSQL z łatwą fragmentacją na podstawie struktury katalogów
  • Obsługa plików Bolt do selektywnego odczytu określonej liczby bajtów wartości
  • Łatwa fragmentacja danych na tysiące lub miliony plików Bolt w oparciu o strukturę katalogów
  • Obsługa trybu mieszanego z możliwością zapisywania dużych plików oddzielnie od plików Bolta
  • Obsługa uzyskiwania listy lub liczby kluczy w katalogu, w tym nieunikalnych
  • Zawiera wielowątkowy filtr wZA do migracji plików bez zatrzymywania usługi

Odnośnie ograniczeń aktualnej wersji: nie ma wsparcia dla Multipart, metoda POST, protokół HTTPS, foldery języków programowania, rekurencyjne usuwanie katalogów, nie ma możliwości montowania struktury w systemie plików przez WebDAV lub FUSE, pliki są przechowywane jako użytkownik systemu.

W końcu jeśli chcesz dowiedzieć się więcej na ten temat o wZD oraz instrukcjach i wymaganiach dotyczących jego instalacji można zapoznać się ze szczegółami W poniższym linku.


Bądź pierwszym który skomentuje

Zostaw swój komentarz

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *

*

*

  1. Odpowiedzialny za dane: Miguel Ángel Gatón
  2. Cel danych: kontrola spamu, zarządzanie komentarzami.
  3. Legitymacja: Twoja zgoda
  4. Przekazywanie danych: Dane nie będą przekazywane stronom trzecim, z wyjątkiem obowiązku prawnego.
  5. Przechowywanie danych: baza danych hostowana przez Occentus Networks (UE)
  6. Prawa: w dowolnym momencie możesz ograniczyć, odzyskać i usunąć swoje dane.