wZD, pelayan penyimpanan fail padat

logo

wZD adalah pelayan penyimpanan yang kuat cekap, dirancang puntuk sistem penyimpanan data yang besar dengan fail kecil dan besar untuk penggunaan campuran dan secara drastik mengurangkan sebilangan besar fail dalam bentuk ringkas yange kelihatan seperti pelayan WebDAV biasa dari luar.

Pelayan ditulis dalam bahasa Go bahawa menggunakan versi pangkalan data BoltDB yang diubah suai sebagai back-end untuk menyimpan dan menyebarkan sebilangan besar fail kecil dan besar, kunci / nilai NoSQL, dalam bentuk padat dalam pangkalan data mikro Bolt (fail), dengan pengedaran fail dan nilai dalam pangkalan data BoltDB bergantung pada jumlahnya direktori atau subdirektori dan struktur umum direktori.

Pelayan dapat mengurangkan jumlah fail kecil dengan ketara dalam sistem fail biasa atau berkelompok dengan pendakap kunci penuh. Disokong oleh pemaju wZD, kluster menyimpan kira-kira 250 juta fail kecil yang tersebar di 15 juta direktori di kluster MooseFS FS.

Mengenai wZD

wZD memungkinkan untuk bergerak (fail) kandungan direktori ke fail dalam format BoltDB dan kemudian edarkan fail ini dari fail ini (atau masukkan fail ke dalam fail menggunakan kaedah PUT), dengan ketara mengurangkan jumlah fail dalam sistem fail dan mengurangkan overhead penyimpanan metadata.

Untuk meningkatkan kecekapan pemprosesan fail yang besar, fail tersebut dapat disimpan secara berasingan dari fail Bolt.

Pendekatan sedemikian membolehkan anda mengatur penyimpanan sebilangan besar fail kecil, tanpa bergantung pada had bilangan inode dalam sistem fail.

Pelayan juga boleh digunakan sebagai pangkalan data NoSQL untuk data dalam format kunci / nilai (dengan partisi berdasarkan struktur direktori) atau untuk menyebarkan dokumen html atau json yang telah dihasilkan dari pangkalan data.

Dari segi prestasi, memuat dan menulis data menggunakan fail Bolt menyebabkan peningkatan latensi sekitar 20-25% ketika membaca dan 40-50% ketika menulis. Semakin kecil ukuran fail, semakin kecil perbezaan latensi.

Daripada ciri-ciri utama, yang berikut menonjol:

  • multithreading
  • Pelbagai pelayan untuk toleransi kesalahan dan pengimbangan beban
  • Ketelusan maksimum untuk pengguna atau pembangun
  • Kaedah HTTP yang disokong: GET, HEAD, PUT, dan DELETE
  • Urus tingkah laku membaca dan menulis melalui tajuk pelanggan
  • Sokongan untuk hos maya yang boleh disesuaikan.
  • Penskalaan membaca / menulis linear menggunakan sistem fail gabungan
  • Kaedah membaca dan menulis data yang berkesan.
  • Menyokong integriti data CRC semasa menulis atau membaca
  • Range dan Accept-Ranges, If-None-Match, dan If-Modifed-Sejak sokongan
  • Simpan dan kongsi 10.000 kali lebih banyak fail daripada inod pada sistem fail yang sesuai dengan Posix, bergantung pada struktur direktori
  • Sokongan untuk menambah, mengemas kini, menghapus fail dan nilai, dan penundaan pemadatan fail Bolt
  • Membolehkan pelayan digunakan sebagai pangkalan data NoSQL, dengan pemecahan mudah berdasarkan struktur direktori
  • Sokongan fail baut untuk pembacaan selektif sebilangan bait nilai
  • Pemecahan data yang mudah menjadi ribuan atau berjuta-juta fail Bolt berdasarkan struktur direktori
  • Sokongan mod campuran, dengan kemampuan menyimpan fail besar secara berasingan dari fail Bolt
  • Sokongan untuk mendapatkan senarai atau bilangan kunci dalam direktori, termasuk yang bukan unik
  • Termasuk pemfail wZA berbilang utas untuk memindahkan fail tanpa menghentikan perkhidmatan

Mengenai batasan versi semasa: tidak ada sokongan untuk Multipart, kaedah POST, protokol HTTPS, folder untuk bahasa pengaturcaraan, penghapusan direktori berulang tidak ada sokongan untuk memasang struktur dalam sistem fail melalui WebDAV atau FUSE, fail disimpan di bawah pengguna sistem.

Akhirnya sekiranya anda berminat untuk mengetahui lebih lanjut mengenainya mengenai wZD serta arahan dan keperluan pemasangannya, anda boleh melihat perinciannya Dalam pautan berikut.


Tinggalkan komen anda

Alamat email anda tidak akan disiarkan. Ruangan yang diperlukan ditanda dengan *

*

*

  1. Bertanggungjawab atas data: Miguel Ángel Gatón
  2. Tujuan data: Mengendalikan SPAM, pengurusan komen.
  3. Perundangan: Persetujuan anda
  4. Komunikasi data: Data tidak akan disampaikan kepada pihak ketiga kecuali dengan kewajiban hukum.
  5. Penyimpanan data: Pangkalan data yang dihoskan oleh Occentus Networks (EU)
  6. Hak: Pada bila-bila masa anda boleh menghadkan, memulihkan dan menghapus maklumat anda.