wZD, un serveur de stockage de fichiers compact

logo

wZD est un serveur de stockage puissant efficace, conçu ppour les grands systèmes de stockage de données avec des fichiers petits et grands pour une utilisation mixte et réduit considérablement un grand nombre de fichiers sous une forme compacte quie ressemble à un serveur WebDAV normal de l'extérieur.

Le serveur est écrit en langue Go Quoi utilise une version modifiée de la base de données BoltDB en tant que back-end pour enregistrer et distribuer n'importe quel nombre de fichiers petits et grands, clés / valeurs NoSQL, sous une forme compacte dans des bases de données micro Bolt (fichiers), avec distribution de fichiers et de valeurs dans les bases de données BoltDB en fonction du nombre des répertoires ou sous-répertoires et la structure générale des répertoires.

Le serveur peut réduire considérablement le nombre de petits fichiers dans les systèmes de fichiers normaux ou en cluster avec support de verrouillage complet. Soutenu par les développeurs wZD, le cluster stocke environ 250 millions de petits fichiers répartis sur 15 millions de répertoires sur le cluster MooseFS FS.

À propos de wZD

wZD permet de bouger (fichier) le contenu des répertoires vers des fichiers au format BoltDB puis distribuez ces fichiers à partir de ces fichiers (ou placez des fichiers dans des fichiers à l'aide de la méthode PUT), ce qui réduit considérablement le nombre de fichiers dans le système de fichiers et la surcharge de stockage des métadonnées.

Pour augmenter l'efficacité du traitement de fichiers volumineux, ces fichiers peuvent être stockés séparément des fichiers Bolt.

Une telle approche permet d'organiser le stockage d'un grand nombre de petits fichiers, sans se reposer sur la limite du nombre d'inodes dans le système de fichiers.

Le serveur peut également être utilisé comme base de données NoSQL pour les données au format clé / valeur (avec des partitions basées sur la structure de répertoires) ou pour distribuer des documents html ou json pré-générés à partir de la base de données.

En termes de performances, le chargement et l'écriture de données à l'aide de fichiers Bolt entraînent une augmentation de la latence d'environ 20 à 25% lors de la lecture et de 40 à 50% lors de l'écriture. Plus la taille du fichier est petite, plus la différence de latence est petite.

Des fonctionnalités clés, les éléments suivants se démarquent:

  • multithreading
  • Plusieurs serveurs pour la tolérance aux pannes et l'équilibrage de charge
  • Transparence maximale pour l'utilisateur ou le développeur
  • Méthodes HTTP prises en charge: GET, HEAD, PUT et DELETE
  • Gérer le comportement de lecture et d'écriture via les en-têtes des clients
  • Prise en charge des hôtes virtuels personnalisables.
  • Mise à l'échelle linéaire en lecture / écriture à l'aide de systèmes de fichiers groupés
  • Méthodes efficaces de lecture et d'écriture des données.
  • Prend en charge l'intégrité des données CRC lors de l'écriture ou de la lecture
  • Prise en charge des en-têtes Range et Accept-Ranges, If-None-Match et If-Modifed-Since
  • Stockez et partagez 10.000 fois plus de fichiers que d'inodes sur tout système de fichiers compatible Posix, en fonction de la structure des répertoires
  • Prise en charge de l'ajout, de la mise à jour, de la suppression de fichiers et de valeurs et du compactage différé des fichiers Bolt
  • Permet au serveur d'être utilisé comme base de données NoSQL, avec une fragmentation facile basée sur la structure du répertoire
  • Prise en charge des fichiers Bolt pour la lecture sélective d'un certain nombre d'octets d'une valeur
  • Fragmentation facile des données en des milliers ou des millions de fichiers Bolt en fonction de la structure des répertoires
  • Prise en charge du mode mixte, avec possibilité d'enregistrer des fichiers volumineux séparément des fichiers Bolt
  • Prise en charge de l'obtention d'une liste ou d'un nombre de clés dans un répertoire, y compris des clés non uniques
  • Inclut un filer wZA multi-thread pour migrer les fichiers sans arrêter le service

Concernant les limitations de la version actuelle: il n'y a pas de support pour Multipart, la méthode POST, le protocole HTTPS, les dossiers pour les langages de programmation, la suppression récursive des répertoires, il n'y a pas de support pour monter la structure dans le système de fichiers via WebDAV ou FUSE, les fichiers sont stockés sous un utilisateur système.

Enfin si vous souhaitez en savoir plus sur wZD ainsi que les instructions et les exigences pour son installation, vous pouvez consulter les détails dans le lien suivant.


Soyez le premier à commenter

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont marqués avec *

*

*

  1. Responsable des données: Miguel Ángel Gatón
  2. Finalité des données: Contrôle du SPAM, gestion des commentaires.
  3. Légitimation: votre consentement
  4. Communication des données: Les données ne seront pas communiquées à des tiers sauf obligation légale.
  5. Stockage des données: base de données hébergée par Occentus Networks (EU)
  6. Droits: à tout moment, vous pouvez limiter, récupérer et supprimer vos informations.