wZD é um servidor de armazenamento poderoso eficientemente, projetado ppara grandes sistemas de armazenamento de dados com arquivos pequenos e grandes para uso misto e reduz drasticamente um grande número de arquivos em uma forma compacta quee parece um servidor WebDAV normal visto de fora.
O servidor é escrito na linguagem Go que usa uma versão modificada do banco de dados BoltDB como um back-end para salvar e distribuir qualquer número de arquivos pequenos e grandes, chaves / valores NoSQL, de forma compacta dentro de bancos de dados micro Bolt (arquivos), com distribuição de arquivos e valores em bancos de dados BoltDB dependendo do número de diretórios ou subdiretórios e a estrutura geral dos diretórios.
O servidor pode reduzir significativamente o número de pequenos arquivos em sistemas de arquivos regulares ou em cluster com suporte de bloqueio completo. Apoiado por desenvolvedores wZD, o cluster armazena cerca de 250 milhões de pequenos arquivos espalhados por 15 milhões de diretórios no cluster MooseFS FS.
Sobre wZD
wZD torna possível mover (Arquivo) o conteúdo de diretórios para arquivos no formato BoltDB e, em seguida, distribuir esses arquivos a partir desses arquivos (ou colocar arquivos em arquivos usando o método PUT), reduzindo significativamente o número de arquivos no sistema de arquivos e reduzindo a sobrecarga de armazenamento de metadados.
Para aumentar a eficiência do processamento de arquivos grandes, esses arquivos podem ser armazenados separadamente dos arquivos Bolt.
Tal abordagem permite que você organize o armazenamento de um grande número de pequenos arquivos, sem descansar no limite do número de inodes no sistema de arquivos.
O servidor também pode ser usado como um banco de dados NoSQL para dados no formato de chave / valor (com partições baseadas na estrutura de diretório) ou para distribuir documentos html ou json pré-gerados do banco de dados.
Em termos de desempenho, carregar e gravar dados usando arquivos Bolt leva a um aumento na latência de aproximadamente 20-25% ao ler e 40-50% ao gravar. Quanto menor for o tamanho do arquivo, menor será a diferença na latência.
Dos principais recursos, os seguintes se destacam:
- multithreading
- Vários servidores para tolerância a falhas e balanceamento de carga
- Transparência máxima para o usuário ou desenvolvedor
- Métodos HTTP suportados: GET, HEAD, PUT e DELETE
- Gerenciar o comportamento de leitura e gravação por meio de cabeçalhos de cliente
- Suporte para hosts virtuais personalizáveis.
- Escala linear de leitura / gravação usando sistemas de arquivos em pool
- Métodos eficazes de leitura e gravação de dados.
- Suporta integridade de dados CRC ao escrever ou ler
- Suporte para os cabeçalhos Range e Accept-Ranges, If-None-Match e If-Modifed-Since
- Armazene e compartilhe 10.000 vezes mais arquivos do que inodes em qualquer sistema de arquivos compatível com Posix, dependendo da estrutura do diretório
- Suporte para adição, atualização, exclusão de arquivos e valores e compactação retardada de arquivos Bolt
- Permite que o servidor seja utilizado como banco de dados NoSQL, com fácil fragmentação com base na estrutura de diretórios
- Suporte a arquivo Bolt para leitura seletiva de um certo número de bytes de um valor
- Fragmentação fácil de dados em milhares ou milhões de arquivos Bolt com base na estrutura de diretório
- Suporte de modo misto, com capacidade de salvar arquivos grandes separadamente dos arquivos Bolt
- Suporte para obter uma lista ou número de chaves em um diretório, incluindo aquelas não exclusivas
- Inclui um arquivador wZA multithread para migrar arquivos sem interromper o serviço
Em relação às limitações da versão atual: não há suporte para Multipart, o método POST, o protocolo HTTPS, pastas para linguagens de programação, exclusão recursiva de diretórios, não há suporte para montagem da estrutura no sistema de arquivos via WebDAV ou FUSE, os arquivos são armazenados em um usuário do sistema.
Finalmente se você estiver interessado em saber mais sobre isso sobre wZD, bem como as instruções e requisitos para sua instalação, você pode consultar os detalhes no link a seguir.