Vários dias atrás o projeto PaSh (que desenvolve ferramentas para execução paralela de scripts de shell) e a Linux Foundation anunciaram que o projeto passará para este último que fornecerá a infraestrutura e os serviços necessários para continuar o desenvolvimento.
E é que PaSh fez grandes avanços na paralelização de scripts de shell, alcançar melhorias significativas de desempenho. Em computadores com multiprocessadores modernos, o PaSh pode realizar tarefas como rastreamento e indexação da web, análises relacionadas ao COVID19, processamento de linguagem natural e outras cargas de trabalho em uma fração de seu tempo original.
A Linux Foundation, a organização sem fins lucrativos que permite inovação massiva por meio do código aberto, anunciou hoje que hospedará o projeto PaSh. PaSh é um sistema para paralelizar scripts POSIX shell automaticamente que otimiza programas e acelera os tempos de execução, gerando resultados mais rápidos para cientistas de dados, engenheiros, biólogos, economistas, administradores e programadores.
O projeto é apoiado pelo MIT, pela Rice University, pelo Stevens Institute of Technology e pela University of Pennsylvania e é governado por um Comitê Técnico de Direção que inclui Nikos Vasilakis, um cientista pesquisador do MIT; Michael Greenberg, professor assistente do Stevens Institute of Technology; e Konstantinos Kallas, Ph.D. estudante da Universidade da Pensilvânia.
paquerar inclui um compilador JIT, tempo de execução e biblioteca de anotação:
- O tempo de execução, por sua vez, fornece um conjunto de primitivas para suportar a execução paralela de scripts.
- A biblioteca de anotações é aquela que define um conjunto de propriedades que descrevem situações nas quais comandos POSIX e GNU Coreutils individuais podem ser paralelizados.
- Enquanto o compilador é responsável por realizar a análise do script Shell proposto em tempo real em uma árvore de sintaxe abstrata (AST), ele o divide em fragmentos adequados para execução paralela e forma, com base neles, uma nova versão do script, partes das quais podem ser executadas simultaneamente.
O compilador obtém as informações sobre os comandos que podem ser paralelizados da biblioteca de anotações. No processo de geração de uma versão executável paralela do script, construções adicionais de Runtime são substituídas no código.
"A Linux Foundation fornece a infraestrutura técnica de governança e os serviços que o PaSh passou a exigir à medida que se tornou mais maduro", disse Nikos Vasilakis, presidente do Comitê de Direção Técnica do Projeto PaSh. "Construímos o projeto para melhorar e acelerar a execução do shell script em face de novas alterações de rastreamento, indexação e processamento de linguagem natural."
"Os scripts da Shell têm sido amplamente usados por meio século e as tendências recentes em direção à 'conteinerização' apenas aumentaram em importância", disse Michael Greenberg, membro do Comitê de Orientação Técnica do Projeto PaSh. “A paralelização correta e automatizada de scripts de shell tem sido um problema por várias décadas. PaSh promete um aumento de velocidade para usuários de shell de todos os tipos.
Para acelerar scripts de shell, PaSh fornece um compilador de paralelização de origem a origem, um programa que recebe um script de shell do programador como entrada e retorna um novo programa que é significativamente mais rápido do que o programa original.
Uma vez que PaSh é fonte para fonte, permite que o script de shell otimizado seja inspecionado e executado usando as mesmas ferramentas, no mesmo ambiente e com os mesmos dados do script original.
Uma pequena biblioteca de tempo de execução e anotações associadas em programas comumente usados em scripts de shell completam o quadro, fornecendo ao compilador PaSh primitivos de alto desempenho e apoiando suas funções principais.
"O Projeto PaSh representa inovação em ciência da computação e software de código aberto", disse Mike Dolan, gerente geral e vice-presidente sênior de Projetos da Linux Foundation. “Conforme o desenvolvimento de software evolui para lidar com aprendizado de máquina, conteinerização, inteligência artificial e muito mais, o PaSh parece oferecer suporte a desenvolvedores e cientistas de dados que precisam mais de suas ferramentas de script. Estamos felizes em hospedar este importante trabalho na Linux Foundation, um lar natural para um projeto como este.
Finalmente se você estiver interessado em saber mais sobre isso da nota, você pode consultar os detalhes no link a seguir.