Il y a plusieurs jours le projet PaSh (qui développe des outils pour l'exécution parallèle de scripts shell) et la Linux Foundation ont annoncé que le projet passera à cette dernière qui fournira l'infrastructure et les services nécessaires à la poursuite du développement.
Et est-ce PaSh a fait de grands progrès dans la parallélisation des scripts shell, obtenir des améliorations significatives des performances. Sur les ordinateurs multiprocesseurs modernes, PaSh peut effectuer des tâches telles que l'exploration et l'indexation Web, les analyses liées au COVID19, le traitement du langage naturel et d'autres charges de travail en une fraction de son temps d'origine.
La Linux Foundation, l'organisation à but non lucratif qui permet une innovation massive grâce à l'open source, a annoncé aujourd'hui qu'elle accueillera le projet PaSh. PaSh est un système de parallélisation automatique des scripts shell POSIX qui optimise les programmes et accélère les temps d'exécution, générant des résultats plus rapides pour les data scientists, ingénieurs, biologistes, économistes, administrateurs et programmeurs.
Le projet est soutenu par le MIT, l'Université Rice, le Stevens Institute of Technology et l'Université de Pennsylvanie et est régi par un comité directeur technique qui comprend Nikos Vasilakis, chercheur au MIT ; Michael Greenberg, professeur adjoint au Stevens Institute of Technology ; et Konstantinos Kallas, Ph.D. étudiant à l'Université de Pennsylvanie.
passer inclut un compilateur JIT, un runtime et une bibliothèque d'annotations :
- Le runtime quant à lui fournit un ensemble de primitives pour prendre en charge l'exécution parallèle de scripts.
- La bibliothèque d'annotations est celle qui définit un ensemble de propriétés qui décrivent des situations dans lesquelles des commandes individuelles POSIX et GNU Coreutils peuvent être parallélisées.
- Alors que le compilateur est chargé d'effectuer l'analyse du script Shell proposé à la volée dans un arbre de syntaxe abstraite (AST), il le divise en fragments adaptés à une exécution parallèle et forme, à partir d'eux, une nouvelle version du script, dont certaines parties peuvent être exécutées simultanément.
Le compilateur prend les informations sur les commandes qui peuvent être parallélisées à partir de la bibliothèque d'annotations. Lors du processus de génération d'une version exécutable parallèle du script, des constructions Runtime supplémentaires sont remplacées dans le code.
« La Linux Foundation fournit l'infrastructure de gouvernance technique et les services dont PaSh a besoin au fur et à mesure qu'elle gagne en maturité », a déclaré Nikos Vasilakis, président du comité directeur technique du projet PaSh. "Nous avons construit le projet pour améliorer et accélérer l'exécution des scripts shell face aux nouvelles modifications de l'exploration, de l'indexation et du traitement du langage naturel."
« Les scripts shell sont largement utilisés depuis un demi-siècle, et les tendances récentes vers la « conteneurisation » n'ont fait qu'augmenter en importance », a déclaré Michael Greenberg, membre du comité directeur technique du projet PaSh. « La parallélisation correcte et automatisée des scripts shell est un problème depuis plusieurs décennies. PaSh promet un boost de vitesse pour les utilisateurs de shell de toutes sortes.
Pour accélérer les scripts shell, PaSh fournit un compilateur de parallélisation source à source, un programme qui prend en entrée le script shell d'un programmeur et renvoie un nouveau programme nettement plus rapide que le programme d'origine.
Puisque PaSh est source à source, permet d'inspecter et d'exécuter un script shell optimisé en utilisant les mêmes outils, dans le même environnement et avec les mêmes données que le script original.
Une petite bibliothèque d'exécution et les annotations associées dans les programmes couramment utilisés dans les scripts shell complètent le tableau, fournissant au compilateur PaSh des primitives hautes performances et prenant en charge ses fonctions clés.
« Le projet PaSh représente l'innovation dans l'informatique et les logiciels open source », a déclaré Mike Dolan, directeur général et vice-président senior des projets à la Linux Foundation. « Alors que le développement de logiciels évolue pour aborder l'apprentissage automatique, la conteneurisation, l'intelligence artificielle et plus encore, PaSh semble soutenir les développeurs et les scientifiques des données qui ont besoin de plus de leurs outils de script. Nous sommes heureux d'accueillir ce travail important à la Linux Foundation, un foyer naturel pour un projet comme celui-ci.
Enfin si vous souhaitez en savoir plus de la note, vous pouvez consulter les détails dans le lien suivant.