Vor einigen Tagen das PaSh-Projekt (entwickelt Tools für die parallele Ausführung von Shell-Skripten) und die Linux Foundation haben angekündigt, dass das Projekt in deren Hände übergeht die die Infrastruktur und die Dienste bereitstellen wird, die für die weitere Entwicklung erforderlich sind.
Und ist, dass PaSh hat große Fortschritte bei der Parallelisierung von Shell-Skripten gemacht, deutliche Leistungssteigerungen erzielen. Auf modernen Multiprozessor-Computern kann PaSh Aufgaben wie Web-Crawling und -Indexierung, COVID19-bezogene Analysen, Verarbeitung natürlicher Sprache und andere Workloads in einem Bruchteil seiner ursprünglichen Zeit ausführen.
Die Linux Foundation, die gemeinnützige Organisation, die massive Innovationen durch Open Source ermöglicht, gab heute bekannt, dass sie das PaSh-Projekt hosten wird. PaSh ist ein System zur automatischen Parallelisierung von POSIX-Shell-Skripten, das Programme optimiert und Ausführungszeiten beschleunigt und schnellere Ergebnisse für Datenwissenschaftler, Ingenieure, Biologen, Ökonomen, Administratoren und Programmierer generiert.
Das Projekt wird vom MIT, der Rice University, dem Stevens Institute of Technology und der University of Pennsylvania unterstützt und von einem technischen Lenkungsausschuss geleitet, dem Nikos Vasilakis, ein Forscher am MIT; Michael Greenberg, Assistenzprofessor am Stevens Institute of Technology; und Konstantinos Kallas, Ph.D. Student an der University of Pennsylvania.
pash enthält einen JIT-Compiler, eine Laufzeit und eine Annotationsbibliothek:
- Runtime ihrerseits stellt eine Reihe von Primitiven bereit, um die parallele Ausführung von Skripten zu unterstützen.
- Die Annotationsbibliothek definiert eine Reihe von Eigenschaften, die Situationen beschreiben, in denen einzelne POSIX- und GNU Coreutils-Befehle parallelisiert werden können.
- Während der Compiler dafür verantwortlich ist, die Analyse des vorgeschlagenen Shell-Skripts on the fly in einem abstrakten Syntaxbaum (AST) durchzuführen, teilt er es in Fragmente auf, die für die parallele Ausführung geeignet sind, und erstellt darauf basierend eine neue Version des Skripts, Teile davon können gleichzeitig ausgeführt werden.
Der Compiler entnimmt die Informationen über die Befehle, die parallelisiert werden können, aus der Annotationsbibliothek. Beim Generieren einer parallel ausführbaren Version des Skripts werden zusätzliche Runtime-Konstrukte im Code ersetzt.
"Die Linux Foundation stellt die technische Governance-Infrastruktur und Dienste bereit, die PaSh mit zunehmender Reife benötigt", sagte Nikos Vasilakis, Vorsitzender des technischen Lenkungsausschusses des PaSh-Projekts. "Wir haben das Projekt aufgebaut, um die Ausführung von Shell-Skripten angesichts neuer Änderungen beim Crawlen, Indexieren und der Verarbeitung natürlicher Sprache zu verbessern und zu beschleunigen."
„Shell-Skripte sind seit einem halben Jahrhundert weit verbreitet und die jüngsten Trends zur ‚Containerisierung‘ haben nur an Bedeutung gewonnen“, sagte Michael Greenberg, Mitglied des technischen Lenkungsausschusses des PaSh-Projekts. „Die korrekte und automatisierte Parallelisierung von Shell-Skripten ist seit mehreren Jahrzehnten ein Problem. PaSh verspricht einen Geschwindigkeitsschub für Shell-Benutzer aller Art.
Um Shell-Skripte zu beschleunigen, PaSh bietet einen Source-to-Source-Parallelisierungs-Compiler, ein Programm, das das Shell-Skript eines Programmierers als Eingabe verwendet und ein neues Programm zurückgibt, das deutlich schneller als das ursprüngliche Programm ist.
Da PaSh von Quelle zu Quelle ist, ermöglicht die Überprüfung und Ausführung von optimierten Shell-Skripten mit den gleichen Tools, in der gleichen Umgebung und mit den gleichen Daten wie das Originalskript.
Eine kleine Laufzeitbibliothek und zugehörige Annotationen in Programmen, die häufig in Shell-Skripten verwendet werden, vervollständigen das Bild, versorgen den PaSh-Compiler mit leistungsstarken Primitiven und unterstützen seine Schlüsselfunktionen.
"Das PaSh-Projekt steht für Innovation in der Informatik und Open-Source-Software", sagte Mike Dolan, General Manager und Senior Vice President of Projects bei der Linux Foundation. „Da sich die Softwareentwicklung weiterentwickelt, um maschinelles Lernen, Containerisierung, künstliche Intelligenz und mehr anzugehen, scheint PaSh Entwickler und Datenwissenschaftler zu unterstützen, die mehr von ihren Skripting-Tools benötigen. Wir freuen uns, diese wichtige Arbeit bei der Linux Foundation, einer natürlichen Heimat für ein Projekt wie dieses, zu hosten.
Schließlich wenn Sie mehr darüber wissen möchten der Notiz können Sie konsultieren die Details im folgenden Link.