PaSh komt in handen van de Linux Foundation

Een aantal dagen geleden het PaSh-project (die tools ontwikkelt voor parallelle uitvoering van shellscripts) en de Linux Foundation hebben aangekondigd dat het project aan laatstgenoemde zal overgaan die zal voorzien in de infrastructuur en diensten die nodig zijn om de ontwikkeling voort te zetten.

En PaSh heeft grote vooruitgang geboekt in het parallelliseren van shell-scripts, significante prestatieverbeteringen te realiseren. Op moderne computers met meerdere processors kan PaSh taken uitvoeren zoals webcrawling en indexering, COVID19-gerelateerde analyses, natuurlijke taalverwerking en andere workloads in een fractie van de oorspronkelijke tijd.

De Linux Foundation, de non-profitorganisatie die enorme innovatie mogelijk maakt via open source, heeft vandaag aangekondigd dat het het PaSh-project zal hosten. PaSh is een systeem voor het automatisch parallelliseren van POSIX-shellscripts dat programma's optimaliseert en uitvoeringstijden versnelt, waardoor snellere resultaten worden gegenereerd voor datawetenschappers, ingenieurs, biologen, economen, beheerders en programmeurs.

Het project wordt ondersteund door MIT, Rice University, Stevens Institute of Technology en de University of Pennsylvania en wordt bestuurd door een technische stuurgroep met onder meer Nikos Vasilakis, een onderzoekswetenschapper aan het MIT; Michael Greenberg, assistent-professor aan het Stevens Institute of Technology; en Konstantinos Kallas, Ph.D. student aan de Universiteit van Pennsylvania.

PaSho bevat een JIT-compiler, runtime en annotatiebibliotheek:

  • Runtime van zijn kant biedt een reeks primitieven om parallelle uitvoering van scripts te ondersteunen.
  • De annotatiebibliotheek is degene die een set eigenschappen definieert die situaties beschrijven waarin individuele POSIX- en GNU Coreutils-commando's kunnen worden geparalleliseerd.
  • Terwijl de compiler verantwoordelijk is voor het uitvoeren van de analyse van het voorgestelde Shell-script on-the-fly in een abstracte syntaxisboom (AST), verdeelt hij het in fragmenten die geschikt zijn voor parallelle uitvoering en vormt op basis daarvan een nieuwe versie van het script, waarvan delen gelijktijdig kunnen worden uitgevoerd.
    De compiler haalt de informatie over de opdrachten die parallel kunnen worden gezet uit de annotatiebibliotheek. Tijdens het genereren van een parallelle uitvoerbare versie van het script, worden aanvullende Runtime-constructies in de code vervangen.

"De Linux Foundation biedt de technische governance-infrastructuur en -services die PaSh nodig heeft geworden naarmate het volwassener is geworden", zegt Nikos Vasilakis, voorzitter van de technische stuurgroep van het PaSh-project. "We hebben het project gebouwd om de uitvoering van shellscripts te verbeteren en te versnellen in het licht van nieuwe veranderingen in crawling, indexering en natuurlijke taalverwerking."

"Shell-scripts worden al een halve eeuw op grote schaal gebruikt en de recente trends in de richting van 'containerisatie' zijn alleen maar belangrijker geworden", zegt Michael Greenberg, lid van de PaSh Project Technical Steering Committee. “Correcte en geautomatiseerde parallellisatie van shellscripts is al tientallen jaren een probleem. PaSh belooft een snelheidsboost voor alle soorten shell-gebruikers.

Om shellscripts te versnellen, PaSh biedt een bron-naar-bron parallellisatiecompiler, een programma dat het shellscript van een programmeur als invoer neemt en een nieuw programma retourneert dat aanzienlijk sneller is dan het oorspronkelijke programma. 

Aangezien PaSh van bron tot bron is, maakt het mogelijk om geoptimaliseerd shellscript te inspecteren en uit te voeren met dezelfde tools, in dezelfde omgeving en met dezelfde gegevens als het originele script. 

Een kleine runtime-bibliotheek en bijbehorende annotaties in programma's die vaak in shell-scripts worden gebruikt, maken het plaatje compleet, door de PaSh-compiler te voorzien van hoogwaardige primitieven en zijn belangrijkste functies te ondersteunen.

"Het PaSh-project staat voor innovatie in computerwetenschap en open source-software", zegt Mike Dolan, algemeen directeur en senior vice-president van Projects bij de Linux Foundation. “Naarmate de softwareontwikkeling evolueert om machine learning, containerisatie, kunstmatige intelligentie en meer aan te pakken, lijkt PaSh ontwikkelaars en datawetenschappers te ondersteunen die meer van hun scripttools nodig hebben. We zijn blij om dit belangrijke werk te hosten bij de Linux Foundation, een natuurlijke thuisbasis voor een project als dit.

Eindelijk als u er meer over wilt weten van de nota, kunt u raadplegen de details in de volgende link.


De inhoud van het artikel voldoet aan onze principes van redactionele ethiek. Klik op om een ​​fout te melden hier.

Wees de eerste om te reageren

Laat je reactie achter

Uw e-mailadres wordt niet gepubliceerd. Verplichte velden zijn gemarkeerd met *

*

*

  1. Verantwoordelijk voor de gegevens: Miguel Ángel Gatón
  2. Doel van de gegevens: Controle SPAM, commentaarbeheer.
  3. Legitimatie: uw toestemming
  4. Mededeling van de gegevens: De gegevens worden niet aan derden meegedeeld, behalve op grond van wettelijke verplichting.
  5. Gegevensopslag: database gehost door Occentus Networks (EU)
  6. Rechten: u kunt uw gegevens op elk moment beperken, herstellen en verwijderen.