数日前 PaShプロジェクト （シェルスクリプトを並列実行するためのツールを開発します） Linux Foundationは、プロジェクトが後者の手に渡ることを発表しました 開発を継続するために必要なインフラストラクチャとサービスを提供します。
そして、それ PaShは、シェルスクリプトの並列化において大きな進歩を遂げました。 大幅なパフォーマンスの向上を実現します。 最新のマルチプロセッサコンピューターでは、PaShは、Webクロールとインデックス作成、COVID19関連の分析、自然言語処理、その他のワークロードなどのタスクを元の時間の何分のXNUMXかで実行できます。
オープンソースを通じて大規模なイノベーションを可能にする非営利団体であるLinuxFoundationは、PaShプロジェクトをホストすることを本日発表しました。 PaShは、POSIXシェルスクリプトを自動的に並列化するためのシステムであり、プログラムを最適化し、実行時間を短縮し、データサイエンティスト、エンジニア、生物学者、エコノミスト、管理者、およびプログラマーに高速な結果を生成します。
このプロジェクトは、MIT、ライス大学、スティーブンス工科大学、ペンシルベニア大学によってサポートされており、MITの研究科学者であるNikosVasilakisを含む技術運営委員会によって統治されています。 スティーブンス工科大学の助教授、マイケル・グリーンバーグ。 およびKonstantinosKallas、Ph.D。 ペンシルベニア大学の学生。
パッシュ JITコンパイラ、ランタイム、および注釈ライブラリが含まれています。
- その部分のランタイムは、スクリプトの並列実行をサポートするためのプリミティブのセットを提供します。
- アノテーションライブラリは、個々のPOSIXコマンドとGNUCoreutilsコマンドを並列化できる状況を説明する一連のプロパティを定義するライブラリです。
- コンパイラは、提案されたシェルスクリプトの分析を抽象構文木（AST）でオンザフライで実行しますが、並列実行に適したフラグメントに分割し、それらに基づいて、スクリプトの新しいバージョンを形成します。その一部は同時に実行できます。
コンパイラーは、アノテーション・ライブラリーから並列化できるコマンドに関する情報を取得します。 スクリプトの並列実行可能バージョンを生成するプロセスでは、追加のランタイム構造がコードに置き換えられます。
「LinuxFoundationは、PaShが成熟するにつれて必要となる技術ガバナンスインフラストラクチャとサービスを提供します」と、PaShプロジェクト技術運営委員会の委員長であるNikosVasilakisは述べています。 「新しいクロール、インデックス作成、自然言語処理の変更に直面して、シェルスクリプトの実行を改善および高速化するプロジェクトを構築しました。」
「シェルスクリプトは半世紀にわたって広く使用されており、「コンテナ化」への最近の傾向は重要性を増しているだけです」と、PaShプロジェクト技術運営委員会のメンバーであるMichaelGreenbergは述べています。 「シェルスクリプトの正確で自動化された並列化は、数十年にわたって問題となってきました。 PaShは、あらゆる種類のシェルユーザーにスピードアップを約束します。
シェルスクリプトを高速化するには、 PaShは、ソース間並列化コンパイラを提供します、プログラマーのシェルスクリプトを入力として受け取り、元のプログラムよりも大幅に高速な新しいプログラムを返すプログラム。
PaShはソースツーソースであるため、 最適化されたシェルスクリプトを検査して実行できるようにします 元のスクリプトと同じツール、同じ環境、同じデータを使用します。
シェルスクリプトで一般的に使用されるプログラムの小さなランタイムライブラリと関連する注釈が全体像を完成させ、PaShコンパイラに高性能プリミティブを提供し、その主要な機能をサポートします。
LinuxFoundationのプロジェクトのゼネラルマネージャー兼シニアバイスプレジデントであるMikeDolanは、次のように述べています。 「ソフトウェア開発が機械学習、コンテナ化、人工知能などに対応するように進化するにつれて、PaShは、スクリプトツールからさらに多くのものを必要とする開発者やデータサイエンティストをサポートしているようです。 このようなプロジェクトの自然な拠点であるLinuxFoundationで、この重要な作業をホストできることをうれしく思います。
最後に あなたがそれについてもっと知りたいのなら メモの、あなたは相談することができます 詳細は次のリンクにあります。