PaSh 落入 Linux 基金會手中

幾天前 PaSh項目 (開髮用於並行執行 shell 腳本的工具) 並且 Linux 基金會已經宣布該項目將移交給後者 這將提供繼續發展所需的基礎設施和服務。

PaSh 在並行化 shell 腳本方面取得了長足的進步, 實現顯著的性能改進。 在現代多處理器計算機上,PaSh 可以在原始時間的一小部分內執行諸如網絡爬行和索引、與 COVID19 相關的分析、自然語言處理和其他工作負載等任務。

Linux 基金會是一個通過開源實現大規模創新的非營利組織,今天宣布它將主持 PaSh 項目。 PaSh 是一個自動並行化 POSIX shell 腳本的系統,可優化程序並加快執行時間,為數據科學家、工程師、生物學家、經濟學家、管理員和程序員生成更快的結果。

該項目得到麻省理工學院、萊斯大學、史蒂文斯理工學院和賓夕法尼亞大學的支持,並由一個技術指導委員會管理,該委員會包括麻省理工學院的研究科學家 Nikos Vasilakis; Michael Greenberg,史蒂文斯理工學院助理教授; 和 Konstantinos Kallas 博士賓夕法尼亞大學的學生。

帕什 包括一個 JIT 編譯器、一個運行時和一個註解庫:

  • 運行時本身提供了一組原語來支持腳本的並行執行。
  • 註釋庫定義了一組屬性,這些屬性描述了可以並行化單個 POSIX 和 GNU Coreutils 命令的情況。
  • 雖然編譯器負責在抽象語法樹 (AST) 中動態執行所提議的 Shell 腳本的分析,但它將其劃分為適合併行執行的片段和基於它們的新版本的腳本,部分可以同時運行。
    編譯器從註釋庫中獲取有關可以並行化的命令的信息。 在生成腳本的並行可執行版本的過程中,代碼中替換了額外的運行時構造。

PaSh 項目技術指導委員會主席 Nikos Vasilakis 說:“Linux 基金會提供了 PaSh 隨著它變得越來越成熟而需要的技術治理基礎設施和服務。 “我們構建這個項目是為了在面臨新的爬行、索引和自然語言處理變化時改進和加速 shell 腳本的執行。”

PaSh 項目技術指導委員會成員邁克爾格林伯格說:“半個世紀以來,Shell 腳本已被廣泛使用,而最近‘容器化’趨勢的重要性只增不減。” “幾十年來,shell 腳本的正確和自動並行化一直是一個問題。 PaSh 承諾為各種 shell 用戶提供速度提升。

為了加速 shell 腳本, PaSh 提供了一個源到源的並行化編譯器,一種將程序員的 shell 腳本作為輸入並返回比原始程序快得多的新程序的程序。 

由於 PaSh 是源到源的, 允許檢查和執行優化的 shell 腳本 使用與原始腳本相同的工具、相同的環境和相同的數據。 

一個小的運行時庫和 shell 腳本中常用的程序中的相關註釋完善了這幅圖,為 PaSh 編譯器提供了高性能原語並支持其關鍵功能。

“PaSh 項目代表了計算機科學和開源軟件的創新,”Linux 基金會項目總經理兼高級副總裁 Mike Dolan 說。 “隨著軟件開發不斷發展以解決機器學習、容器化、人工智能等問題,PaSh 似乎可以為需要更多腳本工具的開發人員和數據科學家提供支持。 我們很高興在 Linux 基金會主持這項重要的工作,Linux 基金會是此類項目的天然家園。

終於 如果您有興趣了解更多信息 註釋的,你可以諮詢 以下鏈接中的詳細信息。


發表您的評論

您的電子郵件地址將不會被發表。 必填字段標有 *

*

*

  1. 負責數據:MiguelÁngelGatón
  2. 數據用途:控制垃圾郵件,註釋管理。
  3. 合法性:您的同意
  4. 數據通訊:除非有法律義務,否則不會將數據傳達給第三方。
  5. 數據存儲:Occentus Networks(EU)託管的數據庫
  6. 權利:您可以隨時限制,恢復和刪除您的信息。