PaSh 落入 Linux 基金会手中

几天前 PaSh项目 (开发用于并行执行 shell 脚本的工具) 并且 Linux 基金会已经宣布该项目将移交给后者 这将提供继续发展所需的基础设施和服务。

PaSh 在并行化 shell 脚本方面取得了长足的进步, 实现显着的性能改进。 在现代多处理器计算机上,PaSh 可以在原始时间的一小部分内执行诸如网络爬行和索引、与 COVID19 相关的分析、自然语言处理和其他工作负载等任务。

Linux 基金会是一个通过开源实现大规模创新的非营利组织,今天宣布它将主持 PaSh 项目。 PaSh 是一个自动并行化 POSIX shell 脚本的系统,它优化程序并加快执行时间,为数据科学家、工程师、生物学家、经济学家、管理员和程序员生成更快的结果。

该项目得到麻省理工学院、莱斯大学、史蒂文斯理工学院和宾夕法尼亚大学的支持,并由一个技术指导委员会管理,该委员会包括麻省理工学院的研究科学家 Nikos Vasilakis; Michael Greenberg,史蒂文斯理工学院助理教授; 和 Konstantinos Kallas 博士宾夕法尼亚大学的学生。

帕什 包括 JIT 编译器、运行时和注释库:

  • 运行时本身提供了一组原语来支持脚本的并行执行。
  • 注释库定义了一组属性,这些属性描述了可以并行化单个 POSIX 和 GNU Coreutils 命令的情况。
  • 虽然编译器负责在抽象语法树 (AST) 中动态执行所提议的 Shell 脚本的分析,但它将其划分为适合并行执行的片段和基于它们的新版本的脚本,部分可以同时运行。
    编译器从注释库中获取有关可以并行化的命令的信息。 在生成脚本的并行可执行版本的过程中,代码中替换了额外的运行时构造。

PaSh 项目技术指导委员会主席 Nikos Vasilakis 说:“Linux 基金会提供了 PaSh 随着它变得越来越成熟而需要的技术治理基础设施和服务。 “我们构建这个项目是为了在面临新的爬行、索引和自然语言处理变化时改进和加速 shell 脚本的执行。”

PaSh 项目技术指导委员会成员迈克尔格林伯格说:“半个世纪以来,Shell 脚本已被广泛使用,而最近‘容器化’趋势的重要性只增不减。” “几十年来,shell 脚本的正确和自动并行化一直是一个问题。 PaSh 承诺为各种 shell 用户提供速度提升。

为了加速 shell 脚本, PaSh 提供了一个源到源的并行化编译器,一种将程序员的 shell 脚本作为输入并返回比原始程序快得多的新程序的程序。 

由于 PaSh 是源到源的, 允许检查和执行优化的 shell 脚本 使用与原始脚本相同的工具、相同的环境和相同的数据。 

shell 脚本中常用的程序中的一个小型运行时库和相关注释完善了这幅图,为 PaSh 编译器提供了高性能原语并支持其关键功能。

“PaSh 项目代表了计算机科学和开源软件的创新,”Linux 基金会项目总经理兼高级副总裁 Mike Dolan 说。 “随着软件开发不断发展以解决机器学习、容器化、人工智能等问题,PaSh 似乎可以为需要更多脚本工具的开发人员和数据科学家提供支持。 我们很高兴在 Linux 基金会主持这项重要的工作,Linux 基金会是此类项目的自然家园。

最后 如果您有兴趣了解更多信息 注释的,你可以咨询 以下链接中的详细信息。


发表您的评论

您的电子邮件地址将不会被发表。 必填字段标有 *

*

*

  1. 负责数据:MiguelÁngelGatón
  2. 数据用途:控制垃圾邮件,注释管理。
  3. 合法性:您的同意
  4. 数据通讯:除非有法律义务,否则不会将数据传达给第三方。
  5. 数据存储:Occentus Networks(EU)托管的数据库
  6. 权利:您可以随时限制,恢复和删除您的信息。