Databricks пусна кода за Delta Lake и MLflow

По време на срещата Data + AI Databricks представени чрез реклама, което би освободило цялата рамка за съхранение на Delta Lake с отворен код под надзора на Linux Foundation.

Струва си да се спомене това Delta Lake е проект на Linux Foundation от октомври 2019 г и това е отвореният слой за съхранение, който носи надеждност и производителност на езерата от данни чрез „архитектури на езера“, най-доброто от хранилища за данни и езера от данни под един покрив.

През последните три години Lakehouses се превърна в привлекателно решение за инженери по данни, анализатори и учени по данни, които искат гъвкавостта да изпълняват различни натоварвания върху едни и същи данни с минимална сложност и без дублиране, от анализи от данни до разработване на машини за обучение . Delta Lake е най-използваният формат на Lake House в света и в момента има над 7 милиона изтегляния на месец (и расте).

„От самото начало Databricks се ангажира с отворени стандарти и общност с отворен код. Създадохме, допринесохме, насърчихме растежа и дарихме някои от най-въздействащите иновации в съвременната технология с отворен код“, каза Али Годс

Това означава, че Вече няма да има функционални разлики между марката Delta Lake на Databricks и версията с отворен код. Компанията каза, че по подобен начин ще пусне своите скорошни подобрения на операционната платформа за машинно обучение MLflow и рамката за анализ на Apache Spark с отворен код. Databricks също пусна няколко нови функции в своето основно езеро с данни Lakehouse.

„Преди Delta Lake, технологии като Spark обработваха огромни количества данни; Delta Lake ви позволява да обработвате малки делти с всички промени, съхранени в историята, така че да можете да се връщате напред и назад“, каза Али Годси, съосновател на Databricks и главен изпълнителен директор на Databricks. „Това е важно за одитните пътеки и съответствието, за да можете да се върнете назад и да намерите решенията, които сте взели преди година.“

Освен това трябва да се отбележи, че новата версия 2.0 на Delta Lake включва по-добра производителност на заявките и основа, базирана на отворени стандарти. Кандидатът за издание вече е наличен и се очаква да влезе в общо издание по-късно тази година.

Databricks каза това актуализацията отразява приноса на над 6400 разработчици и отбеляза, че общите ангажименти са нараснали с 95%, като средният брой редове код на ангажимент се е увеличил с 900% през последната година.

Компанията също обявява версия 2.0 на MLflow, платформа за управление на проекти за машинно обучение. Изстрелването включва Pipelines, нова функция за ускоряване и опростяване на внедряването на модели за машинно обучение. Конвейерите предоставят на специалистите по данни предварително дефинирани шаблони, готови за производство, въз основа на типа модел, който изграждат, за да позволят по-бързо и по-надеждно разработване на модели, без да се изисква намеса от производствени инженери.

Потребителите могат да дефинират елементите на тръбопровода в конфигурационен файл и MLflow Pipelines управлява автоматично изпълнението, каза компанията. Databricks също добави терминали без сървърни модели за директна поддръжка на хостинг на производствения модел, както и вградени табла за управление за мониторинг на модела, за да помогне на екипите да анализират производителността на модела в реалния свят.

„Проектът Delta Lake преживява феноменална активност и тенденции на растеж, които показват, че общността на разработчиците иска да бъде част от проекта. Силата на сътрудниците се е увеличила с 60% през последната година и растежът на общите ангажименти се е увеличил с 95%, а средният ред код на ангажимент се е увеличил с 900%. Виждаме тази възходяща скорост от допринасящи организации като Uber Technologies, Walmart и CloudBees, Inc., наред с други.“ — Изпълнителен директор на Linux Foundation, Джим Землин.

Ако сте заинтересовани да знаят повече за това можете да проверите подробностите В следващия линк.


Бъдете първите, които коментират

Оставете вашия коментар

Вашият имейл адрес няма да бъде публикуван. Задължителните полета са отбелязани с *

*

*

  1. Отговорен за данните: Мигел Анхел Гатон
  2. Предназначение на данните: Контрол на СПАМ, управление на коментари.
  3. Легитимация: Вашето съгласие
  4. Съобщаване на данните: Данните няма да бъдат съобщени на трети страни, освен по законово задължение.
  5. Съхранение на данни: База данни, хоствана от Occentus Networks (ЕС)
  6. Права: По всяко време можете да ограничите, възстановите и изтриете информацията си.