Během Data + AI Summit Databricks odhaleny prostřednictvím reklamy, což by uvolnilo celý úložný rámec Delta Lake open source pod dohledem Linux Foundation.
Za zmínku stojí Delta Lake je projekt Linux Foundation od října 2019 a je to otevřená vrstva úložiště, která přináší spolehlivost a výkon datovým jezerům prostřednictvím „jezerních architektur“, nejlepších datových skladů a datových jezer pod jednou střechou.
Během posledních tří let se Lakehouses stal atraktivním řešením pro datové inženýry, analytiky a datové vědce, kteří chtějí flexibilitu pro spouštění různých pracovních zátěží na stejných datech s minimální složitostí a bez duplikace, od analýzy od dat až po vývoj výukových strojů. . Delta Lake je nejpoužívanější formát jezerních domů na světě a v současné době zaznamenává více než 7 milionů stažení za měsíc (a stále roste).
„Od začátku se Databricks zavázala k otevřeným standardům a komunitě open source. Vytvořili jsme, přispěli, podpořili růst a darovali některé z nejpůsobivějších inovací v moderní open source technologii,“ řekl Ali Ghods.
To znamená, že Mezi Databricks značky Delta Lake a open source verzí již nebudou funkční rozdíly. Společnost uvedla, že podobně vydá svá nedávná vylepšení operační platformy pro strojové učení MLflow a analytického rámce Apache Spark s otevřeným zdrojovým kódem. Databricks také zavedla několik nových funkcí do svého hlavního datového jezera Lakehouse.
„Před Delta Lake zpracovávaly technologie jako Spark obrovské množství dat; Delta Lake vám umožňuje zpracovávat malé delty se všemi změnami uloženými v historii, takže se můžete pohybovat tam a zpět,“ řekl Ali Ghodsi spoluzakladatel Databricks a generální ředitel Databricks. "To je důležité pro auditní záznamy a dodržování předpisů, abyste se mohli vrátit a najít rozhodnutí, která jste učinili před rokem."
Navíc je třeba poznamenat, že nová verze 2.0 Delta Lake nabízí lepší výkon dotazů a základ založený na otevřených standardech. Kandidát na vydání je nyní k dispozici a očekává se, že bude v obecné verzi koncem tohoto roku.
Databricks to řekl aktualizace odráží příspěvky od více než 6400 XNUMX vývojářů a poznamenali, že celkový počet odevzdání vzrostl o 95 %, přičemž průměrný počet řádků kódu na potvrzení se za poslední rok zvýšil o 900 %.
Společnost také oznamuje verzi 2.0 MLflow, platforma pro správu projektů strojového učení. Oběd zahrnuje Pipelines, novou funkci pro urychlení a zjednodušení nasazení modelů strojového učení. Pipelines poskytují datovým vědcům předdefinované šablony připravené k výrobě založené na typu modelu, který vytvářejí, aby umožnily rychlejší a spolehlivější vývoj modelu bez nutnosti zásahu výrobních inženýrů.
Uživatelé mohou definovat prvky potrubí v konfiguračním souboru a MLflow Pipelines řídí provádění automaticky, uvedla společnost. Databricks také přidal bezserverové modelové terminály pro přímou podporu hostování produkčních modelů, stejně jako vestavěné řídicí panely pro monitorování modelů, které pomáhají týmům analyzovat výkon modelu v reálném světě.
„Projekt Delta Lake zažívá fenomenální aktivitu a růstové trendy, které naznačují, že developerská komunita chce být součástí projektu. Síla přispěvatelů se za poslední rok zvýšila o 60 % a nárůst celkového počtu odevzdání se zvýšil o 95 % a průměrný řádek kódu na odevzdání se zvýšil o 900 %. Vidíme tuto vzestupnou rychlost od přispívajících organizací, jako jsou mimo jiné Uber Technologies, Walmart a CloudBees, Inc. —Výkonný ředitel Linux Foundation, Jim Zemlin.
Pokud zájem dozvědět se více o tom můžete zkontrolovat podrobnosti Na následujícím odkazu.