Data + AI tippkohtumise ajal Andmekivid avalikustati reklaami kaudu, mis vabastaks kogu Delta Lake'i salvestusraamistiku avatud lähtekoodiga Linux Foundationi järelevalve all.
Tasub seda mainida Delta Lake on olnud Linuxi fondi projekt alates 2019. aasta oktoobrist ja see on avatud salvestuskiht, mis toob andmejärvede töökindluse ja jõudluse läbi "järvearhitektuuride", parima andmeladude ja andmejärvede ühe katuse all.
Viimase kolme aasta jooksul on Lakehousesist saanud atraktiivne lahendus andmeinseneridele, analüütikutele ja andmeteadlastele, kes soovivad paindlikult käitada samadel andmetel erinevaid töökoormusi minimaalse keerukusega ja ilma dubleerimiseta, alates analüüsist andmetest kuni õppemasinate väljatöötamiseni. . Delta Lake on maailmas enimkasutatav järvemaja formaat ja seda allalaaditakse praegu üle 7 miljoni kuus (ja kasvab).
Databricks on algusest peale pühendunud avatud standarditele ja avatud lähtekoodiga kogukonnale. Oleme loonud, panustanud, soodustanud majanduskasvu ja annetanud mõned kõige mõjukamad uuendused kaasaegses avatud lähtekoodiga tehnoloogias,“ ütles Ali Ghods.
See tähendab seda Delta Lake'i kaubamärgi Databricksi ja avatud lähtekoodiga versiooni vahel ei ole enam funktsionaalseid erinevusi. Ettevõte teatas, et avaldab sarnaselt oma hiljutised täiustused MLflow masinõppe operatsioonide platvormile ja avatud lähtekoodiga Apache Sparki analüüsiraamistikule. Databricks on oma peamises Lakehouse'i andmejärves kasutusele võtnud ka mitmeid uusi funktsioone.
"Enne Delta Lake'i töötlesid sellised tehnoloogiad nagu Spark tohutul hulgal andmeid; Delta Lake võimaldab teil töödelda väikseid deltasid koos kõigi ajalukku salvestatud muudatustega, et saaksite edasi-tagasi liikuda, " ütles Ali Ghodsi Databricksi kaasasutaja ja Databricksi tegevjuht. "See on kontrolljälgede ja vastavuse jaoks oluline, et saaksite tagasi minna ja leida aasta tagasi tehtud otsused."
Lisaks tuleb märkida, et Delta Lake'i uus versioon 2.0 pakub paremat päringu jõudlust ja avatud standarditel põhinev sihtasutus. Väljalaskekandidaat on nüüd saadaval ja eeldatavasti jõuab selle aasta jooksul üldine väljalase.
Databricks ütles seda värskendus kajastab enam kui 6400 arendaja panust ja märkis, et kohustuste koguarv on kasvanud 95%, kusjuures keskmine koodiridade arv kohustuse kohta on viimase aasta jooksul kasvanud 900%.
ettevõtte kuulutab välja ka MLflow versiooni 2.0, platvorm masinõppeprojektide haldamiseks. Käivitamine sisaldab Pipelines, uut funktsiooni, mis kiirendab ja lihtsustab masinõppemudelite juurutamist. Torujuhtmed pakuvad andmeteadlastele etteantud tootmisvalmis malle, mis põhinevad nende ehitatava mudeli tüübil, et võimaldada mudelite kiiremat ja usaldusväärsemat arendamist ilma tootmisinseneride sekkumist nõudmata.
Kasutajad saavad konveieri elemente konfiguratsioonifailis määratleda ja MLflow Pipelines haldab täitmist automaatselt, teatas ettevõte. Databricks on lisanud ka serverita mudeliterminalid, mis toetavad otseselt tootmismudelite hostimist, ning sisseehitatud mudeli jälgimise armatuurlauad, mis aitavad meeskondadel analüüsida mudelite tegelikku jõudlust.
„Delta Lake’i projektis on käimas fenomenaalne aktiivsus ja kasvutrendid, mis näitavad, et arendajakogukond soovib projektis osaleda. Kaasautorite tugevus on viimase aasta jooksul kasvanud 60% ja kohustuste koguarv on kasvanud 95% ja keskmine koodirida ühe sissekande kohta on kasvanud 900%. Me näeme seda tõusukiirust panustavatelt organisatsioonidelt, nagu Uber Technologies, Walmart ja CloudBees, Inc. — Linuxi fondi tegevdirektor Jim Zemlin.
Kui olete huvitatud rohkem teada selle kohta saate üksikasju vaadata Järgmisel lingil.