A Data + AI Summit során Adattéglákat mutattak be reklám útján, ami a teljes Delta Lake tárolókeretet felszabadítaná nyílt forráskódú, a Linux Foundation felügyelete alatt.
Érdemes ezt megemlíteni A Delta Lake 2019 októbere óta a Linux Alapítvány projektje és ez a nyílt tárolási réteg az, amely megbízhatóságot és teljesítményt biztosít az adattáraknak a „tó architektúrákon”, a legjobb adattárházakon és adattárakon keresztül egy fedél alatt.
Az elmúlt három év során a Lakehouses vonzó megoldássá vált azon adatmérnökök, elemzők és adattudósok számára, akik rugalmasságot szeretnének, hogy különböző munkaterheléseket futtassák ugyanazon az adatokon minimális bonyolultsággal és duplikáció nélkül, az elemzéstől az adatoktól a tanulógépek fejlesztéséig. . A Delta Lake a világ leggyakrabban használt tóházi formátuma, és jelenleg több mint 7 millió letöltést látnak havonta (és növekszik).
„A Databricks kezdettől fogva elkötelezett a nyílt szabványok és a nyílt forráskódú közösség mellett. Létrehoztuk, hozzájárultunk, elősegítettük a növekedést és adományoztuk a modern nyílt forráskódú technológia leghatásosabb innovációit” – mondta Ali Ghods.
Azt jelenti A továbbiakban nem lesznek funkcionális különbségek a Delta Lake márkájú Databricks és a nyílt forráskódú verzió között. A vállalat közölte, hogy hasonlóképpen kiadja az MLflow gépi tanulási műveleti platform és a nyílt forráskódú Apache Spark elemzési keretrendszer legújabb fejlesztéseit. A Databricks számos új funkciót is bevezetett fő Lakehouse-adattójába.
„A Delta Lake előtt az olyan technológiák, mint a Spark, hatalmas mennyiségű adatot dolgoztak fel; A Delta Lake lehetővé teszi a kis delták feldolgozását a történelemben tárolt összes változással, így oda-vissza mozoghat” – mondta Ali Ghodsi, a Databricks társalapítója és a Databricks vezérigazgatója. "Ez fontos az ellenőrzési nyomvonalak és a megfelelőség szempontjából, így visszamehet és megtalálhatja az egy évvel ezelőtt hozott döntéseit."
Emellett meg kell jegyezni, hogy A Delta Lake új 2.0-s verziója jobb lekérdezési teljesítményt kínál és nyílt szabványokon alapuló alapítvány. A megjelenésjelölt már elérhető, és várhatóan még ebben az évben megjelenik.
Databricks ezt mondta A frissítés több mint 6400 fejlesztő hozzájárulását tükrözi és megjegyezte, hogy az összes commit 95%-kal nőtt, és a végrehajtásonkénti kódsorok átlagos száma 900%-kal nőtt az elmúlt évben.
A társaság bejelenti az MLflow 2.0-s verzióját is, egy platform a gépi tanulási projektek kezelésére. Az indítás magában foglalja a Pipelines-t, egy új funkciót, amely felgyorsítja és egyszerűsíti a gépi tanulási modellek telepítését. A folyamatok előre definiált, gyártásra kész sablonokat biztosítanak az adatkutatóknak az általuk épített modell típusa alapján, hogy gyorsabb és megbízhatóbb modellfejlesztést tegyenek lehetővé anélkül, hogy a gyártómérnökök beavatkozása szükségessé válna.
A felhasználók egy konfigurációs fájlban határozhatják meg a folyamatelemeket, az MLflow Pipelines pedig automatikusan kezeli a végrehajtást – közölte a vállalat. A Databricks emellett kiszolgáló nélküli modellterminálokat is hozzáadott a termelési modell hosztolásának közvetlen támogatásához, valamint beépített modellfigyelő irányítópultokat, amelyek segítenek a csapatoknak a valós modell teljesítményének elemzésében.
„A Delta Lake projekt fenomenális aktivitást és növekedési trendeket tapasztal, amelyek azt jelzik, hogy a fejlesztői közösség részese kíván lenni a projektnek. A közreműködők ereje 60%-kal nőtt az elmúlt évben, és az összes commit növekedése 95%-kal nőtt, és az átlagos kódsorok száma 900%-kal nőtt. Ezt a felfelé ívelő sebességet látjuk többek között az olyan közreműködő szervezetektől, mint az Uber Technologies, a Walmart és a CloudBees, Inc..” – Jim Zemlin, a Linux Alapítvány ügyvezető igazgatója.
Ha érdekelne többet megtudni erről ellenőrizheti a részleteket A következő linken.