Data + AI -huippukokouksen aikana Databricks paljastettiin mainoksen kautta, mikä vapauttaisi koko Delta Laken tallennuskehyksen avoimen lähdekoodin Linux Foundationin valvonnassa.
On syytä mainita se Delta Lake on ollut Linux Foundation -projekti lokakuusta 2019 lähtien ja se on avoin tallennuskerros, joka tuo luotettavuutta ja suorituskykyä datajärviin "järviarkkitehtuurien" avulla, jotka ovat parhaat tietovarastot ja datajärvet saman katon alla.
Viimeisten kolmen vuoden aikana Lakehousesista on tullut houkutteleva ratkaisu tietosuunnittelijoille, analyytikoille ja datatieteilijöille, jotka haluavat joustavuutta suorittaa erilaisia työkuormia samoilla tiedoilla mahdollisimman monimutkaisesti ja ilman päällekkäisyyttä analytiikasta tiedosta oppimiskoneiden kehittämiseen. . Delta Lake on eniten käytetty Lake House -muoto maailmassa, ja tällä hetkellä yli 7 miljoonaa latausta kuukaudessa (ja kasvussa).
"Databricks on alusta alkaen ollut sitoutunut avoimiin standardeihin ja avoimen lähdekoodin yhteisöön. Olemme luoneet, edistäneet, edistäneet kasvua ja lahjoittaneet joitain vaikuttavimmista innovaatioista modernissa avoimen lähdekoodin teknologiassa”, Ali Ghods sanoi.
Se tarkoittaa sitä Databricksin Delta Lake -brändin ja avoimen lähdekoodin version välillä ei enää ole toiminnallisia eroja. Yhtiö ilmoitti julkaisevansa vastaavasti viimeaikaiset parannukset MLflow-koneoppimistoimintaalustaan ja avoimen lähdekoodin Apache Spark -analytiikkakehykseen. Databricks on myös ottanut käyttöön useita uusia ominaisuuksia tärkeimpään Lakehouse-tietojärveen.
"Ennen Delta Lakea Sparkin kaltaiset tekniikat käsittelivät valtavia tietomääriä; Delta Laken avulla voit käsitellä pieniä deltoja, joissa on kaikki historiaan tallennetut muutokset, jotta voit liikkua edestakaisin”, sanoi Ali Ghodsi, Databricksin toinen perustaja ja Databricksin toimitusjohtaja. "Tämä on tärkeää kirjausketjujen ja vaatimustenmukaisuuden kannalta, jotta voit palata takaisin ja löytää vuosi sitten tekemäsi päätökset."
Lisäksi on syytä huomata, että Delta Laken uusi versio 2.0 tarjoaa paremman kyselyn suorituskyvyn ja avoimiin standardeihin perustuva säätiö. Julkaisuehdokas on nyt saatavilla, ja sen odotetaan julkaistavan myöhemmin tänä vuonna.
Databricks sanoi niin päivitys heijastaa yli 6400 XNUMX kehittäjän panosta ja totesi, että sitoumusten kokonaismäärä on kasvanut 95 % ja keskimääräinen koodirivien määrä sitoumusta kohti on kasvanut 900 % viimeisen vuoden aikana.
yhtiön julkistaa myös MLflow:n version 2.0, alusta koneoppimisprojektien hallintaan. Laukaisu sisältää Pipelines, uuden ominaisuuden, joka nopeuttaa ja yksinkertaistaa koneoppimismallien käyttöönottoa. Putkilinjat tarjoavat datatutkijoille valmiita, tuotantovalmiita malleja heidän rakentamansa mallin tyypin perusteella, mikä mahdollistaa nopeamman ja luotettavamman mallinkehityksen ilman tuotantoinsinöörien toimenpiteitä.
Käyttäjät voivat määritellä liukuhihnaelementit konfiguraatiotiedostossa ja MLflow Pipelines hallitsee suorituksen automaattisesti, yhtiö sanoi. Databricks on myös lisännyt palvelimettomia mallipäätteitä tukemaan suoraan tuotantomallien isännöintiä sekä sisäänrakennettuja mallinvalvontakojetauluja, jotka auttavat tiimejä analysoimaan todellisen mallin suorituskykyä.
”Delta Lake -projektissa on ilmiömäistä aktiivisuutta ja kasvutrendejä, jotka osoittavat kehittäjäyhteisön halua olla osa hanketta. Osallistujien vahvuus on kasvanut 60 % viimeisen vuoden aikana ja sitoumusten kokonaismäärä on kasvanut 95 % ja keskimääräinen koodirivi sitoumusta kohti on kasvanut 900 %. Näemme tämän nousunopeuden osallistuvilta organisaatioilta, kuten Uber Technologies, Walmart ja CloudBees, Inc.. — Linux Foundationin toiminnanjohtaja Jim Zemlin.
Jos olet kiinnostunut tietämään lisää siitä, voit tarkistaa yksityiskohdat Seuraavassa linkissä.