Tokom Data + AI samita Databricks predstavljeni putem oglasa, što bi oslobodilo čitav okvir za skladištenje Delta Lakea otvorenog koda pod nadzorom Linux fondacije.
Vrijedno je to spomenuti Delta Lake je projekat Linux fondacije od oktobra 2019 i to je otvoreni sloj za skladištenje koji donosi pouzdanost i performanse jezerima podataka kroz „jezerske arhitekture“, najbolje od skladišta podataka i jezera podataka pod jednim krovom.
U protekle tri godine, Lakehouses je postao atraktivno rješenje za inženjere podataka, analitičare i naučnike koji žele fleksibilnost pokretanja različitih radnih opterećenja na istim podacima uz minimalnu složenost i bez dupliciranja, od analitike od podataka do razvoja mašina za učenje . Delta Lake je najčešće korišteni format jezerskih kuća na svijetu i trenutno ima preko 7 miliona preuzimanja mjesečno (i raste).
“Od samog početka, Databricks je bio posvećen otvorenim standardima i zajednici otvorenog koda. Stvorili smo, doprinijeli, podsticali rast i donirali neke od najuticajnijih inovacija u modernoj tehnologiji otvorenog koda,” rekao je Ali Ghods
To znači Više neće postojati funkcionalne razlike između Delta Lake brenda Databricks i verzije otvorenog koda. Kompanija je saopštila da će na sličan način objaviti svoja nedavna poboljšanja platforme za operacije mašinskog učenja MLflow i okvira za analizu Apache Spark otvorenog koda. Databricks je također uveo nekoliko novih funkcija u svoje glavno Lakehouse jezero podataka.
“Prije Delta Lakea, tehnologije poput Sparka su obrađivale ogromne količine podataka; Delta Lake vam omogućava da obrađujete male delte sa svim promjenama pohranjenim u historiji, tako da možete ići naprijed-nazad,” rekao je Ali Ghodsi suosnivač Databricksa i izvršni direktor Databricksa. "Ovo je važno za revizorske tragove i usklađenost kako biste se mogli vratiti i pronaći odluke koje ste donijeli prije godinu dana."
Osim toga, treba napomenuti da nova verzija 2.0 Delta Lake ima bolje performanse upita i temelj zasnovan na otvorenim standardima. Kandidat za izdanje je sada dostupan i očekuje se da će ući u opće izdanje kasnije ove godine.
Databricks je to rekao ažuriranje odražava doprinose od preko 6400 programera i primetio da je ukupna urezivanja porasla 95% sa prosečnim brojem linija koda po urezivanju za 900% tokom prošle godine.
Kompanija također najavljuje verziju 2.0 MLflowa, platforma za upravljanje projektima mašinskog učenja. Lansiranje uključuje Pipelines, novu funkciju za ubrzavanje i pojednostavljenje implementacije modela strojnog učenja. Cevovodi pružaju naučnicima podataka unapred definisane šablone spremne za proizvodnju zasnovane na tipu modela koji grade kako bi omogućili brži i pouzdaniji razvoj modela bez potrebe za intervencijom proizvodnih inženjera.
Korisnici mogu definirati elemente cjevovoda u konfiguracijskoj datoteci, a MLflow Pipelines automatski upravlja izvršenjem, kažu iz kompanije. Databricks je također dodao terminale modela bez servera za direktnu podršku hostingu proizvodnog modela, kao i ugrađene nadzorne ploče za praćenje modela kako bi pomogli timovima da analiziraju performanse modela u stvarnom svijetu.
„Projekat Delta Lake doživljava fenomenalne aktivnosti i trendove rasta koji ukazuju na to da zajednica programera želi da bude dio projekta. Snaga saradnika se povećala za 60% u prošloj godini, a rast ukupnih urezivanja je povećan za 95%, a prosječna linija koda po urezivanju se povećala za 900%. Vidimo ovu brzinu od organizacija koje doprinose kao što su Uber Technologies, Walmart i CloudBees, Inc., između ostalih.” —Izvršni direktor Linux fondacije, Jim Zemlin.
Naps zainteresovani da saznaju više o tome možete provjeriti detalje Na sledećem linku.