Podczas szczytu Data + AI Odsłonięte Databricks poprzez reklamę, co uwolniłoby całą strukturę pamięci masowej Delta Lake open source pod nadzorem Linux Foundation.
Warto zaznaczyć, że Delta Lake jest projektem Linux Foundation od października 2019 r. i jest to otwarta warstwa pamięci masowej, która zapewnia niezawodność i wydajność jeziorom danych dzięki „architekturom jezior”, najlepszym z hurtowni danych i jezior danych pod jednym dachem.
W ciągu ostatnich trzech lat Lakehouses stało się atrakcyjnym rozwiązaniem dla inżynierów danych, analityków i naukowców zajmujących się danymi, którzy chcą elastyczności w uruchamianiu różnych obciążeń na tych samych danych przy minimalnej złożoności i bez duplikacji, od analizy danych po rozwój maszyn uczących się . Delta Lake jest najczęściej używanym formatem domków nad jeziorem na świecie i obecnie odnotowuje ponad 7 milionów pobrań miesięcznie (i rośnie).
„Od samego początku firma Databricks była zaangażowana w otwarte standardy i społeczność open source. Stworzyliśmy, przyczyniliśmy się, wspieraliśmy rozwój i przekazaliśmy jedne z najbardziej znaczących innowacji w nowoczesnej technologii open source” – powiedział Ali Ghods
To znaczy Nie będzie już różnic funkcjonalnych między marką Databricks Delta Lake a wersją open source. Firma poinformowała, że podobnie wyda swoje najnowsze ulepszenia platformy operacyjnej uczenia maszynowego MLflow i platformy analitycznej Apache Spark typu open source. Firma Databricks wprowadziła również kilka nowych funkcji do swojego głównego jeziora danych Lakehouse.
„Przed Delta Lake technologie takie jak Spark przetwarzały ogromne ilości danych; Delta Lake pozwala przetwarzać małe delty ze wszystkimi zmianami zapisanymi w historii, dzięki czemu można poruszać się tam iz powrotem” – powiedział Ali Ghodsi, współzałożyciel Databricks i dyrektor generalny Databricks. „Jest to ważne dla ścieżek audytu i zgodności, dzięki czemu możesz wrócić i znaleźć decyzje podjęte rok temu”.
Ponadto należy zauważyć, że nowa wersja 2.0 Delta Lake zapewnia lepszą wydajność zapytań oraz fundacja oparta na otwartych standardach. Kandydat do wydania jest już dostępny i oczekuje się, że pojawi się w ogólnym wydaniu jeszcze w tym roku.
Databricks powiedział, że aktualizacja odzwierciedla wkład ponad 6400 programistów i zauważył, że całkowita liczba zatwierdzeń wzrosła o 95%, a średnia liczba wierszy kodu na zatwierdzenie wzrosła o 900% w ciągu ostatniego roku.
Firma zapowiada również wersję 2.0 MLflow, platforma do zarządzania projektami uczenia maszynowego. Uruchomienie zawiera Pipelines, nową funkcję przyspieszającą i upraszczającą wdrażanie modeli uczenia maszynowego. Pipelines dostarczają analitykom danych wstępnie zdefiniowane, gotowe do produkcji szablony oparte na typie budowanego modelu, aby umożliwić szybsze i bardziej niezawodne opracowywanie modelu bez konieczności interwencji inżynierów produkcji.
Użytkownicy mogą zdefiniować elementy potoku w pliku konfiguracyjnym, a MLflow Pipelines automatycznie zarządza wykonaniem, podała firma. Firma Databricks dodała również terminale modeli bezserwerowych, aby bezpośrednio wspierać hosting modeli produkcyjnych, a także wbudowane pulpity nawigacyjne do monitorowania modeli, aby pomóc zespołom analizować wydajność modeli w świecie rzeczywistym.
„Projekt Delta Lake przeżywa fenomenalną aktywność i trendy wzrostowe, które wskazują, że społeczność deweloperów chce być częścią projektu. Siła kontrybutora wzrosła o 60% w ciągu ostatniego roku, a wzrost łącznej liczby zatwierdzeń wzrósł o 95%, a średni wiersz kodu na zatwierdzenie wzrósł o 900%. Widzimy tę wzrostową prędkość ze strony organizacji, takich jak Uber Technologies, Walmart i CloudBees, Inc.”. — Dyrektor wykonawczy Linux Foundation, Jim Zemlin.
Jeżeli jesteś chcesz dowiedzieć się więcej o tym możesz sprawdzić szczegóły W poniższym linku.