Veri + Yapay Zeka Zirvesi Sırasında Veri tuğlaları tanıtıldı bir reklam aracılığıyla, tüm Delta Lake depolama çerçevesini serbest bırakacak Linux Vakfı gözetiminde açık kaynak.
Bahsetmeye değer Delta Lake, Ekim 2019'dan beri bir Linux Vakfı projesidir ve tek çatı altında veri ambarlarının ve veri göllerinin en iyisi olan “göl mimarileri” aracılığıyla veri göllerine güvenilirlik ve performans getiren açık depolama katmanıdır.
Son üç yılda Lakehouses, verilerden analitikten öğrenen makinelerin geliştirilmesine kadar, aynı veriler üzerinde minimum karmaşıklık ve yineleme olmadan farklı iş yüklerini çalıştırma esnekliği isteyen veri mühendisleri, analistler ve veri bilimcileri için çekici bir çözüm haline geldi. . Delta Gölü, dünyada en çok kullanılan göl evi formatıdır ve şu anda ayda 7 milyondan fazla indirme görmektedir (ve artmaktadır).
“En başından beri Databricks, açık standartlara ve açık kaynak topluluğuna kendini adamıştır. Modern açık kaynak teknolojisindeki en etkili yeniliklerden bazılarını yarattık, katkıda bulunduk, teşvik ettik ve bağışladık” dedi Ali Ghods
Bunun anlamı Delta Lake Databricks markası ile açık kaynak sürümü arasında artık işlevsel farklılıklar olmayacak. Şirket, benzer şekilde MLflow makine öğrenimi operasyonları platformuna ve açık kaynaklı Apache Spark analitik çerçevesine yönelik son geliştirmelerini yayınlayacağını söyledi. Databricks ayrıca ana Lakehouse veri gölüne birkaç yeni özellik ekledi.
“Delta Gölü'nden önce Spark gibi teknolojiler çok büyük miktarda veri işledi; Databricks'in Kurucu Ortağı ve Databricks CEO'su Ali Ghodsi, "Delta Gölü, geçmişte depolanan tüm değişikliklerle küçük deltaları işlemenize olanak tanır, böylece ileri geri gidebilirsiniz" dedi. "Bu, denetim izleri ve uyumluluk açısından önemlidir, böylece geri dönüp bir yıl önce verdiğiniz kararları bulabilirsiniz."
Ayrıca belirtmek gerekir ki, Delta Lake'in yeni 2.0 sürümü daha iyi sorgu performansı sunuyor ve açık standartlara dayalı bir temel. Sürüm adayı artık mevcut ve bu yıl içinde genel bir sürüme geçmesi bekleniyor.
Databricks dedi ki güncelleme 6400'den fazla geliştiricinin katkılarını yansıtıyor ve toplam taahhütlerin %95 arttığını ve taahhüt başına ortalama kod satırı sayısının geçen yıl %900 arttığını kaydetti.
şirket ayrıca MLflow'un 2.0 sürümünü de duyurur, makine öğrenimi projelerini yönetmek için bir platform. fırlatma makine öğrenimi modeli dağıtımlarını hızlandıran ve basitleştiren yeni bir özellik olan Pipelines'ı içerir. İşlem hatları, veri bilimcilerine, üretim mühendislerinin müdahalesine gerek kalmadan daha hızlı ve daha güvenilir model geliştirme sağlamak için oluşturdukları model türüne göre önceden tanımlanmış, üretime hazır şablonlar sağlar.
Şirket, kullanıcıların boru hattı öğelerini bir yapılandırma dosyasında tanımlayabileceğini ve MLflow Pipelines'ın yürütmeyi otomatik olarak yönettiğini söyledi. Databricks ayrıca, üretim modeli barındırmayı doğrudan desteklemek için sunucusuz model terminalleri ve ekiplerin gerçek dünya model performansını analiz etmesine yardımcı olmak için yerleşik model izleme panoları ekledi.
“Delta Gölü projesi, geliştirici topluluğunun projenin bir parçası olmak istediğini gösteren olağanüstü aktivite ve büyüme trendleri yaşıyor. Katılımcı gücü geçen yıla göre %60 arttı ve toplam taahhütlerdeki büyüme %95 arttı ve taahhüt başına ortalama kod satırı %900 arttı. Diğerlerinin yanı sıra Uber Technologies, Walmart ve CloudBees, Inc. gibi katkıda bulunan kuruluşlardan bu yükseliş hızını görüyoruz.” —Linux Vakfı İcra Direktörü Jim Zemlin.
Şekerleme daha fazlasını bilmekle ilgileniyor bununla ilgili ayrıntıları kontrol edebilirsiniz Aşağıdaki bağlantıda.