डेटा + एआय समिट दरम्यान डाटाब्रिक्सचे अनावरण केले जाहिरातीद्वारे, जे संपूर्ण डेल्टा लेक स्टोरेज फ्रेमवर्क मोकळे करेल लिनक्स फाउंडेशनच्या देखरेखीखाली मुक्त स्रोत.
हे उल्लेखनीय आहे डेल्टा लेक ऑक्टोबर 2019 पासून लिनक्स फाउंडेशन प्रकल्प आहे आणि हे ओपन स्टोरेज लेयर आहे जे "लेक आर्किटेक्चर्स" द्वारे डेटा लेकवर विश्वासार्हता आणि कार्यप्रदर्शन आणते, सर्वोत्तम डेटा वेअरहाऊस आणि डेटा लेक एकाच छताखाली.
गेल्या तीन वर्षांमध्ये, डेटा अभियंते, विश्लेषक आणि डेटा वैज्ञानिकांसाठी लेकहाऊस हे एक आकर्षक उपाय बनले आहे ज्यांना एकाच डेटावर कमीत कमी जटिलतेसह आणि कोणतेही डुप्लिकेशन न करता वेगवेगळे वर्कलोड चालवण्याची लवचिकता हवी आहे, डेटापासून विश्लेषणापासून ते लर्निंग मशीनच्या विकासापर्यंत. . डेल्टा लेक हे जगातील सर्वाधिक वापरलेले लेक हाऊस स्वरूप आहे आणि सध्या दरमहा 7 दशलक्ष डाउनलोड (आणि वाढत आहे) पाहतो.
“सुरुवातीपासून, Databricks खुल्या मानकांसाठी आणि मुक्त स्रोत समुदायासाठी वचनबद्ध आहे. आम्ही आधुनिक मुक्त स्त्रोत तंत्रज्ञानातील काही सर्वात प्रभावी नवकल्पनांची निर्मिती केली, योगदान दिले, वाढीस प्रोत्साहन दिले आणि दान केले," अली घोड्स म्हणाले
त्याचा अर्थ असा की Databricks च्या डेल्टा लेक ब्रँड आणि मुक्त स्रोत आवृत्तीमध्ये यापुढे कार्यात्मक फरक राहणार नाहीत. कंपनीने म्हटले आहे की ती MLflow मशीन लर्निंग ऑपरेशन्स प्लॅटफॉर्म आणि ओपन सोर्स अपाचे स्पार्क अॅनालिटिक्स फ्रेमवर्कमध्ये त्याचप्रमाणे अलीकडील सुधारणा जारी करेल. Databricks ने त्याच्या मुख्य लेकहाउस डेटा लेकमध्ये अनेक नवीन वैशिष्ट्ये आणली आहेत.
“डेल्टा लेकच्या आधी, स्पार्क सारख्या तंत्रज्ञानाने मोठ्या प्रमाणात डेटावर प्रक्रिया केली; डेल्टा लेक तुम्हाला इतिहासात साठवलेल्या सर्व बदलांसह लहान डेल्टावर प्रक्रिया करण्याची परवानगी देतो जेणेकरून तुम्ही पुढे-पुढे जाऊ शकता,” डेटाब्रिक्सचे सह-संस्थापक आणि डेटाब्रिक्सचे सीईओ अली घोडसी म्हणाले. "ऑडिट ट्रेल्स आणि अनुपालनासाठी हे महत्वाचे आहे जेणेकरून तुम्ही परत जाऊ शकता आणि तुम्ही एक वर्षापूर्वी घेतलेले निर्णय शोधू शकता."
याव्यतिरिक्त, हे लक्षात घेतले पाहिजे डेल्टा लेकच्या नवीन आवृत्ती 2.0 मध्ये चांगली क्वेरी कार्यप्रदर्शन आहे आणि खुल्या मानकांवर आधारित पाया. रिलीझ उमेदवार आता उपलब्ध आहे आणि या वर्षाच्या शेवटी सामान्य प्रकाशनात जाण्याची अपेक्षा आहे.
असे डाटाब्रिक्सने सांगितले अपडेट 6400 हून अधिक विकसकांचे योगदान प्रतिबिंबित करते आणि नमूद केले आहे की एकूण कमिट 95% वाढले आहेत आणि प्रति कमिट कोडच्या ओळींची सरासरी संख्या गेल्या वर्षी 900% वाढली आहे.
कंपनी MLflow ची आवृत्ती 2.0 देखील घोषित करते, मशीन लर्निंग प्रकल्प व्यवस्थापित करण्यासाठी एक व्यासपीठ. प्रक्षेपण मशिन लर्निंग मॉडेल डिप्लॉयमेंटला गती देण्यासाठी आणि सुलभ करण्यासाठी पाईपलाईन्स, एक नवीन वैशिष्ट्य समाविष्ट आहे. उत्पादन अभियंत्यांच्या हस्तक्षेपाशिवाय जलद आणि अधिक विश्वासार्ह मॉडेल डेव्हलपमेंट सक्षम करण्यासाठी पाइपलाइन डेटा शास्त्रज्ञांना पूर्वनिर्धारित, उत्पादनासाठी तयार केलेल्या मॉडेलच्या प्रकारावर आधारित प्रदान करतात.
वापरकर्ते कॉन्फिगरेशन फाइलमध्ये पाइपलाइन घटक परिभाषित करू शकतात आणि एमएलफ्लो पाइपलाइन आपोआप अंमलबजावणीचे व्यवस्थापन करते, असे कंपनीने म्हटले आहे. डेटाब्रिक्सने उत्पादन मॉडेल होस्टिंगला थेट समर्थन देण्यासाठी सर्व्हरलेस मॉडेल टर्मिनल्स देखील जोडले आहेत, तसेच कार्यसंघांना वास्तविक-जागतिक मॉडेल कार्यप्रदर्शनाचे विश्लेषण करण्यात मदत करण्यासाठी अंगभूत मॉडेल मॉनिटरिंग डॅशबोर्ड देखील जोडले आहेत.
“डेल्टा लेक प्रकल्प अभूतपूर्व क्रियाकलाप आणि वाढीचा ट्रेंड अनुभवत आहे जे सूचित करते की विकासक समुदाय या प्रकल्पाचा एक भाग होऊ इच्छित आहे. योगदानकर्त्यांची ताकद गेल्या वर्षभरात 60% ने वाढली आहे आणि एकूण कमिटमध्ये 95% वाढ झाली आहे आणि प्रति कमिट कोडची सरासरी लाइन 900% वाढली आहे. उबेर टेक्नॉलॉजीज, वॉलमार्ट आणि क्लाउडबीज, इंक. यांसारख्या योगदान देणाऱ्या संस्थांकडून आम्ही हा वरचा वेग पाहत आहोत.” - लिनक्स फाउंडेशनचे कार्यकारी संचालक, जिम झेमलिन.
आपण असाल तर अधिक जाणून घेण्यात स्वारस्य आहे त्याबद्दल, आपण तपशील तपासू शकता पुढील लिंकवर