डेटा + एआई समिट के दौरान डेटाब्रिक्स का अनावरण किया गया एक विज्ञापन के माध्यम से, जो संपूर्ण डेल्टा झील भंडारण ढांचे को मुक्त कर देगा लिनक्स फाउंडेशन की देखरेख में खुला स्रोत।
यह उल्लेखनीय है डेल्टा लेक अक्टूबर 2019 से एक लिनक्स फाउंडेशन परियोजना रही है और यह खुली भंडारण परत है जो "लेक आर्किटेक्चर" के माध्यम से डेटा झीलों में विश्वसनीयता और प्रदर्शन लाती है, एक ही छत के नीचे डेटा वेयरहाउस और डेटा झीलों का सबसे अच्छा।
पिछले तीन वर्षों में, लेकहाउस डेटा इंजीनियरों, विश्लेषकों और डेटा वैज्ञानिकों के लिए एक आकर्षक समाधान बन गया है, जो डेटा से विश्लेषण से लेकर सीखने की मशीनों के विकास तक, न्यूनतम जटिलता और बिना दोहराव के एक ही डेटा पर विभिन्न कार्यभार चलाने के लिए लचीलापन चाहते हैं। . डेल्टा लेक दुनिया में सबसे अधिक इस्तेमाल किया जाने वाला लेक हाउस प्रारूप है और वर्तमान में प्रति माह 7 मिलियन से अधिक डाउनलोड (और बढ़ रहा है) देखता है।
"शुरुआत से, डेटाब्रिक्स खुले मानकों और खुले स्रोत समुदाय के लिए प्रतिबद्ध है। हमने आधुनिक ओपन सोर्स टेक्नोलॉजी में कुछ सबसे प्रभावशाली नवाचारों को बनाया, योगदान दिया, विकास को बढ़ावा दिया और दान किया, ”अली घोड्स ने कहा
इसका मतलब है कि डेटाब्रिक्स के डेल्टा लेक ब्रांड और ओपन सोर्स संस्करण के बीच अब कार्यात्मक अंतर नहीं होगा. कंपनी ने कहा कि वह इसी तरह एमएलफ्लो मशीन लर्निंग ऑपरेशंस प्लेटफॉर्म और ओपन सोर्स अपाचे स्पार्क एनालिटिक्स फ्रेमवर्क में अपने हालिया एन्हांसमेंट को जारी करेगी। डेटाब्रिक्स ने अपने मुख्य लेकहाउस डेटा लेक में कई नई सुविधाएँ भी शुरू की हैं।
"डेल्टा झील से पहले, स्पार्क जैसी तकनीकों ने बड़ी मात्रा में डेटा संसाधित किया; डेटाब्रिक्स के सह-संस्थापक और डेटाब्रिक्स के सीईओ अली घोड़सी ने कहा, डेल्टा लेक आपको इतिहास में संग्रहीत सभी परिवर्तनों के साथ छोटे डेल्टा को संसाधित करने की अनुमति देता है। "यह ऑडिट ट्रेल्स और अनुपालन के लिए महत्वपूर्ण है ताकि आप वापस जा सकें और एक साल पहले किए गए निर्णयों को ढूंढ सकें।"
इसके अलावा, यह ध्यान दिया जाना चाहिए कि डेल्टा लेक के नए संस्करण 2.0 में बेहतर क्वेरी प्रदर्शन है और खुले मानकों पर आधारित एक नींव। रिलीज उम्मीदवार अब उपलब्ध है और इस साल के अंत में एक सामान्य रिलीज में जाने की उम्मीद है।
डेटाब्रिक्स ने कहा कि अद्यतन 6400 से अधिक डेवलपर्स के योगदान को दर्शाता है और ध्यान दिया कि पिछले वर्ष की तुलना में कुल प्रतिबद्धताओं में 95% की वृद्धि हुई है, प्रति प्रतिबद्धता कोड की औसत संख्या 900% बढ़ी है।
कंपनी MLflow के संस्करण 2.0 की भी घोषणा की, मशीन लर्निंग प्रोजेक्ट्स के प्रबंधन के लिए एक मंच। नौका पाइपलाइन शामिल है, मशीन लर्निंग मॉडल परिनियोजन को गति देने और सरल बनाने के लिए एक नई सुविधा. पाइपलाइन डेटा वैज्ञानिकों को उत्पादन इंजीनियरों के हस्तक्षेप की आवश्यकता के बिना तेजी से और अधिक विश्वसनीय मॉडल विकास को सक्षम करने के लिए बनाए जा रहे मॉडल के प्रकार के आधार पर पूर्वनिर्धारित, उत्पादन-तैयार टेम्पलेट प्रदान करते हैं।
उपयोगकर्ता एक कॉन्फ़िगरेशन फ़ाइल में पाइपलाइन तत्वों को परिभाषित कर सकते हैं और MLflow पाइपलाइन स्वचालित रूप से निष्पादन का प्रबंधन करती है, कंपनी ने कहा। डेटाब्रिक्स ने उत्पादन मॉडल होस्टिंग का सीधे समर्थन करने के लिए सर्वर रहित मॉडल टर्मिनलों को भी जोड़ा है, साथ ही टीमों को वास्तविक-विश्व मॉडल प्रदर्शन का विश्लेषण करने में मदद करने के लिए अंतर्निहित मॉडल मॉनिटरिंग डैशबोर्ड भी जोड़े हैं।
"डेल्टा लेक परियोजना अभूतपूर्व गतिविधि और विकास के रुझान का अनुभव कर रही है जो इंगित करती है कि डेवलपर समुदाय परियोजना का हिस्सा बनना चाहता है। पिछले वर्ष की तुलना में योगदानकर्ताओं की संख्या में 60% की वृद्धि हुई है और कुल प्रतिबद्धताओं में 95% की वृद्धि हुई है और प्रति प्रतिबद्धता कोड की औसत पंक्ति 900% की वृद्धि हुई है। हम उबर टेक्नोलॉजीज, वॉलमार्ट, और क्लाउडबीज, इंक जैसे अन्य संगठनों के योगदान से इस ऊपर की गति को देख रहे हैं। -लिनक्स फाउंडेशन के कार्यकारी निदेशक, जिम जेमलिन।
अगर तुम हो अधिक जानने में रुचि इसके बारे में, आप विवरण देख सकते हैं निम्नलिखित लिंक में