خلال قمة البيانات + الذكاء الاصطناعي كشف النقاب عن Databricks من خلال إعلان ، والتي من شأنها تحرير إطار تخزين دلتا ليك بأكمله المصدر المفتوح تحت إشراف مؤسسة لينكس.
ومن الجدير بالذكر أن تعتبر Delta Lake أحد مشاريع Linux Foundation منذ أكتوبر 2019 وهي طبقة التخزين المفتوحة التي توفر الموثوقية والأداء لبحيرات البيانات من خلال "أبنية البحيرة" ، وأفضل مستودعات البيانات وبحيرات البيانات تحت سقف واحد.
على مدار السنوات الثلاث الماضية ، أصبحت Lakehouses حلاً جذابًا لمهندسي البيانات والمحللين وعلماء البيانات الذين يريدون المرونة لتشغيل أحمال عمل مختلفة على نفس البيانات بأقل قدر من التعقيد وبدون تكرار ، من التحليلات من البيانات إلى تطوير آلات التعلم . Delta Lake هو تنسيق منزل البحيرة الأكثر استخدامًا في العالم ويشاهد حاليًا أكثر من 7 ملايين تنزيل شهريًا (ويتزايد).
"منذ البداية ، التزمت Databricks بمعايير مفتوحة ومجتمع مفتوح المصدر. قال علي قدس: لقد ابتكرنا وساهمنا وعززنا النمو وتبرعنا ببعض أكثر الابتكارات تأثيرًا في تكنولوجيا المصادر المفتوحة الحديثة ".
هذا يعني ذلك لن تكون هناك اختلافات وظيفية بعد الآن بين ماركة Delta Lake الخاصة بـ Databricks وإصدار المصدر المفتوح. وقالت الشركة إنها ستصدر بالمثل تحسيناتها الأخيرة على منصة عمليات التعلم الآلي MLflow وإطار عمل تحليلات Apache Spark مفتوح المصدر. قامت Databricks أيضًا بطرح العديد من الميزات الجديدة في بحيرة بيانات Lakehouse الرئيسية.
"قبل دلتا ليك ، عالجت تقنيات مثل Spark كميات هائلة من البيانات ؛ تسمح لك دلتا ليك بمعالجة مناطق دلتا صغيرة مع تخزين جميع التغييرات في التاريخ حتى تتمكن من الذهاب ذهابًا وإيابًا ، "هذا ما قاله علي غودسي المؤسس المشارك لشركة Databricks والرئيس التنفيذي لشركة Databricks. "هذا مهم لمسارات التدقيق والامتثال حتى تتمكن من العودة والعثور على القرارات التي اتخذتها قبل عام."
بالإضافة إلى ذلك ، تجدر الإشارة إلى أن الإصدار الجديد 2.0 من Delta Lake يتميز بأداء استعلام أفضل وأساس قائم على معايير مفتوحة. مرشح الإصدار متاح الآن ومن المتوقع أن يدخل في إصدار عام في وقت لاحق من هذا العام.
قال داتابريكس ذلك يعكس التحديث مساهمات من أكثر من 6400 مطور وأشار إلى أن إجمالي الالتزامات قد نما بنسبة 95٪ مع زيادة متوسط عدد أسطر التعليمات البرمجية لكل التزام بنسبة 900٪ خلال العام الماضي.
الشركة تعلن أيضًا عن الإصدار 2.0 من MLflow ، منصة لإدارة مشاريع التعلم الآلي. إطلاق يتضمن خطوط الأنابيب ، وهي ميزة جديدة لتسريع وتبسيط عمليات نشر نموذج التعلم الآلي. توفر خطوط الأنابيب لعلماء البيانات قوالب محددة مسبقًا وجاهزة للإنتاج استنادًا إلى نوع النموذج الذي يقومون ببنائه لتمكين تطوير نموذج أسرع وأكثر موثوقية دون الحاجة إلى تدخل مهندسي الإنتاج.
وقالت الشركة إنه يمكن للمستخدمين تحديد عناصر خط الأنابيب في ملف التكوين وتدير MLflow Pipelines التنفيذ تلقائيًا. أضافت Databricks أيضًا محطات طرفية بدون خادم لدعم استضافة نموذج الإنتاج بشكل مباشر ، بالإضافة إلى لوحات معلومات مراقبة النماذج المدمجة لمساعدة الفرق على تحليل أداء النموذج في العالم الحقيقي.
"يشهد مشروع دلتا ليك نشاطًا استثنائيًا واتجاهات نمو تشير إلى رغبة مجتمع المطورين في أن يكون جزءًا من المشروع. زادت قوة المساهمين بنسبة 60٪ خلال العام الماضي وزاد النمو في إجمالي الالتزامات بنسبة 95٪ وزاد متوسط سطر التعليمات البرمجية لكل التزام بنسبة 900٪. نحن نشهد هذه السرعة التصاعدية من المنظمات المساهمة مثل Uber Technologies و Walmart و CloudBees، Inc. وغيرها ". —المدير التنفيذي لمؤسسة Linux Foundation ، Jim Zemlin.
إذا كنت مهتم بمعرفة المزيد حول هذا الموضوع ، يمكنك التحقق من التفاصيل في الرابط التالي.