मेटाफ्लो ही नेटफ्लिक्स फ्रेमवर्क आहे अजगर लिहिलेले होते कडून मशीन लर्निंग प्रकल्पांची अंमलबजावणी सुलभ करणे म्हणून तयार आहेत निर्मितीचा एक नमुना हे साधन डेटा तज्ञांना उत्पादनासाठी वेगवान मशीन शिक्षण मॉडेलची अंमलबजावणी करण्यात मदत करण्यासाठी आहे.
नेटफ्लिक्सने गेल्या दोन वर्षांपासून मेटाफ्लोचा अंतर्गत वापर केला आहे नैसर्गिक भाषा प्रक्रियापासून ऑपरेशन संशोधनापर्यंत शेकडो डेटा विज्ञान प्रकल्प तयार आणि व्यवस्थापित करण्यासाठी. वैज्ञानिकांना मदत करणे सर्व कंपन्यांच्या डेटासह, नेटफ्लिक्सच्या डेटा सायन्स टीमने त्यांचे मेटाफ्लो लायब्ररी उघडली आहे, ब्लॉग ब्लॉगनुसार टीमने मंगळवारी जाहीर केले.
मेटाफ्लो हा डेटा विज्ञान कार्यसंघ त्यांच्या व्यवसायाचा एक भाग म्हणून वर्कफ्लो तयार करण्यासाठी आणि अंमलात आणण्यासाठी वापरत असलेल्या "मानव-केंद्रित" मशीन लर्निंग इन्फ्रास्ट्रक्चरचा एक महत्त्वाचा भाग आहे.
नेटफ्लिक्स मशीनच्या शिक्षणाचा वापर आपल्या व्यवसायाच्या सर्व बाबींमध्ये करतोपरिस्थिती विश्लेषणापासून ते उत्पादन वेळापत्रक, मंथन पूर्वानुमान, किंमती, भाषांतर आणि ऑप्टिमायझेशन पर्यंत ऑप्टिमायझेशन पर्यंत.
मेटाफ्लो ही एक मूळ मेघ फ्रेमवर्क आहे, ते गणना आणि स्टोरेज या दोन्हीसाठी क्लाऊडच्या डिझाइन लवचिकतेचा लाभ घेतात. आणि नेटफ्लिक्स, जो Amazonमेझॉन वेब सर्व्हिसेस (एडब्ल्यूएस) च्या सर्वात मोठ्या वापरकर्त्यांपैकी एक आहे बर्‍याच वर्षांपासून, ऑपरेटिंग अनुभव भरपूर जमा आहे आणि क्लाउड संगणनाचे ज्ञान, विशेषत: AWS. खुल्या स्त्रोत फ्रेमवर्कचा भाग म्हणून आश्चर्यचकितपणे, मेटाफ्लोला विविध AWS सेवांमध्ये अखंडपणे समाकलित करण्यासाठी कंपनीने AWS सह भागीदारी केली.
मेटाफ्लो बर्‍याच AWS सेवांसह समाकलित होते, Amazonमेझॉन एस 3 मधील सर्व कोड आणि डेटाचे पूर्वावलोकन करण्याची क्षमता यासह नेटफ्लिक्स त्याचा "डेटा लेक" म्हणून वापरतो. परिणामी, वापरकर्त्याच्या हस्तक्षेपाशिवाय आवृत्ती व्यवस्थापित करण्यासाठी आणि प्रयोगांचे मागोवा घेण्यासाठी कंपनीकडे संपूर्ण उपाय आहे. या क्षमतेमुळे वापरकर्त्यांना AWS कंप्यूट, स्टोरेज आणि मशीन शिक्षण सेवा वापरुन मॉडेल वेगाने मोजण्यास मदत केली जावी.
याव्यतिरिक्त, मेटाफ्लो एक उच्च-कार्यक्षमता एस 3 क्लायंटसह येतो जो 10 जीबीपीएस पर्यंत डेटा अपलोड करू शकतो. नेटफ्लिक्सच्या मते, "हा क्लायंट आमच्या वापरकर्त्यांमध्ये खूप लोकप्रिय आहे, जो आता वेगवान पुनरावृत्ती चक्रांना परवानगी देऊन आपल्या कार्यप्रवाहात डेटा पूर्वीपेक्षा वेगाने वाढवू शकतो."
ब्लॉग पोस्ट नुसार, नेटफ्लिक्सचे म्हणणे आहे की त्याच्या चौकटीच्या अंमलबजावणीकडे नेण्यासाठी हे एका प्रमुख निरीक्षणापासून सुरू झाले. खरं तर, कंपनीच्या मते, त्यातील बहुतेक डेटा तज्ञांना पायथन कोड लिहिण्याविरूद्ध काहीही नव्हते.
त्यांना काय हवे होते ते त्यांच्या व्यवसायाचे तर्क व्यक्त करण्यासाठी मनमानी आणि मुहूर्त कोड वापरण्याचे स्वातंत्र्य टिकवून ठेवण्यास सक्षम होते. हे डेटा शास्त्रज्ञ पायथन कोडद्वारे व्यवसाय तर्क व्यक्त करण्यास आवडतात परंतु त्यांना आपला वेळ वाया घालवायचा नाही.
“तथापि, त्यांना ऑब्जेक्ट पदानुक्रम, पॅकेजिंग इश्यू किंवा त्यांच्या कार्याशी संबंधित नसलेले अस्पष्ट एपीआय हाताळण्यासाठी बराच वेळ घालवायचा नाही. इन्फ्रास्ट्रक्चरने त्यांना डेटा विशेषज्ञ म्हणून त्यांचे स्वातंत्र्य वापरण्याची परवानगी दिली पाहिजे, परंतु त्यांना पुरेसे रेलिंग आणि मचान उपलब्ध करुन दिले पाहिजे जेणेकरुन त्यांना सॉफ्टवेअर आर्किटेक्चरबद्दल जास्त काळजी करण्याची गरज नाही, ”नेटफ्लिक्स ब्लॉग पोस्ट वाचते.
या निरीक्षणावरून, मेटाफ्लोमागील कल्पना नेटफ्लिक्स डेटा विशेषज्ञांना संधी देणे आहे प्रोटोटाइप मॉडेल उत्पादनामध्ये अपयशी ठरते की नाही हे पहा, जे त्यांना कोणत्याही समस्या सोडविण्यासाठी आणि आदर्शपणे, उपयोजनेस गती देण्यास अनुमती देईल.
डेटा विशेषज्ञ त्यांचे कार्यप्रवाह चरणांच्या डायरेक्टेड ycसीक्लिक ग्राफ (डीएजी) च्या स्वरूपात बनवू शकतात. पायर्‍या अनियंत्रित पायथन कोड असू शकतात. या काल्पनिक उदाहरणात, प्रेषण समांतर मॉडेलच्या दोन आवृत्त्या चालविते आणि सर्वोच्च स्कोअर निवडते.
नेटफ्लिक्स डेटा सायन्स टीमच्या मते, अपाचे एअरफ्लो किंवा लुइगी यासारखे अनेक फ्रेमवर्क आहेत, जे अनियंत्रित पायथन कोडसह बनवलेल्या डीएजीच्या अंमलबजावणीस परवानगी देतात आणि फरक समाविष्ट करून. मेटाफ्लोवर बरेच तपशील.