મેટાફ્લો એ નેટફ્લિક્સ ફ્રેમવર્ક છે પાયથોનમાં લખેલું જે ડિઝાઇન કરવામાં આવ્યું હતું થી મશીન લર્નિંગ પ્રોજેક્ટ્સના અમલીકરણની સુવિધા કે રચાય છે ઉત્પાદન માટેનો એક પ્રોટોટાઇપ. આ ટૂલનો હેતુ ડેટા નિષ્ણાતોને ઉત્પાદન માટે ઝડપી મશીન લર્નિંગ મોડેલોને અમલમાં મૂકવા માટે કરવામાં મદદ કરવાનો છે.
નેટફ્લિક્સે છેલ્લાં બે વર્ષથી મેટફ્લોનો આંતરિક ઉપયોગ કર્યો છે પ્રાકૃતિક ભાષા પ્રક્રિયાથી લઈને ઓપરેશન સંશોધન સુધીના સેંકડો ડેટા વિજ્ projectsાન પ્રોજેક્ટ્સ બનાવવા અને મેનેજ કરવા. વૈજ્ .ાનિકોને મદદ કરવા માટે બધી કંપનીઓના ડેટા સાથે, નેટફ્લિક્સની ડેટા સાયન્સ ટીમે તેમની મેટાફ્લો લાઇબ્રેરી ખોલી છે, ગયા મંગળવારે ટીમે જાહેર કરેલી એક બ્લોગ પોસ્ટ અનુસાર.
મેટાફ્લો તે "માનવકેન્દ્રિત" મશીન લર્નિંગ ઇન્ફ્રાસ્ટ્રક્ચરનો મુખ્ય ભાગ છે જેનો ડેટા સાયન્સ ટીમ તેમના વ્યવસાયના ભાગ રૂપે વર્કફ્લો બનાવવા અને તેનો અમલ કરવા માટે ઉપયોગ કરે છે.
નેટફ્લિક્સ તેના વ્યવસાયના તમામ પાસાઓમાં મશીન લર્નિંગનો ઉપયોગ કરે છેદૃશ્ય વિશ્લેષણથી માંડીને ઉત્પાદનના સમયપત્રકના optimપ્ટિમાઇઝેશન, મંથન આગાહી, ભાવો, અનુવાદ અને optimપ્ટિમાઇઝેશન.
મેટાફ્લો એ એક મૂળ મેઘ માળખું છે, જે ગણતરી અને સ્ટોરેજ બંને માટે ક્લાઉડની ડિઝાઇન સ્થિતિસ્થાપકતાનો લાભ આપે છે. અને નેટફ્લિક્સ, જે એમેઝોન વેબ સર્વિસીસ (એડબ્લ્યુએસ) ના સૌથી મોટા વપરાશકર્તાઓમાંનો એક છે ઘણા વર્ષોથી, operatingપરેટિંગનો ઘણો અનુભવ મેળવ્યો છે અને ક્લાઉડ કમ્પ્યુટિંગનું જ્ knowledgeાન, ખાસ કરીને AWS. આશ્ચર્યજનક રીતે, ખુલ્લા સ્રોત માળખાના ભાગ રૂપે, મેટફ્લોને વિવિધ AWS સેવાઓ સાથે એકીકૃત રીતે એકીકૃત કરવા કંપનીએ AWS સાથે ભાગીદારી કરી.
મેટાફ્લો ઘણા AWS સેવાઓ સાથે સાંકળે છે, એમેઝોન એસ 3 માં બધા કોડ અને ડેટાની પૂર્વાવલોકન કરવાની ક્ષમતા સહિત, જે નેટફ્લિક્સ તેના "ડેટા લેક" તરીકે ઉપયોગ કરે છે. પરિણામે, કંપની પાસે વપરાશકર્તાના હસ્તક્ષેપ વિના સંસ્કરણોનું સંચાલન અને પ્રયોગોને ટ્રેકિંગ માટે સંપૂર્ણ સમાધાન છે. આ ક્ષમતાએ વપરાશકર્તાઓને એડબ્લ્યુએસ કોમ્પ્યુટ, સ્ટોરેજ અને મશીન લર્નિંગ સેવાઓનો ઉપયોગ કરીને મોડેલ ઝડપથી સ્કેલ કરવામાં મદદ કરવી જોઈએ.
વધારામાં, મેટાફ્લો એક ઉચ્ચ-પ્રદર્શન એસ 3 ક્લાયંટ સાથે આવે છે જે 10 જીબીપીએસ સુધી ડેટા અપલોડ કરી શકે છે. નેટફ્લિક્સના જણાવ્યા અનુસાર, "આ ક્લાયંટ આપણા વપરાશકર્તાઓમાં ખૂબ પ્રખ્યાત છે, જે હવે તેમના વર્કફ્લોમાં ડેટાને પહેલા કરતા વધુ તીવ્રતાના ક્રમમાં લોડ કરી શકે છે, ઝડપી પુનરાવર્તન ચક્રને મંજૂરી આપે છે."
બ્લોગ પોસ્ટ અનુસાર, નેટફ્લિક્સ કહે છે કે તે તેના માળખાના અમલીકરણ તરફ દોરી જવા માટેના મુખ્ય નિરીક્ષણથી પ્રારંભ થયો છે. હકીકતમાં, કંપની અનુસાર, તેના મોટાભાગના ડેટા નિષ્ણાતો પાસે પાયથોન કોડ લખવા સામે કંઈ નહોતું.
તેઓ જે ઇચ્છતા હતા તે તેમના વ્યવસાયિક તર્ક વ્યક્ત કરવા માટે મનસ્વી અને મુર્ખામીવાદી કોડનો ઉપયોગ કરવાની સ્વતંત્રતા બચાવવા માટે સક્ષમ બનવા માટે છે. આ ડેટા વૈજ્ .ાનિકો પાયથોન કોડ દ્વારા વ્યવસાયિક તર્ક વ્યક્ત કરવાનું પસંદ કરે છે, પરંતુ તેઓ તમારો સમય બગાડવા માંગતા નથી.
“તેમ છતાં, તેઓ objectબ્જેક્ટ હાયરાર્કીઝ, પેકેજિંગ મુદ્દાઓ, અથવા તેમના કામ સાથે સંબંધિત ન હોય તેવા અસ્પષ્ટ API ને નિયંત્રિત કરવા વિશે વધુ સમય પસાર કરવા માંગતા નથી. ઇન્ફ્રાસ્ટ્રક્ચરને તેમને ડેટા નિષ્ણાંતો તરીકે તેમની સ્વતંત્રતાનો ઉપયોગ કરવાની મંજૂરી આપવી જોઈએ, પરંતુ તેમાં પૂરતી રક્ષણાત્મક અને પાલખ પ્રદાન કરવી જોઈએ જેથી તેઓને સ softwareફ્ટવેર આર્કિટેક્ચર વિશે વધુ ચિંતા કરવાની જરૂર ન પડે, 'નેટફ્લિક્સ બ્લોગ પોસ્ટ વાંચે છે.
આ નિરીક્ષણથી, મેટાફ્લો પાછળનો વિચાર નેટફ્લિક્સ ડેટા નિષ્ણાતોને તક આપવાની છે પ્રોટોટાઇપ મ modelડેલ ઉત્પાદનમાં નિષ્ફળ જશે કે કેમ તે વહેલું જુઓછે, જે તેમને કોઈપણ સમસ્યાઓ હલ કરવાની અને આદર્શ રૂપે, જમાવટને વેગ આપવા માટે પરવાનગી આપશે.
ડેટા નિષ્ણાંતો તેમના કાર્યપ્રવાહને પગલાઓના નિર્દેશિત એસિક્લિકલ ગ્રાફ (ડીએજી) ના રૂપમાં રચના કરી શકે છે. પગલાં મનસ્વી પાયથોન કોડ હોઈ શકે છે. આ કાલ્પનિક ઉદાહરણમાં, ટ્રાન્સમિશન સમાંતર મોડેલના બે સંસ્કરણો ચલાવે છે અને એક પસંદ કરે છે જે સૌથી વધુ સ્કોર કરે છે.
નેટફ્લિક્સ ડેટા સાયન્સ ટીમના જણાવ્યા અનુસાર, ઘણા અસ્તિત્વમાં છે તેવા ફ્રેમવર્ક છે, જેમ કે અપાચે એરફ્લો અથવા લુઇગી, જે મનસ્વી પાયથોન કોડથી બનેલા ડીએજીને ચલાવવા દે છે, તે તફાવત સાથે કે તેમાં શામેલ કરવામાં આવ્યા છે. મેટાફ્લો પર ઘણી બધી વિગતો.