Metaflow: Netflix lub moj khaum rau cov haujlwm hauv tshuab kev kawm

meta flow

Metaflow yog lub moj khaum Netflix sau ntawv rau hauv nab hab sej tau tsim los pab txhawb kev ua tiav ntawm cov kev kawm hauv lub tshuab los ntawm uas yog tsim los ib qho kev tiv thaiv kev lag luam. Cov cuab yeej no yog npaj los pab cov ntaub ntawv tshwj xeeb ua kom tiav kev kawm tshuab kom nrawm dua txog kev tsim khoom.

Netflix tau siv Metaflow sab hauv rau ob xyoos dhau los los tsim thiab tswj ntau pua cov ntaub ntawv tshawb fawb los ntawm kev siv cov lus ib txwm muaj rau kev tshawb nrhiav haujlwm. Los pab cov kws tshawb fawb nrog cov ntaub ntawv ntawm txhua lub tuam txhab, Netflix cov ntaub ntawv tshawb fawb pab neeg tau qhib lawv lub tsev qiv ntawv Metaflow, Raws li blog sau pab pawg tau tshaj tawm hnub Tuesday.

meta flow nws yog qhov tseem ceeb ntawm "tib neeg-centric" tshuab kev kawm tsim kho uas cov ntaub ntawv tshawb fawb pab pawg siv los tsim thiab siv cov haujlwm ua haujlwm ua ib feem ntawm lawv txoj kev lag luam.

Netflix siv kev kawm tshuab hauv txhua yam ntawm nws txoj kev lag luamlos ntawm teeb meem kev tsom xam rau kev ua kom zoo dua ntawm cov txheej txheem ntau lawm, churn forecasting, nqe, txhais lus thiab ua kom zoo dua.

Metaflow yog huab cua ib txwm muaj, uas leverages tsim elasticity ntawm huab rau ob qho tib si laij thiab cia. THIAB Netflix, uas tau yog ib qho ntawm cov neeg siv loj tshaj plaws ntawm Amazon Web Services (AWS) tau ntau xyoo, tau sau ntau cov kev khiav haujlwm thiab kev paub ntawm huab xam, tshwj xeeb AWS. Tsis txaus ntseeg, raws li ib feem ntawm txoj kev qhib dav siv lub moj khaum, lub tuam txhab koom tes nrog AWS txhawm rau sib koom ua ke nrog Metaflow nrog rau ntau yam kev pabcuam AWS.

Metaflow sib koom ua ke nrog ntau qhov kev pabcuam AWS, suav nrog kev muaj peev xwm saib xyuas tag nrho cov cai thiab cov ntaub ntawv hauv Amazon S3, uas Netflix siv raws li nws "lub pas dej cov ntaub ntawv." Raws li cov lag luam, cov tuam txhab muaj kev daws tiav rau kev tswj cov qauv thiab taug qab cov kev sim uas tsis muaj cov neeg siv cuam tshuam. Qhov peev xwm no yuav tsum pab cov neeg siv ceev nrawm ua qauv siv AWS khaws cia, suav, thiab kev pabcuam tshuab kev kawm.

Tshuab kev kawm

Tsis tas li ntawd, Metaflow tuaj nrog tus neeg S3 siab tau zoo uas tuaj yeem xa cov ntaub ntawv ntawm 10Gbps. Raws li Netflix, "Cov neeg no tau txais txiaj ntsig zoo nrog peb cov neeg siv, tam sim no muaj peev xwm thauj cov ntaub ntawv mus rau hauv lawv cov haujlwm ua kom tiav ib qho kev txiav txim ntawm qhov loj dua sai dua li qub, tso cai kom sai dua kev rov qab ua dua."

Raws li blog hais mas, Netflix hais tias nws tau pib los ntawm kev soj ntsuam tseem ceeb kom coj mus rau kev siv nws lub moj khaum. Qhov tseeb, raws li lub tuam txhab, feem ntau ntawm nws cov ntaub ntawv tshwj xeeb tsis muaj dab tsi tawm tsam sau sej code.

Qhov lawv xav tau yog qhov muaj peev xwm khaws cia txoj kev ywj pheej siv kev nyiam thiab kev cai tsis siv nyiaj los nthuav qhia lawv cov laj thawj kev lag luam. Cov ntaub ntawv kws tshawb fawb no nyiam qhia txog kev ua lag luam los ntawm sej code, tab sis lawv tsis xav kom nkim koj lub sijhawm.

“Txawm li cas los xij, lawv tsis xav siv sijhawm ntau dhau los xav txog cov khoom txheej, cov teeb meem ntim khoom, lossis kev soj ntsuam txog cov lej API tsis cuam tshuam txog lawv kev ua haujlwm. Cov txheej txheem yuav tsum tso cai rau lawv siv lawv txoj kev ywj pheej raws li cov kws tshaj lij cov ntaub ntawv, tab sis nws yuav tsum muaj kev saib xyuas txaus thiab scaffolding kom lawv tsis tas yuav txhawj txog ntau yam ntawm software software, 'nyeem Netflix blog post.

Los ntawm qhov kev soj ntsuam no, lub tswv yim tom qab Metaflow yog los muab Netflix cov kws tshaj lij cov ntaub ntawv rau lub sijhawm saib thaum ntxov yog tias qhov qauv ntawm cov qauv ib txwm yuav swb hauv kev tsim khoom, uas yuav cia lawv daws qee yam teeb meem thiab lub tswv yim, ua kom lub nrawm zoo.

Cov kws tshaj lij ntawm cov ntaub ntawv tuaj yeem teeb lawv cov kev ua haujlwm kom tiav hauv kev ua qauv ntawm cov duab acyclic graph (DAG) ntawm cov kauj ruam. Cov kauj ruam tuaj yeem yog kev cai sej code. Hauv qhov piv txwv hypothetical no, cov kis tau tsav ob qho qauv ntawm cov qauv hauv kev sib luag thiab xaiv qhov uas tau qhab nia siab tshaj plaws.

Raws li pab pawg Netflix cov ntaub ntawv kev tshawb fawb, muaj ntau yam haujlwm uas twb muaj lawm, xws li Apache Airflow lossis Luigi, uas tso cai rau kev tua cov DAG ua los ntawm kev ua plaub raws cai, nrog qhov sib txawv uas lawv tau suav nrog ntau cov ntsiab lus ntawm Metaflow.


Cov ntsiab lus ntawm tsab xov xwm ua raws li peb cov ntsiab cai ntawm kev tswj hwm kev ncaj nceesCov. Tshaj tawm ib qho yuam kev nyem no.

Yog thawj tus tuaj tawm tswv yim

Tso koj saib

Koj email chaw nyob yuav tsis tsum luam tawm.

*

*

  1. Lub luag haujlwm rau cov ntaub ntawv: Miguel Ángel Gatón
  2. Lub hom phiaj ntawm cov ntaub ntawv: Tswj SPAM, kev tswj xyuas tawm tswv yim.
  3. Sau raws cai: Koj kev tso cai
  4. Kev sib txuas lus ntawm cov ntaub ntawv: Cov ntaub ntawv yuav tsis raug xa mus rau lwm tus neeg thib peb tsuas yog los ntawm kev txiav txim siab raug cai.
  5. Cov ntaub ntawv khaws cia: Cov Ntaub Ntawv khaws tseg los ntawm Occentus Networks (EU)
  6. Txoj Cai: Txhua lub sijhawm koj tuaj yeem txwv, rov qab thiab tshem tawm koj cov ntaub ntawv.