Metaflow: Frèam Netflix airson pròiseactan ionnsachaidh innealan

sruth meta

Tha Metaflow na fhrèam Netflix sgrìobhte ann am Python a chaidh a dhealbhadh gus coileanadh phròiseactan ionnsachaidh innealan a chomasachadh bho a tha air an cruthachadh mar prototype gu cinneasachadh. Tha an inneal seo an dùil eòlaichean dàta a chuideachadh gus modalan ionnsachaidh innealan nas luaithe a thoirt gu buil airson toradh.

Tha Netflix air Metaflow a chleachdadh air an taobh a-staigh airson an dà bhliadhna a dh ’fhalbh gus ceudan de phròiseactan saidheans dàta a chruthachadh agus a riaghladh bho ghiullachd cànain nàdarra gu rannsachadh obrachaidhean. Gus luchd-saidheans a chuideachadh le dàta bho gach companaidh, Tha sgioba saidheans dàta Netflix air an leabharlann Metaflow aca fhosgladh, a rèir post blog a leig an sgioba a-mach Dimàirt mu dheireadh.

sruth meta tha e na phrìomh phàirt den bhun-structar ionnsachaidh inneal "daonna-centric" a bhios an sgioba saidheans dàta a ’cleachdadh gus sruthan-obrach a thogail agus a bhuileachadh mar phàirt den ghnìomhachas aca.

Bidh Netflix a ’cleachdadh ionnsachadh innealan anns gach taobh den ghnìomhachasbho sgrùdadh suidheachadh gu optimachadh clàran riochdachaidh, ro-innse maistreadh, prìsean, eadar-theangachadh agus optimization.

Tha Metaflow na fhrèam sgòthan dùthchasach, tha sin a ’lughdachadh elasticity dealbhaidh an sgòth airson gach cuid coimpiutaireachd agus stòradh. AGUS Netflix, a tha air a bhith mar aon de na cleachdaichean as motha de Seirbheisean Lìn Amazon (AWS) airson mòran bhliadhnaichean, air tòrr eòlas obrach a chruinneachadh agus eòlas air coimpiutaireachd sgòthan, gu sònraichte AWS. Mar a bhiodh dùil agad, mar phàirt den fhrèam stòr fosgailte, chaidh a ’chompanaidh ann an com-pàirteachas le AWS gus Metaflow fhilleadh a-steach gu furasta leis na diofar sheirbheisean AWS.

Tha Metaflow ag amalachadh le mòran de sheirbheisean AWS, a ’toirt a-steach comas ro-shealladh a dhèanamh air a h-uile còd agus dàta ann an Amazon S3, a tha Netflix a ’cleachdadh mar an" loch dàta aige. " Mar thoradh air an sin, tha fuasgladh iomlan aig a ’chompanaidh airson a bhith a’ riaghladh dreachan agus a ’cumail sùil air deuchainnean gun eadar-theachd luchd-cleachdaidh. Bu chòir an comas seo cuideachadh a thoirt do luchd-cleachdaidh modalan a sgèile gu luath a ’cleachdadh seirbheisean stòraidh, coimpiutaireachd agus ionnsachadh innealan AWS.

Ionnsachadh inneal

A bharrachd air an sin, tha Metaflow a ’tighinn le neach-dèiligidh S3 àrd-choileanaidh as urrainn dàta a luchdachadh suas gu 10 Gbps. A rèir Netflix, "Tha an luchd-cleachdaidh seo air a bhith air leth measail air an neach-cleachdaidh seo, a tha a-nis comasach air dàta a luchdachadh a-steach do na sruthan obrach aca òrdugh meudachd nas luaithe na roimhe, a’ toirt cothrom do chuairtean iteachaidh nas luaithe. "

A rèir post a ’bhlog, Tha Netflix ag ràdh gun do thòisich e bho phrìomh amharc gus leantainn gu buileachadh a fhrèam. Gu dearbh, a rèir a ’chompanaidh, cha robh dad aig a’ mhòr-chuid de na h-eòlaichean dàta aca an aghaidh a bhith a ’sgrìobhadh còd Python.

Is e na bha iad ag iarraidh a bhith comasach air an saorsa airson còd deas-ghnàthach agus gnàthasan-cainnte a chleachdadh gus loidsig a ’ghnìomhachais aca a chuir an cèill. Is toil leis an luchd-saidheans dàta seo loidsig gnìomhachais a chuir an cèill tro chòd Python, ach chan eil iad airson do chuid ùine a chall.

“Ach, chan eil iad airson cus ùine a chaitheamh a’ smaoineachadh mu rangachd nithean, cùisean pacaidh, no a bhith a ’làimhseachadh APIan doilleir nach eil ceangailte ris an obair aca. Bu chòir don bhun-structair leigeil leotha an saorsa a chleachdadh mar eòlaichean dàta, ach bu chòir dha dìonan-dìon agus sgafallachd gu leòr a thoirt seachad gus nach fheum iad cus dragh a ghabhail mu ailtireachd bathar-bog, ’leugh post blog Netflix.

Bhon amharc seo, am beachd air cùl Metaflow a bhith a ’toirt cothrom do eòlaichean dàta Netflix faic tràth an tig fàilligeadh air modal prototype ann an cinneasachadh, a leigeadh leotha duilgheadasan sam bith fhuasgladh agus, bhiodh e na b ’fheàrr, an cleachdadh a luathachadh.

Faodaidh eòlaichean dàta an sruth-obrach aca a structaradh ann an cruth graf acyclic stiùirichte (DAG) de cheumannan. Faodaidh na ceumannan a bhith mar chòd Python neo-riaghailteach. Anns an eisimpleir beachd-bharail seo, tha an tar-chuir a ’ruith dà dhreach de mhodail co-shìnte agus a’ taghadh am fear a gheibh an sgòr as àirde.

A rèir sgioba saidheans dàta Netflix, tha mòran fhrèamaichean ann mar-thà, leithid Apache Airflow no Luigi, a leigeas le DAGan a chuir gu bàs a tha air an dèanamh suas de chòd Python neo-riaghailteach, leis an eadar-dhealachadh gun deach an toirt a-steach tòrr mion-fhiosrachaidh air Metaflow.


Tha susbaint an artaigil a ’cumail ri na prionnsapalan againn de moraltachd deasachaidh. Gus aithris a dhèanamh air mearachd cliog an seo.

Bi a 'chiad fhear a thog beachd

Fàg do bheachd

Seòladh-d cha tèid fhoillseachadh.

*

*

  1. Uallach airson an dàta: Miguel Ángel Gatón
  2. Adhbhar an dàta: Smachd air SPAM, riaghladh bheachdan.
  3. Dìleab: Do chead
  4. Conaltradh an dàta: Cha tèid an dàta a thoirt do threas phàrtaidhean ach a-mhàin fo dhleastanas laghail.
  5. Stòradh dàta: Stòr-dàta air a chumail le Occentus Networks (EU)
  6. Còraichean: Aig àm sam bith faodaidh tu am fiosrachadh agad a chuingealachadh, fhaighinn air ais agus a dhubhadh às.