Metaflow: Netflix säi Framework fir Maschinneléiere Projeten

Metaflow

Metaflow ass e Netflix Framework a Python geschriwwen, dee konzipéiert gouf fir d'Ausféierung vu Maschinneléiere Projete vun déi forméiert ginn als e Prototyp fir d'Produktioun. Dësen Tool soll Daten Spezialisten hëllefen méi séier Maschinneléiere Modeller fir d'Produktioun ëmzesetzen.

Netflix huet Metaflow intern fir déi lescht zwee Joer benotzt fir Honnerte vun Datenwëssenschaftleche Projeten ze kreéieren an ze managen vun der natierlecher Sproochveraarbechtung bis zur Operatiounsfuerschung. Wëssenschaftler ze hëllefen mat Daten vun alle Firmen, Netflix's Data Science Team huet hir Metaflow Bibliothéik opgemaach, no engem Blog Post huet d'Equipe de leschten Dënschdeg verëffentlecht.

Metaflow et ass e wichtege Bestanddeel vun der "human-centric" Maschinn léieren Infrastruktur déi d'Datenwëssenschaftlech Team benotzt fir Workflows als Deel vun hirem Geschäft ze bauen an ëmzesetzen.

Netflix benotzt Maschinn léieren an allen Aspekter vu sengem Geschäftvu Szenario Analyse bis Optimiséierung vu Produktiounspläng, Churn Prognosen, Präisser, Iwwersetzung an Optimiséierung.

Metaflow ass e gebiertege Cloud Framework, dat benotzt d'Designelastizitéit vun der Wollek fir béid Berechnung a Späicheren. AN Netflix, dat ee vun de gréisste Benotzer vun Amazon Web Services (AWS) war fir vill Joeren, huet vill Betribserfahrung gesammelt a Wësse vu Cloud Computing, besonnesch AWS. Wéi Dir Iech erwaart, als Deel vum Open Source Framework, d'Firma huet mat AWS zesummegeschafft fir nahtlos Metaflow mat de verschiddenen AWS Servicer z'integréieren.

Metaflow integréiert mat vill AWS Servicer, abegraff d'Fäegkeet all Code an Daten an Amazon S3 ze préiwen, datt Netflix als säin "Datenséi" benotzt. Als Resultat huet d'Firma eng komplett Léisung fir Versiounen ze managen an Experimenter ze verfollegen ouni Userinterventioun. Dës Fäegkeet soll de Benotzer hëllefe séier Skala Modeller mat AWS Späicher, Berechnung a Maschinn léieren Servicer.

Maschinn léieren

Zousätzlech kënnt Metaflow mat engem leeschtungsfäege S3 Client deen Date bis zu 10Gbps eropluede kann. Entspriechend zu Netflix, "Dëse Client war immens populär bei eise Benotzer, déi elo Daten an hir Workflows eng Gréisseruerdnung méi séier kënne luede wéi virdrun, fir méi séier Iteratiounszyklen z'erméiglechen."

Geméiss dem Blog Post, Netflix seet datt et vun enger Schlësselobservatioun ugefaang huet fir d'Ëmsetzung vu sengem Kader ze féieren. Tatsächlech, no der Firma, hunn déi meescht vun hiren Datenspezialisten näischt géint de Python Code ze schreiwen.

Wat se wollte war d'Fräiheet kënnen ze erhalen fir arbiträren an idiomatesche Code ze benotzen fir hir Geschäftslogik auszedrécken. Dës Datenwëssenschaftler wëllen d'Geschäftslogik duerch de Python Code ausdrécken, awer se wëllen Är Zäit net verschwenden.

“Wéi och ëmmer, si wëllen net ze vill Zäit iwwer Gedanken iwwer Objekthierarchie, Verpakungsproblemer oder Ëmgang mat obskur APIen, déi net mat hirer Aarbecht ze dinn hunn, verbréngen. D'Infrastruktur soll hinnen erlaben hir Fräiheet als Datenspezialisten auszeüben, awer et soll genuch Leitplanken a Gerüchter ubidden, fir datt se sech net ze vill iwwer Software Architektur Suerge maachen ", liest de Netflix Blog Post.

Vun dëser Observatioun, d'Iddi hannert Metaflow ass Netflix Daten Spezialisten d'Méiglechkeet ze ginn kuckt fréi op wann e Prototyp Modell an der Produktioun fällt, wat et hinnen erlaabt all Probleemer ze léisen an am Idealfall den Asaz ze beschleunegen.

Datenspezialiste kënnen hiren Workflow a Form vun enger direkter acyclescher Grafik (DAG) vu Schrëtt strukturéieren. D'Schrëtt kënnen arbiträr Python Code sinn. An dësem hypothetesche Beispill leeft d'Transmissioun zwou Versioune vun engem Modell parallel a wielt déi, déi am héchsten ass.

Geméiss dem Netflix Data Science Team ginn et vill existent Frameworks, wéi Apache Airflow oder Luigi, déi d'Ausféierung vun DAGs aus arbiträrem Python Code erméiglechen, mam Ënnerscheed datt se abegraff sinn vill Detailer iwwer Metaflow.


Den Inhalt vum Artikel hält sech un eis Prinzipie vun redaktionnell Ethik. Fir e Feeler ze mellen klickt hei.

Gitt d'éischt fir ze kommentéieren

Gitt Äre Kommentar

Är Email Adress gëtt net publizéiert ginn. Néideg Felder sinn markéiert mat *

*

*

  1. Responsabel fir d'Daten: Miguel Ángel Gatón
  2. Zweck vun den Donnéeën: Kontroll SPAM, Kommentarmanagement.
  3. Legitimatioun: Är Zoustëmmung
  4. Kommunikatioun vun den Donnéeën: D'Donnéeë ginn net un Drëttubidder matgedeelt ausser duerch legal Verpflichtung.
  5. Datenspeicher: Datebank gehost vun Occentus Networks (EU)
  6. Rechter: Zu all Moment kënnt Dir Är Informatioun limitéieren, recuperéieren an läschen.