Apache Storm siostam giollachd dàta fìor-ùine

stoirm_logo

Tha Apache Storm na phròiseact a leigeas leat an giullachd a chuir air dòigh barantas de dhiofar thachartasan ann an àm fìor. Mar eisimpleir, Storm faodar a chleachdadh gus sruthan dàta a sgrùdadh ann an àm fìor, coileanadh gnìomhan ionnsachaidh innealan, cuir air dòigh àireamhachadh leantainneach, cuir an gnìomh RPC, ETL, msaa.

An siostam a ’toirt taic do fhuarachadh, lgus rèiteachadh a tha fulangach ri lochdan a thogail, modh giollachd dàta cinnteach, agus tha tar-chur àrd gu leòr ann airson còrr air millean iarrtas gach diog a ghiullachd air nód brabhsair.

Amalachadh Storm Apache le diofar shiostaman giullachd ciudha agus teicneòlasan stòr-dàta.

Ailtireachd Stoirm a ’toirt a-steach a bhith a’ faighinn agus a ’giullachd sruthan dàta neo-structaraichte agus an-còmhnaidh air ùrachadh le bhith a ’cleachdadh riaghladairean iom-fhillte rèiteachaidh le comas sgaradh eadar diofar ìrean àireamhachaidh.

Mu Stoirm Apache

Chaidh am pròiseact a thoirt do choimhearsnachd Apache an dèidh do BackType Twitter fhaighinn, a ’chompanaidh a leasaich am frèam bho thùs.

Ann an cleachdadh, chaidh Storm a chleachdadh ann an BackType gus sgrùdadh a dhèanamh air meòrachadh thachartasan ann am microblogs, le bhith a ’dèanamh coimeas eadar tweets ùra air a’ chuileag agus na ceanglaichean a chaidh a chleachdadh annta (mar eisimpleir, chaidh am measadh mar cheanglaichean taobh a-muigh no sanasan Twitter air an craoladh le com-pàirtichean eile).

Tha comas stoirme an coimeas ri àrd-ùrlar Hadoop, agus is e am prìomh eadar-dhealachadh nach eil an dàta air a chuir a-steach don taigh-tasgaidh, ach gu bheil e air fhaighinn bhon taobh a-muigh agus air a phròiseasadh ann an àm fìor.

Ann an Storm, chan eil còmhdach stòraidh air a thogail a-steach agus bidh a ’cheist anailitigeach a’ tòiseachadh a ’buntainn ris an dàta a tha a’ tighinn a-steach gus an tèid a chuir dheth (ma chleachdas Hadoop an obair MapReduce a bheir ùine chrìochnaichte, bidh Storm a ’cleachdadh a’ bheachd a bhith a ’ruith" topologies "gu leantainneach.

Faodar cur gu bàs an luchd-làimhseachaidh a sgaoileadh gu grunn luchd-frithealaidh: bidh an Stoirm gu fèin-ghluasadach co-shìnte ris an obair le snàithleanan ann an diofar nodan den bhraisle.

Prìomh chùisean cleachdaidh a dh'fhaodar a thoirt do Apache Storm

A ’giullachd sruthan dàta ùra no ùrachaidhean stòr-dàta ann an àm fìor
Àireamhaidhean leantainneach: Faodaidh stoirm iarrtasan leantainneach a dhèanamh agus sruthan leantainneach a phròiseasadh, a ’gluasad toraidhean a’ ghiollachd chun neach-dèiligidh ann an àm fìor.

Call gairm modh iomallach air a chuairteachadh (RPC): Faodar stoirm a chleachdadh gus concurrency a thoirt seachad ann a bhith a ’cur an gnìomh ceistean dian-ghoireasan.

Tha gnìomh ("topology") ann an Storm na ghnìomh sgaoilte eadar nodan a tha a ’feitheamh ri teachdaireachdan a tha a’ tighinn a-steach a phròiseasadh.

Às deidh an teachdaireachd fhaighinn, bidh an gnìomh ga phròiseas ann an co-theacsa ionadail agus a ’tilleadh an toradh. Is e eisimpleir de bhith a ’cleachdadh RPC sgaoilte a bhith a’ giullachd co-shìnte de cheistean rannsachaidh no a ’coileanadh obrachaidhean air seata mòr de sheataichean.

Apache Storm 2.0 Prìomh fheartan ùra

Stèidheachd Apache chuir iad iomairtean air bhog gus Storm a ghluasad gu kernel ùr sgrìobhte ann an Java, tha na toraidhean air am moladh ann an dreach Apache Storm 2.0.

Tha na pàirtean bunaiteach uile den àrd-ùrlar air an ath-sgrìobhadh ann an Java. Tha taic airson luchd-làimhseachaidh sgrìobhaidh ann an Clojure air a ghleidheadh, ach tha e a-nis air a thabhann ann an cruth cheanglaichean. Tha feum air Java 8 airson Storm 2.0.0 a bhith ag obair.

Chaidh am modail giullachd multithreaded ath-dhealbhadh gu tur, a tha air leantainn gu àrdachadh coileanaidh sònraichte (airson cuid de topology, chaidh latencies a lùghdachadh 50-80%).

Anns an dreach ùr chaidh API ùr Streams a thaidhpeadh a mholadh, a leigeas leat luchd-làimhseachaidh a rèiteachadh a ’cleachdadh obrachaidhean ann an stoidhle prògramadh gnìomh.

Tha an API ùr air a bhuileachadh air stèidh an API cunbhalach agus a ’toirt taic do cho-obrachadh fèin-ghluasadach gus an giullachd as fheàrr a dhèanamh. Bidh an API Windowing airson gnìomhachd uinneig a ’cur taic ri bhith a’ sàbhaladh agus ag ath-nuadhachadh stàite anns an deireadh-sheachdain.

Air an làimh eile an rianadair gus goireasan a bharrachd a thòiseachadh gu cunntas nuair a bhios e a ’dèanamh cho-dhùnaidhean nach eil cuingealaichte ri CPU agus cuimhne, leithid paramadairean lìonra agus GPU, chaidh a chur ris a ’chlàr tòiseachaidh.

Bha grunn leasachaidhean co-cheangailte ri bhith a ’dèanamh cinnteach à amalachadh le àrd-ùrlar Kafka.
Chaidh an siostam smachd ruigsinneachd a leudachadh, anns a bheil an cothrom air buidhnean rianachd agus buidheann riochdachaidh a chruthachadh.

Leasachaidhean a bharrachd co-cheangailte ri taic airson SQL agus metrics. Tha òrdughan ùra aig an eadar-aghaidh rianadair airson dì-bhugachadh na stàite brabhsair.


Tha susbaint an artaigil a ’cumail ri na prionnsapalan againn de moraltachd deasachaidh. Gus aithris a dhèanamh air mearachd cliog an seo.

Bi a 'chiad fhear a thog beachd

Fàg do bheachd

Seòladh-d cha tèid fhoillseachadh.

*

*

  1. Uallach airson an dàta: Miguel Ángel Gatón
  2. Adhbhar an dàta: Smachd air SPAM, riaghladh bheachdan.
  3. Dìleab: Do chead
  4. Conaltradh an dàta: Cha tèid an dàta a thoirt do threas phàrtaidhean ach a-mhàin fo dhleastanas laghail.
  5. Stòradh dàta: Stòr-dàta air a chumail le Occentus Networks (EU)
  6. Còraichean: Aig àm sam bith faodaidh tu am fiosrachadh agad a chuingealachadh, fhaighinn air ais agus a dhubhadh às.