Dàta Mòr, Bathar-bog an-asgaidh agus stòr fosgailte: tagraidhean rim faighinn

Tha Dàta Mòr na bhun-bheachd teicneòlasach a tha co-cheangailte ri riaghladh meud mòr dàta, le structar agus gun structar, a tha an-dràsta air an làimhseachadh le roinnean gnìomhachais mòra, teicneòlais, saidheansail agus eadhon riaghaltais.

Ged nuair a tha sinn a ’bruidhinn mu dheidhinn Dàta Mòr, chan e gu dearbh an uiread de dhàta a tha cudromach, ach dè a bhios buidhnean a ’dèanamh leis an dàta. Leis gum faod Big Data, an teicneòlas co-cheangailte ris, an sgrùdadh gus beachdan fhaighinn a bheir gu co-dhùnaidhean, gluasadan agus ro-innleachdan nas fheàrr. Agus san taobh seo, Tha bathar-bog an-asgaidh (SL) agus Open Source (CA) air mòran a chuir ris an teicneòlas seo, bho chaidh mòran thagraidhean leasaichte a bhuileachadh anns a ’chruth leasachaidh seo.

Dàta Mòr agus Bathar-bog an-asgaidh

Dhaibhsan a tha sgileil anns an ealan, tha fios mu thràth air sin Tha bathar-bog an-asgaidh, am modail leasachaidh aige, an fheallsanachd aige, stèidhichte air cruthachadh theicneòlasan, sa mhòr-chuid bathar bathar-bog, a ghabhas a chleachdadh, atharrachadh agus a sgaoileadh gu saor. Agus tha an Stòr Fosgailte sin na eileamaid chudromach ann an leasachadh bathar-bog an-asgaidh, leis gu bheil e a ’cuimseachadh air buannachdan practaigeach an leasachaidh seo nas motha na air beusachd saorsa toraidh agus saoranaich.

Uime sin, fhad ’s Bidh an SL / CA a ’cur ris na dòighean gus Dàta Mòr a choileanadh, Bidh Dàta Mòr a ’cur riutha sin gu neo-dhìreach, chan ann a-mhàin airson buannachd leudachadh luathaichte leasachadh teicneòlais, ach cuideachd airson saorsa ruigsinneachd air fiosrachadh a thig leis an Dàta Mòr.

Dè an dàta mòr a th ’ann?

Bun-bheachd

Airson aon de na nithean as fheàrr a thaobh bathar-bog agus leasachadh teicneòlais, IBM, Is e dàta mòr:

«... teicneòlas a tha air na dorsan fhosgladh gu dòigh-obrach ùr a thaobh tuigse agus dèanamh cho-dhùnaidhean, a tha air a chleachdadh airson cunntas a thoirt air mòran dàta (structarail, neo-structaraichte agus leth-structaraichte) a bheireadh cus ùine agus a bhiodh gu math daor dha luchdadh a-steach do stòr-dàta buntainneach airson mion-sgrùdadh.

Amas

Rugadh Big Data, an teicneòlas aige, leis an amas a bhith a ’còmhdach an speactram iomlan de sgrùdadh dàta a tha comasach, is e sin, a bhith a ’còmhdach gach cuid na tha ann agus a tha air am fuasgladh le teicneòlasan gnàthach agus eadar-dhealaichte, a bharrachd air na rudan nach eil air am fuasgladh leis na teicneòlasan a th’ ann, leithid stòradh agus riaghladh meud mòr dàta aig a bheil feartan sònraichte.

Dàta

Bidh Dàta Tagraidh a ’làimhseachadh meudan dàta a tha mar as trice air am mìneachadh leis na feartan a leanas:

• Leabhar: Meud dàta bho iomadh stòr.
• Astar: An astar leis am bi dàta bho ioma-stòr a ’ruighinn agus air a riaghladh.
• Caochladh: Cruth an dàta sgrùdaichte bho iomadh stòr.

Tha mi a ’ciallachadh, leabhraichean dàta a tha mar as trice air an dèanamh suas de dhàta Structured, Semi-strwythured, agus neo-structaraichte, agus a bhith air an làimhseachadh ann am meudan mòra a tha mar as trice air am mìneachadh le ro-leasachain àrd, leithid: Tera, Peta no Exa, am measg feadhainn eile.

Agus bho gach seòrsa stòr, leithid an eadar-lìn (Lìonraidhean sòisealta, meadhanan didseatach, làraichean-lìn agus stòran-dàta), Sgioban (Fònaichean-làimhe, cluicheadairean ioma-mheadhain, siostaman suidheachaidh, mothachairean didseatach catharra agus gnìomhachais, am measg feadhainn eile) agus Buidhnean (Prìobhaideach is Poblach, Malairteach, Riaghaltas agus Coimhearsnachd).

Cudrom

Dè a tha a ’dèanamh Dàta Mòr na theicneòlas cho feumail dha Buidhnean (Prìobhaideach is Poblach, Malairteach, Riaghaltas agus Coimhearsnachd), an fhìrinn gu bheil e a ’toirt seachad fiosrachadh luachmhor bidh sin gu tric na fhreagairt cheart agus earbsach do cheistean nach deach eadhon fhaighneachd airson suidheachaidhean no duilgheadasan sònraichte. Ann am faclan eile, chithear cho feumail sa tha e gu tric air nithean a bhios mar as trice ag èirigh bhon aon fhiosrachadh a thèid a chruinneachadh agus a riaghladh.

Tha giollachd meud mòr fiosrachaidh ga dhèanamh nas fhasa an dàta giullaichte a chumadh no a dhearbhadh san dòigh as iomchaidh. no a ’sònrachadh, tha sin air a mheas iomchaidh leis an rianadair aige. Leigidh seo le buidhnean a tha a ’cleachdadh Dàta Mòr a bhith comasach air duilgheadasan aithneachadh ann an dòigh nas so-thuigsinn.

Tha an cruinneachadh mòr de dhàta agus an anailis a thig às a dhèidh gus gluasadan a lorg annta a ’leigeil le Buidhnean a bhith nas èifeachdaiche agus nas èifeachdaiche, le bhith a ’gluasad mòran nas luaithe, gu rèidh agus ann an deagh àm thairis orra. A bharrachd air an sin, leigidh e leotha cuir às do raointean duilgheadas mus cuir duilgheadasan thairis orra, ag adhbhrachadh gun caill iad sochairean, cliù no taic.

Buannachdan

Bidh Dàta Mòr a ’cuideachadh Bhuidhnean gus an dàta aca a riaghladh mòran nas fheàrr, tha seo a’ leantainn gu bhith a ’comharrachadh chothroman ùra adhartach no torach dha na buill aca (teachdaichean no saoranaich). Agus tha seo an uair sin, a ’leantainn gu gnìomhan nas buige agus nas èifeachdaiche, sàbhalaidhean ann an uairean / saothair agus airgead, a bhios gu tric ag eadar-theangachadh gu toileachas don h-uile duine a tha an sàs ann. Nuair a thèid Dàta Mòr a chleachdadh, mar as trice thèid luach a chur ris na gnìomhan a tha air an dèanamh anns na dòighean a leanas:

• Lùghdachadh cosgais: Ann a bhith a ’stòradh agus a’ riaghladh meud mòr dàta.
• Lùghdachadh ùine: Barrachd èifeachdais agus èifeachdais ann an co-dhùnaidhean.
• Bathar agus seirbheisean ùra: Leis a ’chomas feumalachdan agus duilgheadasan luchd-cleachdaidh (luchd-ceannach agus / no saoranaich) a thomhas agus a shùileachadh, tha an sàsachd air a mheudachadh.

Sochairean

Tha Dàta Mòr air a dheagh chleachdadh gu tric comasach air faighinn a-mach na prìomh adhbharan airson fàilligeadh, duilgheadasan agus easbhaidhean ann an ùine fhìor. Ach, feumar aire a thoirt don sin Chan e teicneòlas panacea a th ’ann an teicneòlas Big Data leis fhèin. Mar sin ag ainmeachadh teicneòlas mòr eile mar Oracle, faodar a chur ris:

«Chan eil a bhith a’ comharrachadh luach dàta mòr a ’ciallachadh dìreach a bhith ga mhion-sgrùdadh (a tha mar-thà na bhuannachd ann fhèin). Is e pròiseas lorg iomlan a th ’ann a tha ag iarraidh air luchd-anailis, luchd-cleachdaidh gnìomhachais agus luchd-gnìomh na ceistean ceart fhaighneachd, pàtrain a chomharrachadh, co-dhùnaidhean fiosraichte a dhèanamh agus ro-innse giùlan."

Tagraidhean SL / CA airson Dàta Mòr

Am measg nan tagraidhean bathar-bog an-asgaidh agus stòr fosgailte as fhiach iomradh a thoirt orra airson rannsachadh, deuchainn agus buileachadh tha:

Co-cheangailte

• Apache Hadoop: Àrd-ùrlar stòr fosgailte air a dhèanamh suas de Siostam File Sgaoilte Hadoop (HDFS), Hadoop MapReduce, agus Hadoop Common.
• Àbhaisteach: Pròiseact Apache a bheir seachad seirbheisean sreathach.
• Cassandra: Stòr-dàta neo-cheangailte air a chuairteachadh stèidhichte air modail stòraidh de , air a leasachadh ann an Java.
• Chukwa: Bathar-bog air a dhealbhadh airson cruinneachadh mòr agus sgrùdadh logaichean tachartais.
• Sruth: Bathar-bog aig a bheil prìomh obair dàta a stiùireadh bho aon stòr gu àite eile.
• HBase: Stòr-dàta columnar (stòr-dàta stèidhichte air colbh) a ’ruith air HDFS.
• bothan: Bun-structar "Data Warehouse" a bhios a ’comasachadh rianachd meudan mòra dàta a tha air an stòradh ann an àrainneachd sgaoilte.
• Jaql: Cànan gnìomh agus dearbhte a leigeas le dàta a bhith air a chleachdadh ann an cruth JSON a chaidh a dhealbhadh gus meud mòr fiosrachaidh a phròiseasadh.
• Lucene: Bathar-bog a bheir seachad leabharlannan airson clàr-amais agus sgrùdadh air teacsa.
• ooi: Pròiseact stòr fosgailte a bhios a ’sìmpleachadh sruthan obrach agus co-òrdanachadh eadar gach aon de na pròiseasan.
• Muc: Bathar-bog a leigeas le luchd-cleachdaidh Hadoop barrachd fòcas a chuir air a bhith a ’dèanamh anailis air a h-uile seata dàta agus a’ caitheamh nas lugha de ùine a ’togail prògraman MapReduce.
• Neach-sùla: Bun-structar agus seirbheisean meadhanaichte a ghabhas cleachdadh le tagraidhean gus dèanamh cinnteach gu bheil pròiseasan thar brabhsair air an seirbheiseachadh no air an sioncronachadh.

Neo-eisimeilich

Tha feadhainn eile a cheart cho aithnichte, ach nach eil càirdeach don àrd-ùrlar stòr fosgailte Hadoop:

• Rannsachadh elastic: Einnsean sgrùdaidh is anailis làn-theacsa.
• MongoDB: Stòr-dàta NoSQL stèidhichte air modal dàta na sgrìobhainn.
• Cassandra: Pròiseact stòr fosgailte Apache air a dhealbhadh airson rianachd stòr-dàta NoSQL.
• CouchDB: Stòr-dàta NoSQL stòr fosgailte stèidhichte air inbhean cumanta airson ruigsinneachd furasta agus co-chòrdalachd lìn le measgachadh.
• ghrian: Einnsean rannsachaidh stòr fosgailte stèidhichte air leabharlann Lucene pròiseact Java.
  Innealan RDBMS eile: MySQL Cluster agus VoltDB.

Co-dhùnadh

Tha an ùine a th ’againn an-diugh (agus an ath thuras) air a bhogadh no air a bhàthadh ann an tòrr mòr dàta a tha a’ sìor fhàs, aig a bheil mòran ri ràdh gu h-iomlan, na leotha fhèin. Mar sin, cuidichidh cleachdadh teicneòlas Dàta Mòr san àm ri teachd agus san àm ri teachd cuideachadh don chomann-shòisealta, an cinne-daonna gu h-iomlan, faighinn a-mach mu neo-sheasmhachd de rudan (tachartasan no innleachdan), a dh ’fhaodadh a bhith air grunn bhliadhnaichean a thoirt a-mach iad fhèin, gun a bhith gan cleachdadh de seo.

Bhon uairsin Bidh Dàta Mòr agus na h-innealan aige a ’toirt seachad astar anailis gu leòr dèan sgrùdadh air toradh a fhuaireadh gu sgiobalta agus ath-obraich e cho tric ’s a dh’ fheumar, ann an ùine ghoirid, gus an fhìor luach no an luach as fhaisge ort a tha thu a ’feuchainn ri ruighinn. Ma tha thu air cuspair Dàta Mòr fhaicinn inntinneach, faodaidh tu an cuspair a leudachadh beagan a bharrachd le bhith a ’leughadh an Aithisg seo bho BBVA.