Dideli duomenys, nemokama programinė įranga ir atvirasis šaltinis: galimos programos

„Big Data“ yra technologinė koncepcija, susijusi su didelių duomenų kiekių valdymu, struktūrizuoti ir nestruktūruoti, kuriuos šiuo metu tvarko stambus verslo, technologijos, mokslo ir net vyriausybės sektoriai.

Nors kalbėdamas apie Didieji duomenys, iš tikrųjų svarbu ne duomenų kiekis, o tai, ką organizacijos daro su duomenimis. Kadangi „Big Data“, su ja susijusi technologija, gali juos analizuoti, kad gautų idėjų, kurios lemtų geresnį sprendimų priėmimą, judėjimą ir strategijas. Šiuo aspektu Prie šios technologijos daug prisidėjo laisva programinė įranga (SL) ir atvirasis šaltinis (CA), nes daugelis sukurtų programų buvo įdiegtos tokiu kūrimo formatu.

Dideli duomenys ir nemokama programinė įranga

Profesionalams tai jau gerai žinoma Laisva programinė įranga, jos kūrimo modelis, filosofija grindžiama technologijų, daugiausia programinės įrangos produktų, kūrimu, kuriuos savo ruožtu galima laisvai naudoti, modifikuoti ir platinti. Šis atvirasis šaltinis yra svarbus elementas kuriant nemokamą programinę įrangą, nes daugiau dėmesio skiriama praktiniams šios plėtros dinamikos pranašumams, o ne produkto laisvės etikai. piliečių.

Todėl, nors SL / CA prisideda prie didžiųjų duomenų vykdymo priemonių, „Big Data“ papildo juos netiesiogiai ne tik dėl spartesnio technologijų plėtros plitimo, bet ir dėl prieigos prie informacijos, kurią suteikia „Big Data“, laisvės.

Kas yra didieji duomenys?

Concepto

Vienam iš programinės įrangos ir technologinės plėtros didžiųjų IBM, Didieji duomenys yra:

«... technologija, kuri atvėrė duris naujam požiūriui į supratimą ir sprendimų priėmimą, naudojama apibūdinti didžiulius duomenų kiekius (struktūrinius, nestruktūrizuotus ir pusiau struktūruotus), kurie užtruktų per daug laiko ir būtų labai brangūs įkeliant į duomenų bazę. reliacinė duomenų bazė analizei.

Tikslas

„Big Data“, jos technologija, gimė siekdama aprėpti visą įmanomą duomenų analizės spektrą, tai yra apimti tai, kas egzistuoja ir yra išspręsta naudojant dabartines ir skirtingas technologijas, taip pat tai, ko neišsprendžia esamos technologijos, tokios kaip didelių duomenų kiekių saugojimas ir valdymas kurie turi labai specifinių savybių.

Duomenys

Pasiūlymo duomenys tvarko duomenų apimtis, paprastai apibūdinamą šiomis charakteristikomis:

• Tomas: Duomenų iš kelių šaltinių dydis.
• Greitis: Greitis, kuriuo gaunami ir tvarkomi duomenys iš kelių šaltinių.
• Veislė: Analizuotų duomenų iš kelių šaltinių formatas.

Turiu galvoje, duomenų apimtys, kurias paprastai sudaro struktūriniai, pusiau struktūrizuoti ir nestruktūruoti duomenysir tvarkomi didžiuliais kiekiais, kurie paprastai apibūdinami su dideliais kiekiais priešdėliais, pvz .: „Tera“, „Peta“ ar „Exa“.

Ir iš visų šaltinių, pavyzdžiui, interneto (Socialiniai tinklai, skaitmeninė žiniasklaida, svetainės ir duomenų bazės), Techninė įranga (Mobilieji telefonai, daugialypės terpės grotuvai, padėties nustatymo sistemos, civiliniai ir pramoniniai skaitmeniniai jutikliai, be kita ko) ir Organizacijos (Privatus ir viešasis, komercinis, vyriausybinis ir bendruomenės).

Reikšmė

Kas daro „Big Data“ tokią naudingą organizacijoms technologiją (Privatus ir viešasis, komercinis, vyriausybės ir bendruomenės), yra tai, kad ji teikia vertingos informacijos tai dažnai yra tikslus ir patikimas atsakymas į klausimus, kurie net nebuvo užduoti tam tikroms situacijoms ar problemoms spręsti. Tai yra, jo naudingumas dažnai pastebimas tais aspektais, kurie paprastai kyla iš tos pačios informacijos, kurią renka ir tvarko.

Apdorojus didelius informacijos kiekius, tvarkomus duomenis lengviau formuoti ar tikrinti tinkamiausiu būdu. arba nurodo, ką jo administratorius laiko tinkamu. Tai leidžia organizacijoms, naudojančioms „Big Data“, suprantamiau nustatyti problemas.

Didelių duomenų kiekių rinkimas ir vėlesnė jų analizė siekiant ieškoti juose esančių tendencijų leidžia organizacijoms būti efektyvesnėms ir efektyvesnėms, daug greičiau, sklandžiau ir laiku juda per juos. Be to, tai leidžia jiems pašalinti problemines sritis, kol problemos neapsunkina jų, todėl jie praranda naudą, reputaciją ar paramą.

Pranašumas

Didieji duomenys padeda organizacijoms daug geriau tvarkyti savo duomenis, todėl nustatomos naujos teigiamos ar produktyvios galimybės savo nariams (klientams ar piliečiams). O tai savo ruožtu lemia protingesnius ir efektyvesnius veiksmus, sutaupo valandų / darbo ir pinigų, o tai dažnai tampa laiminga visiems dalyvaujantiems. Naudojant „Big Data“, veikla paprastai vykdoma šiais būdais:

• Kainos sumažinimas: Didelių duomenų kiekių saugojime ir valdyme.
• Laiko sutrumpinimas: Daugiau efektyvumo ir efektyvumo priimant sprendimus.
• Nauji produktai ir paslaugos: Gebant išmatuoti ir numatyti vartotojų (klientų ir (arba) piliečių) poreikius ir problemas, jų pasitenkinimas padidėja.

nauda

Gerai naudojami „Big Data“ dažnai beveik realiu laiku gali nustatyti pagrindines gedimų, problemų ir defektų priežastis. Tačiau reikia atsižvelgti į tai „Big Data“ technologija savaime nėra panacėja. Taigi cituodamas kitas puikias technologijas, tokias kaip "Oracle" galima pridurti, kad:

„Didžiųjų duomenų vertės nustatymas nereiškia tik jų analizavimo (o tai jau savaime yra privalumas). Tai visas atradimo procesas, reikalaujantis analitikų, verslo vartotojų ir vadovų užduoti teisingus klausimus, nustatyti modelius, priimti pagrįstus sprendimus ir nuspėti elgesį.

SL / CA „Big Data“ programos

Tarp nemokamos programinės įrangos ir atvirojo kodo programų, kurias verta paminėti tyrimams, bandymams ir diegimui, yra:

Susijęs

• Apache Hadoopas: Atvirojo kodo platforma, kurią sudaro „Hadoop Distributed File System“ (HDFS), „Hadoop MapReduce“ ir „Hadoop Common“.
• Avro: „Apache“ projektas, teikiantis serializavimo paslaugas.
• Kasandra: Paskirstyta ne reliacinė duomenų bazė, pagrįsta duomenų saugyklos modeliu , sukurta „Java“.
• Čukva: Programinė įranga, skirta didelio masto įvykių žurnalų rinkimui ir analizei.
• Srautas: Programinė įranga, kurios pagrindinė užduotis yra nukreipti duomenis iš vieno šaltinio į kitą vietą.
• HBase: Stulpelių duomenų bazė (į stulpelius orientuota duomenų bazė), veikianti HDFS.
• Avilys: „Duomenų sandėlio“ infrastruktūra, palengvinanti didelės apimties duomenų, saugomų paskirstytoje aplinkoje, valdymą.
• Jaql: Funkcionali ir deklaratyvi kalba, leidžianti naudoti duomenis JSON formatu, skirtu apdoroti didelius informacijos kiekius.
• Liusena: Programinė įranga, teikianti bibliotekas indeksavimui ir paieškai tekste.
• oozie: Atviro kodo projektas, supaprastinantis kiekvieno proceso procesus ir darbo eigą.
• Kiaulė: Programinė įranga, leidžianti „Hadoop“ vartotojams daugiau dėmesio skirti visų duomenų rinkinių analizei ir mažiau laiko skirti „MapReduce“ programų kūrimui.
• Zoologijos sodo prižiūrėtojas: Centralizuota infrastruktūra ir paslaugos, kurias programos gali naudoti norėdami užtikrinti, kad procesai visame serijoje būtų nuoseklūs arba sinchronizuoti.

Nepriklausomi

Kiti taip pat gerai žinomi, bet nesusiję su atvirojo kodo platforma „Hadoop“ yra:

• Elastikos paieška: Visas tekstas pagrįstas paieškos ir analizės variklis.
• MongoDB: NoSQL duomenų bazė, pagrįsta dokumento duomenų modeliu.
• Kasandra: „Apache“ atvirojo kodo projektas, skirtas „NoSQL“ duomenų bazių administravimui.
• „CouchDB“: Atvirojo kodo „NoSQL“ duomenų bazė, pagrįsta bendrais standartais, kad būtų lengva pasiekti ir suderinti žiniatinklį su įvairove.
• Solras: Atvirojo kodo paieškos sistema, pagrįsta „Lucene“ projekto „Java“ biblioteka.
  Kiti RDBMS įrankiai: „MySQL Cluster“ ir „VoltDB“.

Išvada

Dabartinis (ir artimiausias) laikas yra panardintas arba paskendęs didelėje ir vis didesnėje duomenų masėje, kuri turi daug ką pasakyti nei atskirai. Todėl „Big Data“ technologijos naudojimas dabartyje ir artimiausioje ateityje padės visuomenei, visai žmonijai atrasti begalę dalykų (įvykių ar išradimų), kurių atradimas galėjo užtrukti daugelį metų. , nenaudojant to.

Nuo „Big Data“ ir jos priemonės suteikia pakankamą analizės greitį greitai išanalizuokite gautą rezultatą ir atidirbkite jį tiek kartų, kiek reikia, per trumpą laiką, kad surastumėte tikrąją ar artimiausią vertę, kurią bandote pasiekti. Jei jums pasirodė įdomi didelių duomenų tema, galite ją šiek tiek išplėsti perskaitę šią ataskaitą BBVA.