Big Data, gratis software og open source: tilgængelige applikationer

Big Data er et teknologisk koncept, der er relateret til styring af store datamængder, struktureret og ustruktureret, som i øjeblikket håndteres af store erhvervssektorer, teknologiske, videnskabelige og endda offentlige sektorer.

Skønt når man taler om Big Data, det er egentlig ikke mængden af ​​data, der er vigtig, men hvad organisationer gør med dataene. Da Big Data, dets tilknyttede teknologi, kan analysere dem for at få ideer, der fører til bedre beslutningstagning, bevægelser og strategier. Og i dette aspekt, Fri software (SL) og Open Source (CA) har bidraget meget til denne teknologi, da mange udviklede applikationer er blevet implementeret i dette udviklingsformat.

Big Data og fri software

For fagmanden er det allerede velkendt, at Fri software, dens udviklingsmodel, dens filosofi, er baseret på at skabe teknologier, hovedsageligt softwareprodukter, som igen kan bruges, modificeres og distribueres frit. Og at Open Source er et vigtigt element i udviklingen af ​​gratis software, da det fokuserer mere på de praktiske fordele ved denne udviklingsdynamik end på etik med produktfrihed og borgere.

Derfor, mens SL / CA bidrager med midlerne til at udføre Big Data, Big Data supplerer disse indirekte, ikke kun til fordel for den hurtige udvidelse af den teknologiske udvikling, men også for den fri adgang til information, som Big Data bringer med sig.

Hvad er big data?

Concept

For en af ​​de største software og teknologisk udvikling, IBM, Big Data er en:

«... teknologi, der har åbnet dørene til en ny tilgang til forståelse og beslutningstagning, som bruges til at beskrive enorme mængder data (struktureret, ustruktureret og semistruktureret), der ville tage for meget tid og ville være meget dyre at indlæse i relationsdatabase til analyse.

Goal

Big Data, dets teknologi, blev født med det formål at dække hele det mulige dataanalysespektrum, det vil sige at dække både hvad der eksisterer og løses med nuværende og forskellige teknologier, såvel som hvad der ikke løses af eksisterende teknologier, såsom lagring og styring af store datamængder der har meget specifikke egenskaber.

Data

Buddata håndterer datamængder, der normalt defineres af følgende egenskaber:

• volumen: Størrelse på data fra flere kilder.
• hastighed: Hastighed, hvormed data fra flere kilder ankommer og styres.
• Bred vifte: Format af de analyserede data fra flere kilder.

Jeg mener datamængder, der normalt er sammensat af strukturerede, semistrukturerede og ustrukturerede dataog håndteres i enorme mængder, der normalt beskrives med præfikser med store mængder, såsom: Tera, Peta eller Exa, blandt andre.

Og fra alle slags kilder, såsom Internettet (Sociale netværk, digitale medier, websteder og databaser), Hardware (Blandt andet mobiltelefoner, multimedieafspillere, positioneringssystemer, civile og industrielle digitale sensorer) og Organisationer (Privat og offentlig, kommerciel, regering og samfund).

betydning

Hvad gør Big Data til en så nyttig teknologi for organisationer (Privat og offentlig, kommerciel, regering og samfund), er det faktum, at det giver værdifuld information der ofte fungerer som et nøjagtigt og pålideligt svar på spørgsmål, der ikke engang var blevet stillet til bestemte situationer eller problemer. Det vil sige, at dets anvendelighed ofte ses på aspekter, der normalt stammer fra de samme oplysninger, der indsamles og administreres.

Behandlingen af ​​store mængder information gør det lettere for de behandlede data at blive formet eller testet på den mest passende måde. eller specificerer, der anses for passende af dets administrator. Dette giver organisationer, der bruger Big Data, mulighed for at identificere problemer på en mere forståelig måde.

Indsamlingen af ​​store datamængder og den efterfølgende analyse for at søge efter tendenser inden for dem gør det muligt for organisationer at være mere effektive og effektiveved at bevæge sig meget hurtigere, glat og rettidigt over dem. Derudover giver det dem mulighed for at fjerne problemområder, før problemer overvælder dem, hvilket får dem til at miste fordele, omdømme eller støtte.

Advantage

Big Data hjælper organisationer med at administrere deres data meget bedre, hvilket resulterer i identifikation af nye positive eller produktive muligheder for deres medlemmer (klienter eller borgere). Og dette fører igen til smartere og mere effektive handlinger, besparelser i timer / arbejdskraft og penge, hvilket ofte oversættes til lykke for alle involverede. Når Big Data bruges, tilføjes værdi normalt til de aktiviteter, der udføres på følgende måder:

• Omkostningsreduktion: Ved lagring og styring af store datamængder.
• Tidsreduktion: Mere effektivitet og effektivitet i beslutningsprocessen.
• Nye produkter og tjenester: Med evnen til at måle og foregribe brugernes behov (problemer og / eller borgere) øges deres tilfredshed.

fordele

Godt anvendte Big Data er ofte i stand til at bestemme de grundlæggende årsager til fejl, problemer og mangler i næsten realtid. Det er dog at tage højde for det Big Data-teknologi er ikke et universalmiddel i sig selv. Så citerer en anden stor teknologi som Oracle, det kan tilføjes, at:

”At identificere værdien af ​​big data betyder ikke kun at analysere det (hvilket allerede er en fordel i sig selv). Det er en hel opdagelsesproces, der kræver, at analytikere, forretningsbrugere og ledere stiller de rigtige spørgsmål, identificerer mønstre, træffer informerede beslutninger og forudsiger adfærd. "

SL / CA-applikationer til Big Data

Blandt de gratis software- og open source-applikationer, der er værd at nævne til forskning, test og implementering er:

Relaterede

• Apache Hadoop: Open source-platform bestående af Hadoop Distributed File System (HDFS), Hadoop MapReduce og Hadoop Common.
• Avro: Apache-projekt, der leverer serialiseringstjenester.
• Cassandra: Distribueret ikke-relationel database baseret på en lagringsmodel af , udviklet i Java.
• Chukwa: Software designet til storskala indsamling og analyse af hændelseslogfiler.
• Røg: Software, hvis hovedopgave er at dirigere data fra en kilde til et andet sted.
• HBase: Søjledatabase (kolonneorienteret database), der kører på HDFS.
• Vinter: "Data Warehouse" -infrastruktur, der letter administrationen af ​​store datamængder, der er gemt i et distribueret miljø.
• Jaql: Funktionelt og erklærende sprog, der tillader udnyttelse af data i JSON-format designet til at behandle store mængder information.
• Lucene: Software, der giver biblioteker til indeksering og søgning på tekst.
• oozie: Open source-projekt, der forenkler arbejdsgange og koordinering mellem hver af processerne.
• Svin: Software, der giver Hadoop-brugere mulighed for at fokusere mere på at analysere alle datasæt og bruge mindre tid på at opbygge MapReduce-programmer.
• Dyrepasser: Centraliseret infrastruktur og tjenester, der kan bruges af applikationer til at sikre, at processer på tværs af en klynge serialiseres eller synkroniseres.

uafhængig

Andre lige så kendte, men ikke relateret til open source-platformen Hadoop er:

• Elastiksøgning: Fuldtekst-baseret søgemaskine og analysemaskine.
• MongoDB: NoSQL-database baseret på dokumentdatamodellen.
• Cassandra: Apache open source-projekt designet til NoSQL-databaseadministration.
• SofaDB: Open source NoSQL-database baseret på fælles standarder for nem tilgængelighed og webkompatibilitet med en mangfoldighed.
• Sol: Open source-søgemaskine baseret på Lucene-projektet Java-bibliotek.
  Andre RDBMS-værktøjer: MySQL Cluster og VoltDB.

Konklusion

Vores nuværende (og umiddelbare næste) tid er nedsænket eller druknet i en høj og voksende datamasse, som har meget at sige som helhed end individuelt. Derfor vil brugen af ​​Big Data-teknologi i nutiden og den umiddelbare fremtid hjælpe samfundet, hele menneskeheden med at opdage en uendelig række ting (begivenheder eller opfindelser), som det kunne have taget mange år at opdage sig selv. uden brug af dette.

som Big Data og dets værktøjer giver tilstrækkelig analysehastighed analyser et opnået resultat hurtigt og bearbejd det så mange gange som nødvendigt på kort tid for at finde den sande eller nærmeste værdi, som du prøver at nå. Hvis du har fundet emnet Big Data interessant, kan du udvide emnet lidt mere ved at læse denne rapport om BBVA.