Big Data, fri programvara och öppen källkod: tillgängliga applikationer

Big Data är ett tekniskt koncept som är relaterat till hantering av stora datamängder, strukturerad och ostrukturerad, som för närvarande hanteras av stora företag, tekniska, vetenskapliga och till och med statliga sektorer.

Även om man talar om Big Data, det är egentligen inte mängden data som är viktigt, utan vad organisationer gör med data. Eftersom Big Data, dess tillhörande teknik, kan analysera dem för att få idéer som leder till bättre beslutsfattande, rörelser och strategier. Och i denna aspekt, Fri programvara (SL) och öppen källkod (CA) har bidragit mycket till denna teknik, eftersom många utvecklade applikationer har implementerats i detta utvecklingsformat.

Big Data och fri programvara

För fackmän är det redan känt att Fri programvara, dess utvecklingsmodell, dess filosofi, bygger på att skapa teknik, främst mjukvaruprodukter, som i sin tur kan användas, modifieras och distribueras fritt. Och att Open Source är ett viktigt inslag i utvecklingen av fri programvara, eftersom det fokuserar mer på de praktiska fördelarna med denna utvecklingsdynamik än på etik med produktfrihet och medborgare.

Därför, medan SL / CA bidrar med medel för att genomföra Big Data, Kompletterar Big Data dessa indirekt, inte bara till förmån för den påskyndade expansionen av teknisk utveckling utan också för den fria tillgången till information som Big Data medför.

Vad är big data?

Koncept

För en av de största programmen och teknisk utveckling, IBM, Big Data är en:

«... teknik som har öppnat dörrarna för ett nytt synsätt på förståelse och beslutsfattande, som används för att beskriva enorma mängder data (strukturerad, ostrukturerad och halvstrukturerad) som skulle ta för mycket tid och skulle vara mycket dyra att ladda in i en relationsdatabas för analys.

Mål

Big Data, dess teknik, föddes med målet att täcka hela spektrumet av dataanalyser möjligt, det vill säga att täcka både vad som existerar och löses med nuvarande och olika tekniker, liksom vad som inte löses med befintlig teknik, såsom lagring och hantering av stora datamängder som har mycket specifika egenskaper.

Data

Buddata hanterar datamängder som vanligtvis definieras av följande egenskaper:

• volym: Storlek på data från flera källor.
• hastighet: Hastighet med vilken data från flera källor anländer och hanteras.
• variation: Format för analyserade data från flera källor.

Jag menar datavolymer som vanligtvis består av strukturerad, halvstrukturerad och ostrukturerad dataoch hanteras i stora mängder som ofta beskrivs med höga kvantitetsprefix, såsom: Tera, Peta eller Exa, bland andra.

Och från alla typer av källor, såsom Internet (Sociala nätverk, Digitala medier, Webbplatser och databaser), hårdvara (Mobiltelefoner, Multimedia-spelare, Positioneringssystem, Civila och industriella digitala sensorer, bland andra) och organisationer (Privat och offentlig, kommersiell, regering och samhälle).

betydelse

Vad gör Big Data till en användbar teknik för organisationer (Privat och offentlig, kommersiell, regering och samhälle), är det faktum att det ger värdefull information som ofta fungerar som ett korrekt och pålitligt svar på frågor som inte ens hade ställts för vissa situationer eller problem. Det vill säga dess användbarhet ses ofta på aspekter som vanligtvis uppstår genom samma information som samlas in och hanteras.

Bearbetningen av stora informationsvolymer gör det lättare för de bearbetade uppgifterna att formas eller testas på det mest lämpliga sättet. eller specificerar, som anses vara lämpligt av dess administratör. Detta gör det möjligt för organisationer som använder Big Data att kunna identifiera problem på ett mer förståeligt sätt.

Insamlingen av stora datamängder och dess efterföljande analys för att söka efter trender inom dem gör att organisationer kan bli mer effektiva, genom att flytta mycket snabbare, smidigare och i rätt tid över dem. Dessutom tillåter det dem att eliminera problemområden innan problem går över dem, vilket får dem att förlora fördelar, anseende eller stöd.

Fördel

Big Data hjälper organisationer att hantera sina data mycket bättre, vilket resulterar i identifiering av nya positiva eller produktiva möjligheter för sina medlemmar (kunder eller medborgare). Och detta leder i sin tur till smartare och effektivare åtgärder, besparingar i timmar / arbete och pengar, vilket ofta översätts till lycka för alla inblandade. När Big Data används läggs vanligtvis värde till aktiviteterna som utförs på följande sätt:

• Kostnadsminskning: Vid lagring och hantering av stora datamängder.
• Tidsreduktion: Mer effektivitet och effektivitet i beslutsfattandet.
• Nya produkter och tjänster: Med förmågan att mäta och förutse användarnas behov (och klienter och / eller medborgare) ökar deras tillfredsställelse.

fördelar

Väl använda Big Data kan ofta fastställa de grundläggande orsakerna till fel, problem och defekter nästan i realtid. Det är dock att ta hänsyn till det Big Data-teknik är inte ett universalmedel i sig. Så citerar en annan stor teknik som Oracle, det kan tilläggas att:

”Att identifiera värdet på stora data betyder inte bara att analysera det (vilket redan är en fördel i sig). Det är en hel upptäcktsprocess som kräver att analytiker, affärsanvändare och chefer ställer rätt frågor, identifierar mönster, fattar välgrundade beslut och förutsäger beteenden.

SL / CA-applikationer för Big Data

Bland de fria programvarorna och open source-applikationerna som är värda att nämna för forskning, testning och implementering är:

Relaterad

• Apache Hadoop: Öppen källkodsplattform som består av Hadoop Distributed File System (HDFS), Hadoop MapReduce och Hadoop Common.
• Avro: Apache-projekt som tillhandahåller serialiseringstjänster.
• Cassandra: Distribuerad icke-relationsdatabas baserad på en lagringsmodell av , utvecklat i Java.
• Chukwa: Programvara utformad för storskalig insamling och analys av händelseloggar.
• Flöde: Programvara vars huvudsakliga uppgift är att dirigera data från en källa till någon annan plats.
• HBas: Kolumndatabas (kolumnorienterad databas) som körs på HDFS.
• Bikupa: "Data Warehouse" -infrastruktur som underlättar administrationen av stora datamängder som lagras i en distribuerad miljö.
• Jaql: Funktionellt och deklarativt språk som möjliggör utnyttjande av data i JSON-format utformat för att bearbeta stora volymer information.
• Lucene: Programvara som tillhandahåller bibliotek för indexering och sökning på text.
• oozie: Öppen källkodsprojekt som förenklar arbetsflöden och samordning mellan var och en av processerna.
• Gris: Programvara som gör att Hadoop-användare kan fokusera mer på att analysera alla datauppsättningar och spendera mindre tid på att bygga MapReduce-program.
• Djurskötare: Centraliserad infrastruktur och tjänster som kan användas av applikationer för att säkerställa att processer över ett kluster serialiseras eller synkroniseras.

oberoende

Andra lika kända, men inte relaterade till öppen källkodsplattform Hadoop är:

• Elastisk sökning: Fulltextbaserad sök- och analysmotor.
• MongoDB: NoSQL-databas baserad på dokumentdatamodellen.
• Cassandra: Apache open source-projekt utformat för NoSQL-databasadministration.
• CouchDB: Öppen källkod NoSQL-databas baserad på gemensamma standarder för enkel tillgänglighet och webbkompatibilitet med mångfald.
• Sol: Öppen källkodssökmotor baserad på Lucene-projektet Java-bibliotek.
  Andra RDBMS-verktyg: MySQL Cluster och VoltDB.

Slutsats

Vår nuvarande (och omedelbara nästa) tid är nedsänkt eller drunknad i en hög och växande datamassa, som har mycket att säga som helhet än individuellt. Därför kommer användningen av Big Data-teknik i nuet och den omedelbara framtiden att hjälpa samhället, hela mänskligheten, att upptäcka en oändlighet av saker (händelser eller uppfinningar), som det kunde ha tagit många år att upptäcka av sig själva. , utan användning av detta.

som Big Data och dess verktyg ger tillräcklig analyshastighet analysera ett resultat som erhållits snabbt och bearbeta det så många gånger som nödvändigt, på kort tid, för att hitta det verkliga eller närmaste värdet som du försöker nå. Om du har hittat ämnet Big Data intressant kan du utöka ämnet lite mer genom att läsa den här rapporten BBVA.