Big data, gratis software en open source: beschikbare applicaties

Big Data is een technologisch concept dat betrekking heeft op het beheer van grote hoeveelheden data, gestructureerd en ongestructureerd, die momenteel worden afgehandeld door grote zakelijke, technologische, wetenschappelijke en zelfs overheidssectoren.

Hoewel als je erover praat Big Data, het is niet echt de hoeveelheid data die belangrijk is, maar wat organisaties met de data doen. Omdat Big Data, de bijbehorende technologie, ze kan analyseren om ideeën te verkrijgen die leiden tot betere besluitvorming, bewegingen en strategieën. En in dit aspect, Vrije Software (SL) en Open Source (CA) hebben veel bijgedragen aan deze technologie, aangezien veel ontwikkelde applicaties zijn geïmplementeerd in dit ontwikkelformaat.

Big data en gratis software

Voor de vakman is dat al bekend Vrije Software, het ontwikkelingsmodel en de filosofie ervan, is gebaseerd op het creëren van technologieën, voornamelijk softwareproducten, die op hun beurt vrij kunnen worden gebruikt, gewijzigd en gedistribueerd. En die Open Source is een belangrijk element in de ontwikkeling van vrije software, aangezien het zich meer richt op de praktische voordelen van deze ontwikkelingsdynamiek dan op de ethiek van productvrijheid en burgers.

Daarom, while De SL / CA draagt ​​bij met de middelen om Big Data uit te voeren, Big Data vult deze indirect aan, niet alleen ten behoeve van de versnelde uitbreiding van technologische ontwikkeling, maar ook voor de vrijheid van toegang tot informatie die Big Data met zich meebrengt.

Wat zijn de big data?

Concept

Voor een van de groten van software en technologische ontwikkeling, IBM, Big Data is een:

«... technologie die de deuren heeft geopend naar een nieuwe benadering van begrip en besluitvorming, die wordt gebruikt om enorme hoeveelheden gegevens te beschrijven (gestructureerd, ongestructureerd en semi-gestructureerd) die te veel tijd in beslag zouden nemen en erg duur zouden zijn om in een relationele database voor analyse.

Doel

Big Data, de technologie ervan, werd geboren met als doel het volledige spectrum van mogelijke data-analyse te bestrijken, dat wil zeggen, zowel wat bestaat en wordt opgelost met huidige en verschillende technologieën, als wat niet wordt opgelost door bestaande technologieën, zoals opslag en beheer van grote hoeveelheden gegevens die zeer specifieke kenmerken hebben.

Gegevens

Biedingsgegevens verwerkt datavolumes die doorgaans worden bepaald door de volgende kenmerken:

• volume: Grootte van gegevens uit meerdere bronnen.
• snelheid: Snelheid waarmee gegevens uit meerdere bronnen binnenkomen en worden beheerd.
• variëteit: Formaat van de geanalyseerde gegevens uit meerdere bronnen.

Dat wil zeggen, datavolumes die meestal bestaan ​​uit gestructureerde, semi-gestructureerde en ongestructureerde data, en worden verwerkt in enorme hoeveelheden die meestal worden beschreven met voorvoegsels van grote hoeveelheden, zoals: Tera, Peta of Exa, onder anderen.

En uit allerlei bronnen, zoals internet (Sociale netwerken, digitale media, websites en databases), hardware (Onder meer mobiele telefoons, multimediaspelers, positioneringssystemen, civiele en industriële digitale sensoren) en Organisaties (Privé en openbaar, commercieel, overheid en gemeenschap).

belang

Wat maakt Big Data zo'n nuttige technologie voor organisaties (Privé en openbaar, commercieel, overheid en gemeenschap), is het feit dat het waardevolle informatie oplevert dat dient vaak als een nauwkeurig en betrouwbaar antwoord op vragen die niet eens waren gesteld voor bepaalde situaties of problemen. Dat wil zeggen, het nut ervan wordt vaak gezien in aspecten die meestal voortkomen uit dezelfde verzamelde en beheerde informatie.

De verwerking van grote hoeveelheden informatie maakt het gemakkelijker om de verwerkte gegevens op de meest geschikte manier vorm te geven of te testen. of specificeert, wat door de beheerder passend wordt geacht. Hierdoor kunnen organisaties die Big Data gebruiken, problemen op een meer begrijpelijke manier identificeren.

Door grote hoeveelheden gegevens te verzamelen en vervolgens te analyseren om naar trends daarin te zoeken, kunnen organisaties effectiever en efficiënter zijn, door er veel sneller, soepeler en tijdig overheen te bewegen. Bovendien kunnen ze probleemgebieden elimineren voordat ze overweldigd worden door problemen, waardoor ze voordelen, reputatie of ondersteuning verliezen.

Voordelen

Big Data helpt organisaties om hun data veel beter te beheren, dit resulteert in het identificeren van nieuwe positieve of productieve kansen voor hun leden (klanten of burgers). En dat leidt weer tot slimmere en efficiëntere acties, besparing in uren / arbeid en geld, wat zich vaak vertaalt in geluk voor alle betrokkenen. Bij het gebruik van Big Data wordt doorgaans op de volgende manieren waarde toegevoegd aan de activiteiten die worden uitgevoerd:

• Kostenbesparing: Bij het opslaan en beheren van grote hoeveelheden gegevens.
• Tijdsbesparing: Meer efficiëntie en effectiviteit bij besluitvorming.
• Nieuwe producten en diensten: Met het vermogen om de behoeften en problemen van gebruikers (klanten en / of burgers) te meten en erop te anticiperen, neemt hun tevredenheid toe.

voordelen

Goed gebruikte Big Data is vaak in staat om de hoofdoorzaken van storingen, problemen en defecten in bijna realtime te achterhalen. Daar moet echter rekening mee worden gehouden Big Data-technologie is op zichzelf geen wondermiddel. Dus verwijzend naar een andere geweldige technologie, zoals Oracle, hieraan kan worden toegevoegd dat:

«De waarde van big data identificeren, betekent niet alleen dat je ze analyseert (wat op zich al een voordeel is). Het is een heel ontdekkingsproces waarvoor analisten, zakelijke gebruikers en leidinggevenden de juiste vragen moeten stellen, patronen moeten identificeren, weloverwogen beslissingen moeten nemen en gedrag moeten voorspellen. "

SL / CA-toepassingen voor big data

Onder de Vrije Software en Open Source-applicaties die het vermelden waard zijn voor onderzoek, testen en implementatie zijn:

Verwant

• Apache Hadoop: Open source-platform bestaande uit Hadoop Distributed File System (HDFS), Hadoop MapReduce en Hadoop Common.
• Avro: Apache-project dat serialisatieservices biedt.
• Cassandra: Gedistribueerde niet-relationele database op basis van een opslagmodel van , ontwikkeld in Java.
• Chukwa: Software ontworpen voor het op grote schaal verzamelen en analyseren van gebeurtenislogboeken.
• Fluim: Software met als hoofdtaak om gegevens van de ene bron naar een andere locatie te leiden.
• HBbasis: Zuilvormige database (kolomgeoriënteerde database) die draait op HDFS.
• Bijenkorf: "Datawarehouse" -infrastructuur die het beheer mogelijk maakt van grote hoeveelheden gegevens die zijn opgeslagen in een gedistribueerde omgeving.
• Jaql: Functionele en declaratieve taal waarmee gegevens in JSON-indeling kunnen worden gebruikt om grote hoeveelheden informatie te verwerken.
• Luceen: Software die bibliotheken biedt voor het indexeren en zoeken op tekst.
• oezie: Open source-project dat workflows en coördinatie tussen elk van de processen vereenvoudigt.
• Varken: Software waarmee Hadoop-gebruikers zich meer kunnen concentreren op het analyseren van alle datasets en minder tijd besteden aan het bouwen van MapReduce-programma's.
• Dierentuinmedewerker: Gecentraliseerde infrastructuur en services die door applicaties kunnen worden gebruikt om ervoor te zorgen dat processen in een cluster worden geserialiseerd of gesynchroniseerd.

onafhankelijk

Andere even bekend, maar niet gerelateerd aan het open source platform Hadoop zijn:

• Elastisch zoeken: Zoek- en analyse-engine op basis van volledige tekst.
• MongoDB: NoSQL-database op basis van het documentgegevensmodel.
• Cassandra: Apache open source-project ontworpen voor NoSQL-databasebeheer.
• BankDB: Open source NoSQL-database gebaseerd op gemeenschappelijke standaarden voor gemakkelijke toegankelijkheid en webcompatibiliteit met een variëteit.
• Zon: Open source-zoekmachine op basis van de Java-bibliotheek van het Lucene-project.
  Andere RDBMS-tools: MySQL Cluster en VoltDB.

Conclusie

Onze huidige (en onmiddellijke volgende) tijd wordt ondergedompeld of verdronken in een grote en groeiende massa gegevens, die als geheel veel te zeggen hebben dan afzonderlijk. Daarom zal het gebruik van Big Data-technologie in het heden en de nabije toekomst de samenleving, de hele mensheid, helpen om een ​​oneindig aantal dingen (gebeurtenissen of uitvindingen) te ontdekken, die vele jaren hadden kunnen duren om zichzelf te ontdekken. , zonder het gebruik hiervan.

als Big Data en de bijbehorende tools zorgen voor voldoende analysesnelheid analyseer een snel verkregen resultaat en herwerk het zo vaak als nodig is, in een korte tijd, om de ware of dichtstbijzijnde waarde te vinden die u probeert te bereiken. Als u het onderwerp Big Data interessant heeft gevonden, kunt u het onderwerp nog wat verder uitbreiden door dit rapport verder te lezen BBVA.