Big Data, software libre e código aberto: aplicacións dispoñibles

O Big Data é un concepto tecnolóxico relacionado coa xestión de grandes volumes de datos, estruturados e non estruturados, que actualmente manexan os grandes sectores empresariais, tecnolóxicos, científicos e incluso gobernamentais.

Aínda que cando se fala de Big Data, non é realmente a cantidade de datos o importante, senón o que fan as organizacións cos datos. Dado que o Big Data, a súa tecnoloxía asociada, pode analizalos para obter ideas que leven a unha mellor toma de decisións, movementos e estratexias. E neste aspecto, O software libre (SL) e o código aberto (CA) contribuíron moito a esta tecnoloxía, xa que moitas aplicacións desenvolvidas implementáronse neste formato de desenvolvemento.

Big Data e software libre

Para os expertos na arte, xa se sabe que O software libre, o seu modelo de desenvolvemento, a súa filosofía, baséase na creación de tecnoloxías, principalmente produtos de software, que á súa vez poden usarse, modificarse e distribuírse libremente. E que o código aberto é un elemento importante no desenvolvemento de software libre, xa que se centra nas vantaxes prácticas desta dinámica de desenvolvemento máis que na ética da liberdade de produtos e dos cidadáns.

Polo tanto, mentres O SL / CA contribúe cos medios para levar a cabo o Big Data, Big Data compleméntaos indirectamente, non só para o beneficio da expansión acelerada do desenvolvemento tecnolóxico, senón tamén para a liberdade de acceso á información que o Big Data trae consigo.

Cal é o big data?

Concepto

Para un dos grandes do software e o desenvolvemento tecnolóxico, IBM, Big Data é un:

«... tecnoloxía que abriu as portas a un novo enfoque de comprensión e toma de decisións, que se usa para describir enormes cantidades de datos (estruturados, non estruturados e semiestruturados) que tardarían demasiado e serían moi caros de cargar en unha base de datos relacional para a súa análise.

Obxectivo

Big Data, a súa tecnoloxía, naceu co obxectivo de cubrir todo o espectro de análise de datos posible, é dicir, cubrir tanto o que existe e se resolve con tecnoloxías actuais e diferentes, como o que non resolven as tecnoloxías existentes, como almacenamento e xestión de grandes volumes de datos que teñen características moi específicas.

Datos

Os datos de ofertas xestionan volumes de datos que normalmente se definen polas seguintes características:

• Volume: Tamaño de datos de varias fontes.
• Velocidade: Velocidade coa que chegan e xestionan datos de varias fontes.
• Variedade: Formato de datos analizados de múltiples fontes.

Quero dicir, volumes de datos que normalmente están compostos por datos estruturados, semiestruturados e non estruturados, e manéxense en cantidades enormes que a miúdo se describen con prefixos de gran cantidade, como: Tera, Peta ou Exa, entre outros.

E de todo tipo de fontes, como Internet (Redes sociais, medios dixitais, sitios web e bases de datos), Equipo (Teléfonos móbiles, Reprodutores multimedia, Sistemas de posicionamento, Sensores dixitais civís e industriais, entre outros) e Organizacións (Privado e público, comercial, gobernamental e comunitario).

Importancia

O que fai do Big Data unha tecnoloxía tan útil para as organizacións (Privado e público, comercial, gobernamental e comunitario), é o feito de que proporciona información valiosa que a miúdo serve como resposta precisa e fiable a preguntas que nin sequera se fixeran para determinadas situacións ou problemas. Noutras palabras, a súa utilidade vese a miúdo en aspectos que normalmente xorden da mesma información recollida e xestionada.

O procesamento de grandes volumes de información facilita a conformación ou a proba dos datos procesados ​​do xeito máis adecuado. ou especifica, que o seu administrador considera adecuado. Isto permite que as organizacións que usan Big Data poidan identificar problemas dun xeito máis comprensible.

A recollida de grandes volumes de datos e a súa posterior análise para buscar tendencias dentro deles permiten ás organizacións ser máis eficaces e eficientes, movéndose moito máis rápido, sen problemas e de xeito oportuno sobre eles. Ademais, permítelles eliminar as áreas problemáticas antes de que os problemas asolagan, facendo que perdan beneficios, reputación ou soporte.

Vantaxe

O Big Data axuda ás organizacións a xestionar moito mellor os seus datos, o que resulta na identificación de novas oportunidades positivas ou produtivas para os seus membros (clientes ou cidadáns). E isto, á súa vez, leva a accións máis intelixentes e eficientes, aforro de horas / traballo e diñeiro, o que a miúdo se traduce en felicidade para todos os implicados. Cando se usa o Big Data, normalmente engádese valor ás actividades realizadas dos seguintes xeitos:

• Redución de custos: No almacenamento e xestión de grandes volumes de datos.
• Redución de tempo: Máis eficiencia e eficacia na toma de decisións.
• Novos produtos e servizos: Coa capacidade de medir e anticipar as necesidades e problemas dos usuarios (clientes e / ou cidadáns), a súa satisfacción aumenta.

beneficios

O Big Data ben empregado é a miúdo capaz de determinar as causas fundamentais de fallos, problemas e defectos case en tempo real. Non obstante, é ter en conta iso A tecnoloxía Big Data non é unha panacea por si mesma. Así citando outro gran tecnoloxía como Oracle, pódese engadir que:

"Identificar o valor do big data non significa só analizalo (o que xa é unha vantaxe en si mesmo). É todo un proceso de descubrimento que require que analistas, usuarios de empresas e executivos fagan as preguntas correctas, identifiquen patróns, tomen decisións informadas e predican comportamentos.

Aplicacións SL / CA para Big Data

Entre as aplicacións de software libre e código aberto que cómpre mencionar para investigación, probas e implementación están:

Relacionado

• Apache Hadoop: Plataforma de código aberto composta por Hadoop Distributed File System (HDFS), Hadoop MapReduce e Hadoop Common.
• Avro: Proxecto Apache que ofrece servizos de serialización.
• Cassandra: Base de datos non relacionada distribuída baseada nun modelo de almacenamento de , desenvolvido en Java.
• Chukwa: Software deseñado para a recollida e análise a gran escala de rexistros de eventos.
• Canle: Software cuxa tarefa principal é dirixir datos dunha fonte a outra localización.
• Base HB: Base de datos columnar (base de datos orientada a columnas) que se executa en HDFS.
• Colmea: Infraestrutura "Data Warehouse" que facilita a xestión de grandes volumes de datos que se almacenan nun ambiente distribuído.
• Jaql: Linguaxe funcional e declarativa que permite a explotación de datos en formato JSON deseñado para procesar grandes volumes de información.
• Luceno: Software que ofrece bibliotecas para indexar e buscar texto.
• oozie: Proxecto de código aberto que simplifica os fluxos de traballo e a coordinación entre cada un dos procesos.
• Porco: Software que permite aos usuarios de Hadoop centrarse máis en analizar todos os conxuntos de datos e dedicar menos tempo a construír programas MapReduce.
• Zookeeper: Infraestrutura e servizos centralizados que as aplicacións poden empregar para garantir que os procesos dun clúster están serializados ou sincronizados.

Independente

Outros tan coñecidos, pero non relacionados coa plataforma de código aberto Hadoop son:

• Busca Elástica: Motor de busca e análise baseado en texto completo.
• MongoDB: Base de datos NoSQL baseada no modelo de datos do documento.
• Cassandra: Proxecto de código aberto Apache deseñado para a administración de bases de datos NoSQL.
• CouchDB: Base de datos NoSQL de código aberto baseada en estándares comúns para facilitar a accesibilidade e a compatibilidade web con diversidade.
• Sol: Motor de busca de código aberto baseado na biblioteca Java do proxecto Lucene.
  Outras ferramentas RDBMS: MySQL Cluster e VoltDB.

Conclusión

O noso tempo actual (e inmediato seguinte) está inmerso ou afogado nunha elevada e crecente masa de datos, que ten moito que dicir no seu conxunto, que individualmente. Polo tanto, o uso da tecnoloxía Big Data no presente e no futuro inmediato axudará á sociedade, a toda a humanidade, a descubrir unha infinidade de cousas (eventos ou invencións), que poderían levar moitos anos descubríndose a si mesmos. disto.

Desde entón O Big Data e as súas ferramentas proporcionan a velocidade de análise suficiente analiza un resultado obtido rapidamente e refírao tantas veces como sexa necesario, nun curto espazo de tempo, para atopar o valor verdadeiro ou máis próximo ao que estás intentando acadar. Se atopaches interesante o tema do Big Data, podes amplialo un pouco máis lendo este Informe BBVA.