Big data (BD)

Hay varias definiciones para Big Data, donde la tratan como tendencia, tecnología, disciplina, estrategia... No voy a entrar hablar de la parte semántica, pero sí de las convergencia que esas definiciones tienen y lo importante que puede llegar a ser dentro de la revolución digital.

Unas de las definiciones que encontramos de los proveedores más conocidos son:

Amazon: Big Data se pueden describir entorno a desafíos de administración de datos que, debido al incremento en el volumen, la velocidad y la variedad de los datos, no se puede resolver con las bases de datos tradicionales.

Oracle: Big data describe una estrategia holística de gestión de la información que incluye e integra muchos nuevos tipos de datos y de gestión de datos junto con datos tradicionales.

IBM: (fragmento de definición) Big Data aplica para toda aquella información que no puede ser procesada o analizada utilizando procesos o herramientas tradicionales.

Varios fabricantes de tecnologías coinciden que Big Data es la necesidad que surge en nuestros tiempos de procesar y explotar los datos con mayor eficiencia de la que pueden ofrecer las herramientas tradicionales.

Las firmas dedicadas al estudio de mercados en tecnologías de la información (entre ellas Gartner) coinciden en que, el mercado global de análisis y explotación de datos seguirá creciendo en los años venideros. Todas las organizaciones necesitan transformar sus datos en información y conocimiento en favor de la competitividad.

Nos hemos preguntado cuanta información circula por internet diario, aproximadamente 3 millones de fotos se suben a Flickr, el equivalente que se transfiere entre los Smartphone de todo el mundo es 1,7 millones de discos Blu-Ray, 700.000 personas se dan de alta en Facebook, 500 millones de tuits ¿cuántos posts? y si sumamos el tráfico P2P… Con esto nos podemos hacer una idea de la cantidad de datos que circulan por internet. El crecimiento de los datos a nivel mundial es exponencial y algunas compañías hablan de Terabytes y Pentabytes de datos diarios, tales como Facebook, Twitter, Instagram, Google etc.

El mercado empresarial ha tenido limitaciones con las diferentes fuentes de datos que se presentar en sus negocios, no siempre los datos son estructurados, podemos encontrar información en un archivo físico, en imágenes radiológicas, fotografías, audios, vídeos, GPS, información de sensores entre otros.

Con estos grandes volúmenes, variedad de datos y la necesidad de procesarlos a alta velocidad para obtener información en el momento adecuado, es cuando surge la necesidad Big Data: ingestión de variedad de fuentes de datos, manipulación de grandes volúmenes de datos y la velocidad necesaria para acceder datos; dicho conjunto es conocido como las 3V's del Big Data. También se habla de 4v’s y de 7v´s, yo en lo personal me quedo con las 4V's: volumen, velocidad, variedad y valor, porque de nada sirve Exabyte de datos si no generan valor.

La adquisición y análisis de datos y su posterior transformación en información, es un flujo de trabajo complejo y extenso, que va más allá de los centros de datos y las tecnologías tradicionales. En el pasado, los sistemas en que se realizaba Business Intelligence y procesamiento de datos tenían características especializadas y se adjudicaban a la computación de alto rendimiento (HPC). Sin embargo, con la llegada y convergencia de nuevas tecnologías (en especial el Stack de Hadoop), arquitectura horizontal, Cloud Computing, Big Computing e IoT, vemos como BI comienza a dar un giro, de tal forma que se hará no exclusiva de las grandes empresas, además ofreciendo alternativas a los problemas actuales de los datos.