Publicación de Daniel Escuder Vieco

Articulo donde se habla del valor de la metadata y buenas practicas para hacer más accesible el dato desde un punto de vista técnico y de negocio. Las categorías de metadato definidas son las siguientes: - Technical: Origen, estructura y formato del dato - Business: Como se utiliza el dato para crear valor de negocio y quién es responsable de él. - Operational: Workloads donde se utiliza el dato - Social: Quiénes usan los datos y cómo los utilizan (ayuda a medir su valor real) https://lnkd.in/dc45FcWQ

El día de hoy leí el siguiente artículo "Cómo acelerar el flujo de datos entre Databricks y SAS" y deseo compartir un resumen del mismo. El artículo explora cómo mejorar la eficiencia del flujo de datos entre Databricks y SAS. Enumera varios métodos para lograrlo: 1. **Optimización de Datos en Databricks:** - Utiliza las capacidades de Spark en Databricks para procesar y transformar los datos antes de enviarlos a SAS. - Recomienda usar las funciones de Spark para filtrar, agregar y transformar datos antes de pasarlos a SAS. 2. **Reducción de la sobrecarga en SAS:** - Se sugiere minimizar el procesamiento en SAS para evitar sobrecargas. - Aplica las transformaciones y cálculos complejos en Databricks antes de enviar los datos a SAS. 3. **Uso de múltiples conexiones y conjuntos de datos:** - Para procesos intensivos de E/S, se aconseja utilizar múltiples conexiones y dividir los datos en conjuntos más pequeños. - Esto puede acelerar el tiempo de procesamiento al paralelizar la lectura y escritura de datos entre Databricks y SAS. 4. **Mejoras en la eficiencia de los algoritmos:** - Aconseja evaluar y ajustar los algoritmos utilizados en SAS para mejorar la eficiencia. - Puede ser útil utilizar algoritmos optimizados para grandes volúmenes de datos. En general, el artículo enfatiza la importancia de aprovechar las capacidades de procesamiento distribuido de Spark en Databricks para preparar y optimizar los datos antes de enviarlos a SAS, lo que puede mejorar significativamente el rendimiento y la eficiencia del flujo de datos entre estas dos plataformas. **Fuente:** [How to Speed Up Data Flow Between Databricks and SAS](https://lnkd.in/eRWpjqck)

💡¿Conoces nuestro partnership con Databricks? Con la integración de nuestra solución erwin, Inc. Data Modeler con la plataforma Databricks Lakehouse, puedes modelar y visualizar estructuras de datos de Lakehouse para crear modelos de datos lógicos/físicos y acelerar su migración a Databricks.👏 Obtén más información sobre los beneficios claves del modelado de datos y las poderosas capacidades que ahora ofrecen estas plataformas combinadas: https://lnkd.in/eFZFq2dr #DataModeling #DataGovernance #datamanagement #ModeladoDeDatos

Aunque Airflow en sí mismo no está directamente relacionado con Big Data, puede desempeñar un papel crucial en la gestión y programación de tareas en entornos de Big Data. Aquí hay algunas formas en que Airflow y Big Data pueden estar relacionados. #ConsultoríaTecnológica #BigData #Airflow #Tendencias #Tecnología #Datos #IT https://lnkd.in/e74Qpew3

👋 ¿Está listo para conocer las novedades de erwin Data Intelligence 14? Conoce más en el Webinar de lanzamiento --> 17 de Septiembre, 11:00 AM EST donde mostraremos todas las nuevas funcionalidades. 💡 Nota: El enlace se encuentra dentro del blog. Aprovecha y ve un pantallazo de lo nuevo que vendrá. Más información en el blog 👉 https://lnkd.in/eZk8CdtA #DataIntelligence #DataManagement #DataQuality #DataGovernance erwin, Inc. Quest Software Quest LATAM Ver traducción

Te invito a consultar el enlace a continuación, provee una descripción clara y detallada de la construcción y evolución de un sistema de Big Data. #Uber #RezaShiftehfar https://lnkd.in/e4jJfsDi

Todo el mundo en Data recomienda laburar con Data Lakehouse, pero ¿Qué es? 🤔 Hace casi tres años, estaba en pleno proceso de profesionalización como Ingeniero de Datos y me acuerdo haberme encontrado con un libro de Databricks que hablaba sobre el concepto del Data Lakehouse. 🌌✨ Fue un antes y un después: la idea de unir un Data Warehouse (almacenamiento estructurado) con un Data Lake (almacenamiento masivo de datos en bruto) me voló la cabeza 🤯. Vamos a desglosarlo un poco en español 🔡 : un Data Warehouse es como tener una biblioteca perfectamente organizada donde cada dato tiene su espacio en un estante específico 📚. En cambio, un Data Lake es como un depósito gigante donde todos los datos se almacenan en su forma natural y sin procesar, como cuando descargás todo en una caja sin clasificar 📦. Ahora, el Data Lakehouse es la combinación de ambos: lo mejor de los dos mundos. Es como tener una biblioteca donde podés guardar y acceder tanto a libros perfectamente organizados como a documentos en bruto. Y esto me lleva a una leyenda del tema, Bill Inmon 🎩. Si estás en este camino, seguro ya lo conocés. Considerado el “Padre del Data Warehouse”, Inmon introdujo conceptos fundamentales para estructurar datos empresariales en los años 70. A lo largo de su carrera, transformó la forma en que las organizaciones pensaban y trabajaban con sus datos, y el Data Lakehouse fue un avance natural en esta evolución. 📖 Para quienes están empezando o quieren profundizar, les recomiendo el libro "Building the Data Lakehouse". Es una referencia esencial que a mi personalmente me ayudó a entender por qué una arquitectura de datos bien pensada y escalable es clave para gestionar grandes volúmenes de información y tomar decisiones basadas en datos reales. 👨💻 Conclusión: si estás en el mundo de Data, o estás pensando en explorar este campo, el Data Lakehouse es un concepto que tenés que conocer y comprender a fondo. La gestión de datos es el presente y el futuro, y una arquitectura adecuada no solo nos permite ser más eficientes sino también más estratégicos en la toma de decisiones. 🔎 Y vos, ¿Ya conocías el Data Lakehouse? ¿Conocías este libro? Si conoces otro contenido o libro que explore esta temática compartilo!

¿Busca un socio estratégico en Ciencia de Datos e Inteligencia de Negocio? Servicios de Consultoría y Soporte en las áreas de Ciencia de Datos para la Empresa, Analítica de Datos, Inteligencia de Negocio, Gestión y Presentación de Datos y Gestión de Proyectos Empresariales. #DataScience #DataAnalytics #BusinessIntelligence #DataManagement #DataVisualization #ProjectManagement Con Data Science somos capaces de analizar grandes volúmenes de información estructurada y no estructurada para generar y descubrir información valiosa sobre sus posibles problemas de negocio. Aplicando algoritmos de Machine Learning sobre su conjunto de datos, generamos un sistema basado en inteligencia artificial que ejecuta tareas de generación de conocimiento sobre su empresa, transformándolas en acciones tangibles en la operativa diaria del negocio. Data Wrangling, Data Discovery y Data Modelling son los tres bloques principales que se abordan básicamente en este servicio de Data Science, entre otras herramientas y aplicaciones de análisis, adecuadas a cada caso particular. Trabajando estrechamente con nuestros clientes para entender sus objetivos y retos de negocio, proporcionándoles, entre otros, soporte en:  -Investigación y Análisis: Escrutinio y comprensión profunda de los procesos de negocio existentes. Esto implica el uso de técnicas de análisis de datos para reconocer cómo funcionan las cosas actualmente y dónde existen oportunidades de mejora.  -Identificación de problemas y oportunidades: Identificamos problemas en sus procesos de negocio, proponemos soluciones, así como le ayudamos a identificar oportunidades para mejorar la eficiencia, reducir costes o aumentar ingresos.  -Le apoyamos en la gestión de proyectos, supervisando la implantación de soluciones, coordinando equipos, gestionando riesgos y asegurándonos de que los proyectos se completan a tiempo y dentro del presupuesto, para conseguir la mayor rentabilidad o las menores pérdidas. El servicio de visualización de datos ofrece un desarrollo personalizado de cuadros de mando interactivos en los que se presentan de forma sencilla e intuitiva las perspectivas empresariales extraídas del análisis de la información. Estas visualizaciones permiten comprender los datos, sus tendencias y los patrones existentes. La utilización de los datos disponibles en las empresas, a pesar de los avances tecnológicos que incluyen aplicaciones de Inteligencia Artificial, sigue siendo baja, ya que el 80% utiliza menos de la mitad de los datos de los que dispone. https://lnkd.in/eKiEwZqk Póngase en contacto con nosotros y obtenga más información sobre nuestros otros servicios y costes de inversión en: https://lnkd.in/eSv8ghmi "Innovación, excelencia y resultados: los pilares de Quantum DBI Analytics en cada proyecto que emprendemos". Gracias de antemano...

DatabricksIQ impulsado por Liquid Clustering sintoniza inteligentemente y determina el diseño de datos adecuado para ti, garantizando que tus datos estén siempre optimizados tanto para el rendimiento de lectura como de escritura. Elimina las molestias de la partición estilo Hive, escala automáticamente y reduce la sobrecarga de mantenimiento de tablas. #DeltaLake #LiquidClustering

¿Qué es la arquitectura de datos? Un marco para la gestión de datos La arquitectura de datos traduce las necesidades comerciales en requisitos de datos y sistemas y busca gestionar los datos y su flujo a través de la empresa https://lnkd.in/eeBhjYzd