UNIR
Ver temas

Última actualización: 08 · 09 · 2016

Nuevo curso Escuela Big Data Science: Apache Flink

Big Data es, sin duda, uno de los conceptos tecnológicos más importante de los últimos años. Alrededor de este nuevo paradigma tecnológico han aparecido nuevas profesiones que tienen una gran demanda en el mercado laboral: ingeniero/arquitecto de datos (data engineer) y analista/científico de datos (data scientist).   Las tecnologías que emergieron en este campo se […]

Big Data es, sin duda, uno de los conceptos tecnológicos más importante de los últimos años. Alrededor de este nuevo paradigma tecnológico han aparecido nuevas profesiones que tienen una gran demanda en el mercado laboral: ingeniero/arquitecto de datos (data engineer) y analista/científico de datos (data scientist).

 

Las tecnologías que emergieron en este campo se centraron en proporcionar capacidades de almacenamiento y procesamiento de grandes cantidades de datos a los ingenieros y analistas de datos. El trabajo de estos profesionales se ha centrado en el diseño de arquitecturas escalables y la utilización de algoritmos de analítica avanzada sobre esos datos almacenados. Hadoop y Spark son las tecnologías estrellas para desarrollar aplicaciones dentro de este paradigma denominado batch processing, caracterizado por la ejecución de procesos complejos, de larga duración, sobre grandes cantidades de datos

 

Pero Big Data está entrando en una nueva era donde la capacidad de procesar información online y la rapidez de respuesta es la clave. Las empresas cada vez identifican más necesidades de este tipo, así como las ventajas que este paradigma de procesamiento puede aportarles. Es lo que se denomina streaming processing. Procesar información generada en tiempo real proveniente, por ejemplo, de sensores (Internet of Things), redes sociales o logs, abre un nuevo abanico de posibilidades en múltiples escenarios como detección de fraude, análisis de comportamiento de usuario o monitorización.

 

Es en esta nueva realidad tecnológica donde desembarca Apache Flink. Apache Flink es una plataforma open source y escalable para el procesamiento distribuido de datos masivos. El núcleo de Flink es un motor de streaming processing que permite tanto el procesamiento de datos generados en tiempo real como de datos estáticos (batch processing). Apache Flink es, sin duda, la tecnología estrella de este paradigma de procesamiento diferenciándose notablemente de sus competidores (Spark Streaming, Storm, Samza, Apex, etc.) por sus principales características:

 

  • Utilización de un enfoque de procesamiento event-at-time y no micro-batching permitiendo respuestas en tiempo real.
  • API específico y sencillo para batch processing (DataSet) y streaming processing (DataStream) en diferentes lenguajes de programación (Java, Scala y Python)
  • Posibilidad de utilizar sintaxis SQL para el análisis de datos (Table).
  • Gestión avanzada del concepto tiempo, permitiendo el procesamiento de eventos desordenados (event time y processing time)
  • Procesamiento avanzando de ventanas por tiempo, nº de elementos y sesiones, incluyendo mecanismos de customización como Triggers y Evictors permitiendo el diseño de complejas lógicas de negocio.
  • Soporte nativo de operaciones incrementales optimizando los procesos de graph analytics y machine learning.
  • Gestión eficiente de la memoria gracias a su gestor de memoria específico dentro de la JVM.
  • Optimización automática de las aplicaciones gracias a sus optimizadores específicos para batch y streaming processing.
  • Perfecta integración con el ecosistema Big Data (Hadoop, Kafka, HBase, etc.).
  • Ecosistema nativo a su alrededor creciendo incluyendo librerías para Complex Event Procesing (CEP), Graph Analytics (Gelly) y Machine Learning (FlinkML).

flink_ruben_casado

Si eres programador, arquitecto o analista de datos y quieres adelantarte a la nueva evolución tecnológica del Big Data, no puedes perderte este curso donde aprenderemos de la mano de los mejores expertos del sector el uso de Apache Flink desde cero. No es necesario conocimientos ni experiencias en tecnologías Big Data, simplemente el conocimiento de Java o Scala y las ganas de aprender esta fabulosa herramienta. En este curso se enseñará:

 

  • Conceptosbásicos sobre qué es streaming processing y las diferencias arquitectónicas con los sistemas tradicionales
  • Instalación y configuración de Apache Flink así como de su entorno de desarrollo
  • Dataset: el API para desarrollar aplicaciones batch processing con Apache Flink
  • DataStrem: el API para desarrollar aplicaciones straeming processing con Apache Flink
  • Programación avanzada con Apache Flink
  • Integración de Apache Flink con Hadoop, Kafka y otras tecnologías Big Data
  • Implementación práctica de casos de estudio
  • Gelly: introducción al procesamiento de grafos con Apache Flink
  • Gestión en producción de un clúster de Apache Flink

El artículo Nuevo curso Escuela Big Data Science: Apache Flink fue escrito el 8 de septiembre de 2016 y guardado bajo la categoría Big Data. Puedes encontrar el post en el que hablamos sobre .

Descrubre nuestros cursos

28 · 05 · 2025

Estudiar Hacking Ético: las empresas buscan hackers profesionales

¿Sabes qué es el Hacking Ético y por qué cada vez más empresas buscan hackers profesionales para incorporarlos a sus filas? Te contamos en qué consiste, cuáles son las funciones de estos profesionales, qué ventajas tiene utilizarlo y por qué es una apuesta segura tanto para las empresas como para los profesionales en el panorama […]

22 · 05 · 2025

Cómo ser perito informático: funciones y requisitos para el puesto

¿Sabes qué es un perito informático, qué funciones tiene y qué requisitos se necesitan para poder desempeñar el puesto? Te damos las claves para que puedas conocer todas las características de este sector en auge. ¿Qué es un perito informático? Los peritos informáticos son aquellos profesionales que obtienen la información de ordenadores, teléfonos móviles u […]

21 · 05 · 2025

Sueldo Ciberseguridad España [2025]: ¿Cuánto Gana un Experto, Analista o Ingeniero?

En la actualidad todas las empresas, o la mayoría de ellas están invirtiendo en digitalización haciendo que el sector tecnológico aumente su presencia en cualquier sector. Debido a este motivo, la ciberseguridad es fundamental para mantener los sistemas y datos sin amenazas con la ayuda de perfiles profesionales altamente cualificados. ¿Sabes cuánto gana un experto, […]

21 · 05 · 2025

Guía Completa para Entender y Dominar la Ciberseguridad

Cada vez más empresas y entidades apuestan por la ciberseguridad, por lo que los profesionales dedicados a ella y los protocolos se han vuelto más sofisticados para poder hacer frente al entorno digital actual. Si quieres saberlo todo sobre esta variante de la seguridad te traemos una guía completa para entender y dominar la ciberseguridad. […]