UNIR
Ver temas

Última actualización: 08 · 09 · 2016

Nuevo curso Escuela Big Data Science: Apache Flink

Big Data es, sin duda, uno de los conceptos tecnológicos más importante de los últimos años. Alrededor de este nuevo paradigma tecnológico han aparecido nuevas profesiones que tienen una gran demanda en el mercado laboral: ingeniero/arquitecto de datos (data engineer) y analista/científico de datos (data scientist).   Las tecnologías que emergieron en este campo se […]

Big Data es, sin duda, uno de los conceptos tecnológicos más importante de los últimos años. Alrededor de este nuevo paradigma tecnológico han aparecido nuevas profesiones que tienen una gran demanda en el mercado laboral: ingeniero/arquitecto de datos (data engineer) y analista/científico de datos (data scientist).

 

Las tecnologías que emergieron en este campo se centraron en proporcionar capacidades de almacenamiento y procesamiento de grandes cantidades de datos a los ingenieros y analistas de datos. El trabajo de estos profesionales se ha centrado en el diseño de arquitecturas escalables y la utilización de algoritmos de analítica avanzada sobre esos datos almacenados. Hadoop y Spark son las tecnologías estrellas para desarrollar aplicaciones dentro de este paradigma denominado batch processing, caracterizado por la ejecución de procesos complejos, de larga duración, sobre grandes cantidades de datos

 

Pero Big Data está entrando en una nueva era donde la capacidad de procesar información online y la rapidez de respuesta es la clave. Las empresas cada vez identifican más necesidades de este tipo, así como las ventajas que este paradigma de procesamiento puede aportarles. Es lo que se denomina streaming processing. Procesar información generada en tiempo real proveniente, por ejemplo, de sensores (Internet of Things), redes sociales o logs, abre un nuevo abanico de posibilidades en múltiples escenarios como detección de fraude, análisis de comportamiento de usuario o monitorización.

 

Es en esta nueva realidad tecnológica donde desembarca Apache Flink. Apache Flink es una plataforma open source y escalable para el procesamiento distribuido de datos masivos. El núcleo de Flink es un motor de streaming processing que permite tanto el procesamiento de datos generados en tiempo real como de datos estáticos (batch processing). Apache Flink es, sin duda, la tecnología estrella de este paradigma de procesamiento diferenciándose notablemente de sus competidores (Spark Streaming, Storm, Samza, Apex, etc.) por sus principales características:

 

  • Utilización de un enfoque de procesamiento event-at-time y no micro-batching permitiendo respuestas en tiempo real.
  • API específico y sencillo para batch processing (DataSet) y streaming processing (DataStream) en diferentes lenguajes de programación (Java, Scala y Python)
  • Posibilidad de utilizar sintaxis SQL para el análisis de datos (Table).
  • Gestión avanzada del concepto tiempo, permitiendo el procesamiento de eventos desordenados (event time y processing time)
  • Procesamiento avanzando de ventanas por tiempo, nº de elementos y sesiones, incluyendo mecanismos de customización como Triggers y Evictors permitiendo el diseño de complejas lógicas de negocio.
  • Soporte nativo de operaciones incrementales optimizando los procesos de graph analytics y machine learning.
  • Gestión eficiente de la memoria gracias a su gestor de memoria específico dentro de la JVM.
  • Optimización automática de las aplicaciones gracias a sus optimizadores específicos para batch y streaming processing.
  • Perfecta integración con el ecosistema Big Data (Hadoop, Kafka, HBase, etc.).
  • Ecosistema nativo a su alrededor creciendo incluyendo librerías para Complex Event Procesing (CEP), Graph Analytics (Gelly) y Machine Learning (FlinkML).

flink_ruben_casado

Si eres programador, arquitecto o analista de datos y quieres adelantarte a la nueva evolución tecnológica del Big Data, no puedes perderte este curso donde aprenderemos de la mano de los mejores expertos del sector el uso de Apache Flink desde cero. No es necesario conocimientos ni experiencias en tecnologías Big Data, simplemente el conocimiento de Java o Scala y las ganas de aprender esta fabulosa herramienta. En este curso se enseñará:

 

  • Conceptosbásicos sobre qué es streaming processing y las diferencias arquitectónicas con los sistemas tradicionales
  • Instalación y configuración de Apache Flink así como de su entorno de desarrollo
  • Dataset: el API para desarrollar aplicaciones batch processing con Apache Flink
  • DataStrem: el API para desarrollar aplicaciones straeming processing con Apache Flink
  • Programación avanzada con Apache Flink
  • Integración de Apache Flink con Hadoop, Kafka y otras tecnologías Big Data
  • Implementación práctica de casos de estudio
  • Gelly: introducción al procesamiento de grafos con Apache Flink
  • Gestión en producción de un clúster de Apache Flink

El artículo Nuevo curso Escuela Big Data Science: Apache Flink fue escrito el 8 de septiembre de 2016 y guardado bajo la categoría Big Data. Puedes encontrar el post en el que hablamos sobre .

Descrubre nuestros cursos

10 · 12 · 2024

Cómo convertirse en ingeniero en IA: requisitos, funciones y sueldo

Los ingenieros de Inteligencia Artificial son profesionales que están especializados en el diseño, desarrollo e implementación de sistemas que son capaces de imitar y simular la inteligencia de los seres humanos. Estos profesionales en este ámbito son unos de los más demandados en el ámbito profesional, por lo que deben contar con una serie de […]

21 · 11 · 2024

Cómo Prepararse para Trabajar en IA

¿Quieres saber cómo prepararte para trabajar en Inteligencia Artificial? Te contamos cuáles son las diferentes opciones de formación, las habilidades más demandadas y por qué la IA se ha convertido en una de las carreras más demandadas. IA desde cero: ¿es posible formarse de manera autodidacta? Aunque es recomendable contar con formación en programación o […]

20 · 11 · 2024

La importancia del Natural Language Processing en la IA

¿Sabes lo que es el Natural Lenguage processing y porqué es tan importante en la IA? El procesamiento del lenguaje natural es fundamental para el desarrollo de la Inteligencia Artificial, por lo que saber cómo funciona te ayudará a mejorar tus competencias profesionales en este campo. Introducción al procesamiento del lenguaje natural (PNL): qué es […]

13 · 12 · 2024

Inteligencia artificial: guía para entender qué es y cómo funciona

¿Te has preguntado qué es la Inteligencia Artificial y qué implicaciones tiene en tu vida diaria? Te damos las claves para que comprendas qué es la IA, cómo funciona, cómo ha evolucionado, sus aplicaciones en la vida cotidiana y qué puede suponer su uso en el futuro para que puedas conocerla y entenderla. Definición de […]