Data Engineer

¿Qué estamos buscando? Buscamos una persona para ocupar la posición de Data Engineer, para integrarse en un equipo de cliente líder en sector financiero. Participarás en el desarrollo de proyectos de plataforma de seguridad. ¿Qué tienes que hacer? Desarrollo de parsers a medida para Chronicle SIEM (Google SecOps) que normalizan e integran nuevas fuentes de logs de seguridad, ampliando la cobertura de detección de amenazas de la plataforma Fusión. Desarrollo en Python de herramientas de seguridad especializadas (denominadas internamente «Weapons»): pequeños módulos, cada uno con una función concreta, que funcionan dentro de la plataforma Fusión y generan la información que el sistema utiliza para detectar y analizar amenazas. Diseño y construcción de pipelines y vistas en BigQuery (GCP) para el procesamiento y la explotación de datos de seguridad, habilitando el análisis por parte de los equipos de detección. Migración y optimización de procesos ETL orquestados con Apache Airflow, mejorando la calidad, la trazabilidad y la escalabilidad del dato. Implementación de una arquitectura de mensajería orientada a eventos con Pub/Sub y procesamiento serverless con Cloud Functions, reduciendo el acoplamiento y el coste de infraestructura. Administración y análisis de datos sobre BigQuery y MongoDB. Contenedorización con Docker y orquestación de microservicios en Kubernetes mediante ficheros YAML. Detección e implementación de prácticas de desarrollo seguro en Python, elevando el estándar de seguridad del código. ¿Qué necesitas saber? Aportar experiencia en el diseño y la operación de pipelines de datos en la nube (GCP) y en ingeniería de datos de seguridad (SIEM). Lenguajes Python · Bash · SQL · PL/SQL Cloud (GCP) BigQuery · Cloud Storage · Cloud Build · Cloud Functions · Pub/Sub · Dataflow · AWS Orquestación y streaming Apache Airflow · Apache Kafka · Apache NiFi · Dataflow ETL / ELT Procesos ETL · dbt (Data Build Tool) · Chronicle CLI · Logstash Bases de datos y DWH BigQuery · MongoDB · Oracle · PostgreSQL · Data Warehouse Contenedores Docker · Kubernetes (configuración vía YAML) SIEM y seguridad Chronicle SIEM (Google SecOps) · OpenSearch · desarrollo seguro Observabilidad y ELK Grafana · Elastic Stack (Elasticsearch, Logstash, Kibana, Beats) BI y visualización Power BI · Tableau · OBIEE · Looker Studio · Google Sheets CI/CD y repositorios Bitbucket · Git