
Data Engineer Cloud - H/F
- Paris
- CDI
- Temps-plein
- Identifier et connecter les diverses sources de données internes et externes de l’entreprise (bases de données, APIs, fichiers, systèmes externes, etc.).
- Assurer l’intégration des données provenant de ces sources dans un entrepôt de données centralisé, accessible et performant.
- Concevoir, développer et maintenir des pipelines ETL (Extract, Transform, Load) permettant de centraliser et d’alimenter l’entrepôt de données.
- Automatiser les processus d’alimentation pour garantir la fraîcheur et la cohérence des données.
- Veiller à la qualité des données en nettoyant et en structurant les données brutes pour les rendre exploitables
- Mettre en œuvre des processus de transformation des données afin de les adapter aux besoins des équipes métiers et des analysts
- Créer des modèles de données structurés et performants, adaptés aux besoins spécifiques des Data Analysts et Data Scientists.
- Collaborer avec ces équipes pour comprendre leurs besoins en matière de données et préparer des jeux de données optimisés pour les analyses avancées et la modélisation statistique
- Garantir la performance, la scalabilité et la sécurité des bases de données, tout en veillant à leur intégrité.
- Optimiser les requêtes et les processus de traitement des données pour garantir des performances élevées à grande échelle
- Travailler étroitement avec les Data Scientists, les Data Analysts et les équipes métiers pour comprendre les besoins en données et concevoir des solutions adaptées
- Participer activement à la définition de l’architecture de données de l’entreprise
- Expérience : Au moins 5 ans d’expérience en tant que data-engineer.
- Maitrise des connecteurs de données (ODBC, Rest API)
- Maitrise de langages de programmation (SQL, python)
- Maitrise des bases de données (MySQL, PosgreSQL, NoSQL) et de leurs outils d’administration Maitrise des environnements et services Cloud associés AWS ou GCP
- Maitrise des technologies de streaming et d’orchestration : Kafka / Debezium, AirFlow, etc.