Software Data Engineer | Python - Spark - AWS | Solution SaaS dans le Big Data

• Créer des pipelines qui traitent de grosses quantité de données géospatiales pour générer des statistiques anonymisées servant de base aux analyses présentées dans notre produit web. Par exemple, faire évoluer l’existant pour intégrer :

• de nouvelles métriques de flux piéton ou véhicule
• de nouvelles sources de données
• du monitoring automatisés
• Développer en Spark/Scala/Python avec rigueur et toutes les bonnes pratiques requises pour construire une techno pérenne
• Travailler au sein d’une squad regroupant des développeurs, des data scientists et un Product manager
• Être en interaction avec l’équipe data / data science pour comprendre les algorithmes et les enjeux business, et les optimiser si besoin
• Participer à la conception de solutions haut niveau pour répondre aux besoins clients, en collaboration avec le PM

• AWS (EMR, Athena, S3, …)
• Spark (sur EMR) en Scala
• Workflow management en Python avec luigi
• Tests unitaires et déploiement continu
• Code review

• Vous avez à partir de 3 ans d’expérience en développement logiciel (architecture, tests, débug, déploiement) sur des technologies proches des nôtres avec des contraintes opérationnelles (volume de données, production).
• Vous avez une excellente communication écrite et orale notamment en revues de code
• Une expertise en Python, Scala, ou Spark ainsi qu’une connaissance d’AWS

• 60-70K€ selon expérience
• Variable
• Carte Swile & Mutuelle
• Remote : 3-4 jours / semaine
• Workshop

• Un challenge dans lequel tu apprendras beaucoup et avec de belles perspectives d’évolution
• Rejoindre une équipe qui vise l’excellence dans un esprit collaboratif et de bien-être
• Beaux locaux avec une cour, situés en plein cœur de Paris

Octopus IT