Data Engineer Databricks Confirmé (H/F)
- Temps complet
- City: Lyon
- Experience: Confirmé
- Contract type: CDI
Description de l'entreprise
Vous souhaitez donner du sens à la donnée et construire des plateformes data modernes, scalables et intelligentes, en vous appuyant sur des technologies de pointe comme Databricks ?
Nous aussi.
Chez TeamWork France, nous accompagnons les entreprises dans leur transformation data en concevant et déployant des plateformes performantes, capables de collecter, structurer et valoriser la donnée à grande échelle. Notre ambition : permettre aux organisations de piloter leur activité de manière plus agile, prédictive et orientée valeur.
Notre mission ? Concevoir des architectures data robustes, évolutives et gouvernées, qui facilitent l’accès à la donnée, accélèrent les usages analytiques et soutiennent les initiatives d’intelligence artificielle.
Présent dans plus de 28 bureaux à travers le monde, TeamWork est un acteur international reconnu pour son expertise en conseil, intégration technologique et innovation, notamment dans les domaines de la data, du cloud et des solutions SAP.
Au sein de notre univers Data Analytics, nous intervenons sur l’ensemble de la chaîne de valeur data :
- Stratégie & Vision : définition des cas d’usage et des trajectoires data
- Conception & Implémentation : mise en place de plateformes modernes (Lakehouse, Databricks, gouvernance)
- Valorisation & IA : déploiement de solutions analytiques avancées et de modèles data/IA
- Optimisation continue : amélioration des performances et industrialisation des usages
Vous êtes passionné·e par les architectures data modernes ? Vous maîtrisez les environnements Databricks, Spark, data engineering et les principes du Lakehouse ? Vous aimez relever des défis liés à la volumétrie, à la performance, à la qualité des données et à l’industrialisation des pipelines dans des environnements complexes ?
Alors, vous êtes au bon endroit.
Afin de renforcer notre practice Data Intelligence, nous recherchons un Data Engineer Databricks Confirmé (H/F) à accompagner nos clients dans la conception et la mise en œuvre de leurs plateformes data de nouvelle génération.
Description du poste
Nous recherchons un Data Engineer confirmé , avec une expertise forte sur Databricks. Vous interviendrez sur des plateformes data modernes de type Lakehouse, chez des clients grands comptes et internationaux, dans des contextes de build, de scale ou de modernisation.
En tant que référent technique Databricks, vous jouerez un rôle clé dans la structuration des architectures, la définition des standards d’ingénierie et la montée en maturité des équipes, sans management hiérarchique direct.
Vos responsabilités
Leadership technique & architecture
- Incarner l’expertise de référence sur Databricks, dbt et Delta Live Tables pour les projets à enjeux.
- Concevoir des architectures Lakehouse scalables, sécurisées et maintenables (Delta Lake, Unity Catalog, streaming).
- Définir et faire appliquer les standards d’ingénierie data : modularité, tests, CI/CD, observabilité, gouvernance.
- Challenger et optimiser les implémentations existantes (Photon, autoscaling, optimisation Delta, workflows).
Industrialisation & qualité d’ingénierie
- Industrialiser des pipelines ELT/ETL batch et streaming via Databricks Workflows et Delta Live Tables.
- Structurer l’usage de dbt : modèles, tests, documentation, macros, exposures et bonnes pratiques.
- Mettre en œuvre des pipelines CI/CD avancés (Git, revues de code, déploiements automatisés).
- Garantir la fiabilité, la résilience et la reproductibilité des plateformes en production.
Pilotage & influence
- Accompagner les équipes data (Data Engineers, Analysts, ML Engineers) dans leur montée en compétences.
- Collaborer étroitement avec architectes, product owners et responsables métiers.
- Réaliser des audits techniques, diagnostics de performance et plans de remédiation.
- Contribuer aux roadmaps data des clients et à leurs arbitrages technologiques.
Votre quotidien chez TeamWork
- Développement de pipelines data batch et streaming sur Databricks avec Delta Live Tables.
- Conception et optimisation de modèles dbt (tests, documentation, performance).
- Mise en œuvre d’architectures Lakehouse complètes (stockage, gouvernance, compute, workflows).
- Animation d’ateliers techniques, mentoring et revues de bonnes pratiques.
- Résolution de problématiques complexes : performance, coûts, qualité des données, gouvernance.
- Veille technologique active sur l’écosystème Databricks.
Qualifications
Formation & expérience
- Bac+5 en informatique, data engineering ou discipline équivalente.
- 3 à 5 ans d’expérience en Data Engineering, dont une expérience significative sur Databricks.
- Pratique confirmée d’architectures Lakehouse ou de plateformes data modernes.
- Première expérience en rôle de Tech Lead ou forte appétence pour le leadership technique.
Expertise technique
- Databricks : notebooks, repos, workflows, job clusters, Delta Lake, Auto Loader.
- Delta Live Tables : pipelines, expectations, orchestration.
- dbt (Core ou Cloud) : modèles, tests, documentation, macros, exposures.
- SQL avancé et maîtrise d’un langage de programmation (Scala fortement apprécié, Python accepté).
- Bonne compréhension de Spark (Scala ou Python).
- Gouvernance & sécurité : Unity Catalog, RBAC, data lineage, catalogues.
- CI/CD et testing automatisé (Azure DevOps, GitHub Actions, GitLab CI).
Atouts appréciés : Structured Streaming, MLflow, Databricks Asset Bundles, Terraform.
Savoir-être
- Exigence technique élevée et goût pour l’ingénierie de qualité.
- Leadership naturel, capacité à guider et faire progresser les équipes.
- Rigueur, sens de l’industrialisation et culture produit.
- Communication claire, pédagogie et capacité d’animation.
- Autonomie, proactivité et sens du service en environnement client.
Informations complémentaires
- Rôle à forte visibilité technique sur des projets stratégiques.
- Possibilités d’évolution vers des rôles de Lead Data Engineer, Architecte Data ou Expert Databricks.
- Environnement favorisant la formation continue, le partage de connaissances et les certifications.
Parce que la diversité et l’inclusion sont des richesses, nous accueillons et valorisons toutes les candidatures, notamment celles de personnes en situation de handicap.
✉️ Envie de rejoindre l’aventure TeamWork France ?
Cliquez sur « Postuler » pour déposer votre candidature via SmartRecruiters.
L’expérience candidat est fluide, simple et rapide.
Pas de friction. Que du lien.
TeamWork – Where Talent & Trust Meet
👉 Suivez-nous sur https://www.linkedin.com/company/teamwork/
👉 Découvrez notre univers sur https://www.teamwork.net