Als Senior Data Engineer entwerfen und verantworten Sie das End-to-End-Datenprodukt und die Plattform für Bewegungsdaten aus Bosch-Fabriken. Darüber hinaus konzipieren und implementieren Sie Edge-to-Cloud-Pipelines, um eine sichere Datenaufnahme, Validierung und automatisierte Qualitätsprüfungen zu gewährleisten. Zu Ihren Aufgaben gehört es, die Datenarchitektur zu strukturieren, indem Sie Rohdaten von Metadaten trennen und kanonische Schlüssel für die Indizierung und Datenherkunft definieren. Des Weiteren werden Sie eine Lakehouse-Architektur auf einem Hyperscaler aufbauen, Governance-Richtlinien implementieren und den Zugriff auf kuratierte Daten (z. B. über Objektspeicher und SQL-Katalog) ermöglichen. Sie integrieren das Prinzip "Privacy-by-Design" in das System, indem Sie ein Consent-Management einführen, Daten anonymisieren und pseudonymisieren sowie prüfbare Kontrollen implementieren. Zudem ermöglichen Sie die Visualisierung der gesamten Pipeline, vermeiden Vendor Lock-in und verwalten aktiv die Kosten für ausgehenden Datenverkehr. Sie sorgen für umfassende Beobachtbarkeit des Systems, indem Sie die Datenqualität, Synchronisation, Schema-Evolution, Zuverlässigkeit und Kosten überwachen. Die Entwicklung eines "digitalen Schaufensters" und die Bereitstellung von Batch-APIs, die kuratierte und PII-geschützte Datensätze zugänglich machen, werden ebenfalls zu Ihren Aufgaben gehören. Sie nutzen konsequent agentenbasierte KI, indem Sie autonome Agenten und Co-Piloten einsetzen, um Pipelines zu erstellen, Tests zu generieren, Daten zu analysieren, Vorfälle zu bearbeiten und die Systemleistung sowie die Kosten zu optimieren. Last but not least könnten Sie mit Technologien wie Azure, AWS, GCP, Spark SQL, Event-Streaming, Workflow-Orchestrierung, offenen Formaten (z. B. Parquet Delta) und Visualisierungstools (z. B. ReRun Foxglove) arbeiten.

Ausbildung: Bachelor- oder Masterabschluss in Informatik, Daten-Software-Engineering, Elektrotechnik oder einem ähnlichen Bereich

Erfahrung und Kenntnisse: mehrere Jahre praktische Erfahrung im Aufbau von cloud-nativen Datenplattformen, Lakehouse-Datenarchitekturen, Batch- und Streaming-Pipelines; ausgezeichnete, fundierte Kenntnisse in Python und SQL; solide Expertise in Sicherheit und Governance (IAM, Verschlüsselung, RBAC, ABAC) sowie in Datenschutzengineering (DSGVO); Erfahrung mit Edge-to-Cloud-Datenaufnahme für hochvolumige Video-Zeitreihendaten unter Verwendung offener Datenformate; Kenntnisse in CI/CD-Prozessen, Infrastructure as Code (IaC), Containern und ein starkes Bewusstsein für kostenoptimierte Architekturen; praktische Erfahrung mit gängigen Technologien wie Azure, AWS, GCP, Spark, Kafka Event Hubs oder Airflow Data Factory Workflows

Persönlichkeit und Arbeitsweise: Sie sind ein systemischer Denker, der offene Standards bevorzugt und mit Hardware, Robotik und rechtlicher Compliance zusammenarbeitet

Begeisterung: Leidenschaft für Robotik, Daten und die Bereitstellung von Qualität im industriellen Maßstab

Sprachen: sehr gute schriftliche und mündliche Kenntnisse in Deutsch und Englisch