Data Integration Engineer (m/w/d) – Schwerpunkt Streaming & Confluent

 -> Anbindung von Datenquellen an Confluent Cloud:

• Du bindest Quellsysteme an unseren zentralen Data Hub an – vorrangig über Change Data Capture (CDC) und, wo fachlich sinnvoll, case-basiert über einen Custom Connector, den du mitentwickelst. Zur Anbindung gehört auch die entsprechende Vorbereitung, etwa die Katalogisierung der Quelldaten gemeinsam mit den Data Ownern, um eine saubere, nachvollziehbare Integration sicherzustellen.

-> Prozessgestaltung, Standardisierung und Automatisierung:

• Du konzipierst die Integrationsprozesse rund um diese Anbindungen so, dass sie standardisiert und von Anfang an automatisiert werden – von wiederverwendbaren, konfigurationsgetriebenen Mustern bis hin zu unternehmenseigenen Packages, die die Anbindung neuer Quellen und Topics effizient und ohne Code-Eingriff ermöglichen. Du etablierst Best Practices im Bereich Data Engineering und DataOps.

-> Betrieb der Integrationsstrecken:

• Du betreust die von dir aufgebauten Integrationsstrecken und Prozesse im operativen Betrieb, sorgst für Stabilität und Zuverlässigkeit, analysierst Fehlerquellen und entwickelst nachhaltige Lösungen.

-> Security, Datenschutz & Compliance:

• Du verantwortest die relevanten Security-Aspekte im Kontext deiner Integrationen – dazu gehört insbesondere die Umsetzung datenschutzrechtlicher Anforderungen (DSGVO), der sichere Umgang mit sensiblen Daten sowie Themen wie Zugriffs- und Secret-Management.

-> Reporting & Monitoring als Plattformkomponente:

• Du baust das Reporting und Monitoring für die Integrationsartefakte als eigene Plattformkomponente mit auf – von Consumer-Lag- und Pipeline-Monitoring über Datenqualitätsprüfungen bis hin zur End-to-End-Nachvollziehbarkeit – und schaffst damit Transparenz über den Zustand der Integrationsstrecken.

-> Datenmodellierung & Weiterverarbeitung:

• Du unterstützt die Überführung der integrierten (Event-)Daten in unser Lakehouse und die Modellierung nach dem Data-Vault-Ansatz und arbeitest hier eng mit den weiterverarbeitenden Bereichen des Teams zusammen.

->Zusammenarbeit, DevOps-Reviews & Wissenstransfer:

• Du arbeitest eng mit dem Team und den Stakeholdern zusammen, teilst dein Wissen und unterstützt das Team auch bei DevOps-Reviews über alle Plattformkomponenten hinweg – nicht nur im Confluent-Kontext.

• Wir suchen keine Alleskönner:innen mit jahrzehntelanger Berufserfahrung, sondern Menschen, die mit Begeisterung und Neugier an neue Aufgaben herangehen. Wenn du motiviert bist, dich in neue Tools und Technologien einzuarbeiten, bist du bei uns genau richtig. Fehlende Kenntnisse sind kein Hindernis – wir unterstützen dich mit Schulungen und ermöglichen dir, dich fachlich und persönlich weiterzuentwickeln. Entscheidend sind für uns deine Lernbereitschaft, dein Engagement und der Wunsch, gemeinsam im Team etwas zu bewegen.
• Du hast eine abgeschlossene Ausbildung / ein abgeschlossenes Studium im Bereich (Wirtschafts-)Informatik, Mathematik, Naturwissenschaften oder eine vergleichbare Qualifikation.
• Du hast Erfahrung in der Integration und Verarbeitung von Echtzeit- bzw. Streaming-Daten – idealerweise mit Apache Kafka (Confluent Cloud) und im Umfeld von Change Data Capture (CDC). Kenntnisse zu Themen wie Schema Registry, Avro, Debezium oder der Entwicklung von Konnektoren sind ein Plus.
• Du denkst in Prozessen: Du hast Freude daran, Integrationsstrecken zu konzipieren, zu standardisieren und zu automatisieren, statt Einzellösungen zu bauen.
• Du hast ein Bewusstsein für Security- und Datenschutzthemen (z. B. DSGVO) im Umgang mit Daten.
• Du verfügst über praktische Erfahrung in der Datenintegration, idealerweise im Umfeld von Data Warehousing, Data Lakehousing oder vergleichbaren Plattformen.
• Du hast Kenntnisse in der Entwicklung von ELT-Prozessen – Erfahrung mit Azure Databricks und Python (PySpark) sind ein Plus.
• Du hast idealerweise Erfahrung in der Datenmodellierung nach dem Data-Vault-Ansatz.
• Du bist sicher im Umgang mit gängigen Datenbank- und Cloud-Technologien (idealerweise Azure) und hast ein gutes Verständnis für die Herausforderungen und Chancen moderner Datenplattformen.
• Du arbeitest strukturiert, lösungsorientiert und eigenverantwortlich. Du bist teamfähig, kommunikationsstark und bringst gerne neue Ideen ein.
• Gute Deutschkenntnisse, die eine sichere Kommunikation im Arbeitsalltag ermöglichen, setzen wir voraus. Da wir international arbeiten, sind zudem sehr gute Englischkenntnisse in Wort und Schrift ein Muss.