Senior Data Engineer (Azure Databricks)

Für unseren Kunden, ein Versicherungsunternehmen im Großraum Frankfurt am Main, suchen wir im Rahmen des Aufbaus einer neuen dispositiven Datenplattform (Lakehouse) auf Basis von Microsoft Azure und Databricks zwei erfahrene Data Engineers. Du baust die Datenstrecken von den Quellsystemen bis in das Core-Modell und übernimmst dabei die technische Federführung in der Umsetzung. Du arbeitest im Tandem mit Mitarbeitenden des Kunden und gibst dein Databricks-Know-how aktiv weiter.AufgabenAnbindung von Quellsystemen und externen Dienstleistern (Delta-Lieferungen, Dateien, APIs) sowie eines CRM-Systems inklusive automatisierter LadeprozesseEntwicklung von ETL/ELT-Strecken mit Delta-Verarbeitung, Fehlerbehandlung und nachvollziehbaren WiederanlaufverfahrenUmsetzung der Dublettenbereinigung und Zusammenführung von Kunden- und VermittlerdatenImplementierung des Core-Datenmodells mit Historisierung entlang der Medallion-Architektur (Databricks, PySpark, SQL)Umsetzung von Datenqualitätsregeln, Prüfroutinen, Monitoring und AlertingBereitstellung von Exporten und Rückflüssen an operative Systeme (z. B. Kampagnenselektionen für das CRM)Mitarbeit an Entwicklungspipeline und CI/CD, Rollen und Berechtigungen, Data Catalog und LineageDokumentation, Runbooks und Wissenstransfer im Tandem mit dem Kundenteam AnforderungenMehrjährige Erfahrung als Data Engineer, idealerweise im Aufbau von Data-Warehouse- oder Lakehouse-LösungenSehr gute Kenntnisse in Databricks, PySpark/Spark, SQL und Delta LakePraxis mit Databricks Workflows bzw. Azure Data Factory und weiteren Azure-DatenservicesErfahrung in Datenmodellierung und Historisierung (Data Vault und/oder dimensionale Modellierung)Kenntnisse in Git, CI/CD und automatisiertem Testing von DatenpipelinesErfahrung mit KI-gestützter Entwicklung (z. B. Coding-Assistenten, agentische Workflows) von VorteilErfahrung mit Quellsystemen und Daten im Versicherungsumfeld von VorteilFreude an Wissensvermittlung und Zusammenarbeit im gemischten TeamDatabricks- oder Azure-Data-Engineer-Zertifizierung von VorteilVerhandlungssichere Deutsch- und gute EnglischkenntnisseGenerelle RahmenbedingungenPensum: 100 %Start: Anfang November 2026Dauer: bis 31.03.2027 mit Option auf Verlängerung (Folgephasen geplant bis Ende 2028)Arbeitsort: Großraum Frankfurt am Main (Deutschland)Onsite/Remote: In den ersten 2–3 Monaten hoher Onsite-Anteil (3–4 Tage pro Woche), danach ca. 2 Tage onsite, Rest remoteKundengespräch: Verfügbarkeit für Interviews beim Kunden Ende Oktober 2026Find more English Speaking Jobs in Germany on Arbeitnow