Deine Aufgabe
Wir suchen einen Senior Data Engineer, der hochskalierbare Ingestion- und CDC-Pipelines (Change-Data-Capture) auf unserer Azure Fabric Lakehouse‑Plattform entwirft, aufbaut und betreibt. Neben der Bereitstellung produktionsreifer Pipelines hilfst du dabei, unsere Engineering‑Disziplin weiterzuentwickeln, indem du "Notebook‑Style"‑Arbeiten in wiederverwendbare, testgetriebene Python‑Bibliotheken und CI/CD‑gesteuerte Deployment‑Artefakte umwandelst. Du wirst Teil des Common Data Intelligence Hub und arbeitest mit Datenarchitekten, Analytics Engineers und Lösungsdesignern zusammen, um robuste, verwaltete Datenprodukte zu liefern, die das unternehmensweite Analytics‑Ökosystem unterstützen.
Verantwortlichkeiten
End-to-End‑Verantwortung für Ingestion & CDC Engineering (Design, Aufbau, Betrieb, Beobachtbarkeit, Zuverlässigkeit, wiederverwendbare Komponenten)
Beitrag zu Plattformstandards (Verträge, Layer‑Semantik, Bereitschaftskriterien) und Referenzimplementierungen
Zusammenarbeit mit dem Plattformteam durch Definition von Anforderungen, Überprüfung von Änderungen und Pflege von bereitstellbarem Code für Pipelines und Jobs
Plattform‑Datenengineering & Delivery
Design und Entwicklung von Ingestion‑Pipelines mit Azure Fabric Services (Notebooks/Jobs/Workflows)
Implementierung und Betrieb von CDC‑Mustern (Einfügungen, Aktualisierungen, Löschungen), einschließlich Strategien für verspätet eintreffende Daten und Wiederverarbeitung
Strukturierung und Pflege von Bronze- und Silver‑Delta‑Lake‑Datensätzen (Schema‑Durchsetzung, Deduplizierung, Performance‑Tuning)
Aufbau "transformationsbereit"er Datensätze und Schnittstellen für Analytics Engineers und nachgelagerte Modellierung
Datenerfassung mit einem Batch‑First‑Ansatz und Unterstützung bei der Weiterentwicklung von Mustern hin zu echtem Streaming, wo zukünftige Anwendungsfälle dies erfordern
Software Engineering für Daten‑Frameworks
Entwicklung und Pflege von Python‑basierten Ingestion/CDC‑Komponenten als produktionsreife Software
Anwendung von Engineering‑Best‑Practices: Code‑Reviews, Unit‑/Integrationstests, statische Analyse, Formatierung/Linting, Type Hints und klare Dokumentation
Etablierung und Verbesserung von CI/CD‑Pipelines für Data‑Engineering‑Code und Pipeline‑Assets
Förderung der Wiederverwendung durch gemeinsame Bibliotheken, Vorlagen und Referenzimplementierungen; Reduzierung von "Einmal‑Notebook"‑Lösungen
Betrieb, Zuverlässigkeit & Beobachtbarkeit
Implementierung von Logging, Metriken, Tracing und Beobachtbarkeit von Datenpipelines
End‑to‑End‑Fehlerbehebung bei verteilter Verarbeitung und Produktionsproblemen
Zusammenarbeit mit Lösungsdesignern bei ereignisbasierten Triggern und Orchestrierungs-Workflows; Beitrag zu betrieblichen Standards
Implementierung von betrieblicher und Sicherheitshygiene: sichere Handhabung von Geheimnissen, Zugriffsmuster mit minimalen Rechten und Unterstützung für Prüfbarkeit
Zusammenarbeit & Führung
Mentoring anderer Engineers und Förderung einheitlicher Engineering‑Praktiken über Teams hinweg
Beitrag zur Data Engineering Community of Practice und Hilfe bei der Definition von Standards, Mustern und Leitplanken
Beitrag zu architektonischen Diskussionen (Layer‑Semantik, Bereitschaftskriterien, Verträge und Governance)
Zusammenarbeit mit Architekten und Governance‑Stakeholdern, um sicherzustellen, dass Datensätze die Governance‑Anforderungen erfüllen, bevor sie in höhere Ebenen befördert werden
Dein Profil
Wir suchen einen Senior Data Engineer mit umfangreicher Erfahrung in der Azure Fabric Lakehouse‑Plattform, um hochskalierbare Ingestion‑ und CDC‑Pipelines zu entwerfen, zu bauen und zu betreiben, während du dabei hilfst, die Engineering‑Disziplin durch wiederverwendbare Python‑Bibliotheken und CI/CD‑gesteuerte Bereitstellung weiterzuentwickeln.
Muss‑Kriterien
3‑5 Jahre praktische Erfahrung im Aufbau von Datenpipelines mit Azure Fabric in Produktionsumgebungen
Fundierte Kenntnisse von Delta Lake‑Mustern (CDC, Schema‑Evolution, Deduplizierung, Partitionierung, Leistungsoptimierung)
Fortgeschrittene Python‑Engineering‑Fähigkeiten (Packaging, Dependency‑Management, Testing, Tooling)
Solide SQL‑Kenntnisse (komplexe Transformationen, Debugging, Performance‑Tuning)
Nachgewiesene Erfahrung mit CI/CD und Git‑basierten Workflows (Merge Requests, Branching‑Strategien, automatisierte Tests, Environment‑Promotion)
Fähigkeit, Probleme in verteilten Systemen zu diagnostizieren und zu lösen (Spark‑Ausführung, Cluster/Runtime‑Verhalten, Datenrichtigkeit)
Gutes Verständnis von Datenmodellierungsprinzipien und deren Einfluss auf Ingestion und Performance
Praktische Erfahrung bei der Anwendung von Data Governance und Sicherheitskontrollen in einer Lakehouse‑Umgebung
Ausgeprägte Kommunikationsfähigkeiten in Englisch (mündlich und schriftlich)
Erfahrung mit Azure Fabric (Notebooks, Spark, Delta Lake)
Erfahrung mit Azure Functions & Durable Functions (Orchestrierung, langläufige Workflows)
SQL‑Analyse‑ und Performance‑Tuning‑Fähigkeiten
Produktionsreife PySpark‑ und Python‑Kenntnisse
Erfahrung mit ADLS Gen2 (Lake‑Storage‑Design, Ordner-/Partitionierungsstrategie, Zugriffskontrollen, Lifecycle/Retention)
Git‑ und Code‑Review‑Workflow‑Erfahrung
Erfahrung mit CI/CD‑Pipelines (z.B. GitLab CI, Azure DevOps)
Testing‑Fähigkeiten: Unit‑/Integrationstests, Testdatenstrategien
Code‑Qualitätserfahrung: Linting/Formatting, statische Analyse, Type Hints
Packaging & Dependency‑Management‑Erfahrung
Kenntnisse über sichere Geheimnisverwaltung und Service‑Authentifizierungsmuster (Key Vault oder Äquivalent)
Erfahrung mit Event Grid / Azure Functions / ereignisgesteuerter Orchestrierung
Observability‑Fähigkeiten (strukturiertes Logging, Metriken, Alerting; Log Analytics oder Äquivalent)
Proaktiv, zuverlässig und fähig, selbstständig in agilen Teams zu arbeiten
Wünschenswerte Fähigkeiten
Erfahrung mit Unity Catalog
Über uns
Deutsche Telekom IT Solutions ist eine Tochtergesellschaft der Deutschen Telekom Gruppe und Ungarns attraktivster Arbeitgeber im Jahr 2025 (laut repräsentativer Umfrage von Randstad). Das Unternehmen bietet ein breites Portfolio an IT‑ und Telekommunikationsdienstleistungen mit mehr als 5300 Mitarbeitern.
Wir haben Hunderte von großen Kunden, Unternehmen in Deutschland und in anderen europäischen Ländern.
Wichtige Erfolge:
Erhielt 2019 die Auszeichnung Best in Educational Cooperation von HIPA
2019 als ethischstes multinationales Unternehmen anerkannt
Das Unternehmen entwickelt kontinuierlich seine vier Standorte in Budapest, Debrecen, Pécs und Szeged und sucht qualifizierte IT‑Fachkräfte, die seinem Team beitreten.
Weitere Details
Bitte beachte, dass unsere Möglichkeit zur Fernarbeit aufgrund der europäischen Steuervorschriften nur innerhalb Ungarns verfügbar ist.
#J-18808-Ljbffr