Senior Data Engineer für Öffentlichen Auftraggeber

Wir suchen für einen Kunden aus dem öffentlichen Umfeld einen Senior Data Engineer ab Januar in Vollzeit.

Ort: Berlin / Remote
Umfang: 01/2023 - 04/2024 (325 PT)

Tätigkeiten:
* Entwurf, Entwicklung, Test und Monitoring von Prozessen zur Extraktion, Transformation und Laden von Daten aus Quellsystemen in das Data Warehouse und in den Data Lake (ETL-Pipelines),
* Entwicklung, Orchestration und Monitoring von Airflow DAGs,
* Analyse der neu anzubindenden verschiedenartig strukturierten Datenquellen,
* Entwicklung und Optimierung von PL/SQL-Abfragen sowie Implementierung/Erweiterung von Datenmodellen für eine optimale Daten-und Reportingarchitektur,
* Gestaltung automatisierter Qualitätsprozesse zur Sicherstellung der Software- und Datenqualität sowie der Datenverfügbarkeit zur Einhaltung von Service Level Agreements,
* Analyse und Optimierung der aktuellen Lösungen, des physischen Modells sowie der Abfragen,
* Entwicklung von PoCs um Use Cases, z.B.im Bereich der Streaming-Technologien, zu erproben.

VORAUSSETZUNGEN:

Zwingend erforderliche Kenntnisse / Erfahrungen:
* PL/SQL
* Python
* Airflow,
* Bash/Shell
* Datenmodellierung/Datenarchitektur
* Orchestrierung mit Kafka
* Softwareentwicklung (insgesamt 3 Jahre Erfahrung),
* agile Methodenkenntnisse (z.B. SCRUM) und agiles Mindset,
* sehr gute Deutsch- (C2) und Englischkenntnisse (B2)

Wünschenswerte Kenntnisse:
* DataVault 2.0 Konzept und Implementierung,
* Lambda/Kappa Architekturen,
* Streaming Konzepte und Implementierung,
* Kubernetes für Deployment von Services,
* Aufsetzen und Optimierung von Enterprise Data Warehouse Systemen,
* Data Lake Konzeption und Entwicklung (S3),
* Query Engines aufsetzen und optimieren (Trino).

Arbeit aus dem Ausland ist auch temporär nicht möglich.

Ihre Vorteile in der Zusammenarbeit mit uns:
*30 Tage Zahlungsziel ohne Mehrkosten (kürzere Zahlungsziele mit Skonto möglich) und rechtzeitige Bezahlung garantiert
*Unterstützung bei der Auftragsakquisition und Übernahme der gesamten Administration
*Briefings im Vorfeld von Kundeninterviews
*kurze Kommunikationswege durch feste Ansprechpartner bei uns