Architekt (m/w/d) zum Aufbau Data Lake (Apache Spark, Scala, Hadoop, AWS)

- Du verfügst über Architektur- und Umsetzungskenntnisse zu relationalen Datenbanken, SQL, ETL und BI-Werkzeuge (praktische Erfahrung in mindestens 3 Projekten im Big Data Umfeld sowie im Aufbau und der Umsetzung eines Data Lakes).
- Du hast Erfahrung in der konzeptionellen Unterstützung und Implementierung von automatisierten Testfällen (TDD und BDD) (nachweisbare Erfahrung in der Implementierung von automatisierten Testfällen (Unit- und Integrationstests) mit entsprechender Kenntnis gängiger Bibliotheken).
- Du hast starke analytische und konzeptionelle Fähigkeiten (nachweisbare Erfahrung in der Analyse und konzeptionellen Umsetzung komplexer Use Cases in mindestens 2 Data Lake Projekten).
- Programmierkenntnisse mit Spark/Scala sind erforderlich (nachweisbare Erfahrungen in mindestens 2 Projekten in der Umsetzung von komplexen Datentransformation mit Spark/Scala als Lead Entwickler).
- Zudem hast Du Architektur- und Umsetzungskenntnisse im AWS Stack (z.B. ECS, EMR, Athena, Glue, RedShift, Kinesis oder MSK, Lambda, Python) (nachweisbare Erfahrung in mindestens 2 Projekten im Big Data Umfeld und der Umsetzung im AWS Stack).

IHRE AUFGABEN

- Du bist für die Konzeption und Architektur der technischen Umsetzung eines fachlichen Use Cases für ein Data Lake mit Nutzung von Apache Spark/Scala auf Basis von Hadoop und AWS Technologien verantwortlich.
- Die Implementierung von Datenflüssen und komplexen Datentransformationen gehört ebenfalls zu Deinen Aufgaben.
- Weiterhin bist Du für die konzeptionelle Unterstützung und Implementierung von CI/CD Pipelines und automatisierten Testfällen zuständig.
- Du unterstützt bei der Definition der funktionalen und nicht funktionalen Anforderungen in Form von User Stories sowie der Umsetzung der Anforderungen im engen Austausch mit dem Fachbereich und den Business Analysten.
- Du bist für die Erstellung der technischen Dokumentation verantwortlich.

IHR ANSPRECHPARTNER

Elif Akcan
Telefon: +49 6102 8235 768
E-Mail: [email protected]