Zusammenfassung der Position:
Wir suchen einen hochqualifizierten und erfahrenen Data Engineer zur Verstärkung unseres Teams. Der Data Engineer ist für die Konzeption, Entwicklung und Wartung skalierbarer Datenpipelines und -systeme verantwortlich. Diese Rolle ist entscheidend für die Zusammenstellung komplexer Datensätze, die Verbesserung interner Prozesse durch Automatisierung und die Optimierung der Dateninfrastruktur für Skalierbarkeit und Effizienz. Der ideale Kandidat wird eng mit Data Scientists, Analysten und anderen Stakeholdern zusammenarbeiten, um Datenanalysen, Business Intelligence und KI-Initiativen zu unterstützen und eine hohe Datenqualität und -integrität im gesamten Unternehmen sicherzustellen.
Job Details:
- Montag bis Freitag | Nachtschicht
- Von zu Hause aus arbeiten
Zuständigkeiten:
- Entwurf, Entwicklung und Wartung skalierbarer Datenpipelines und -systeme.
- Zusammenstellung großer, komplexer Datensätze, die funktionalen und nicht-funktionalen Geschäftsanforderungen entsprechen.
- Identifizierung, Konzeption und Umsetzung interner Prozessverbesserungen: Automatisierung manueller Prozesse, Optimierung der Datenbereitstellung und Neugestaltung der Infrastruktur für eine bessere Skalierbarkeit.
- Aufbau der Infrastruktur, die für die optimale Extraktion, Transformation und das Laden (ETL) von Daten aus verschiedenen Datenquellen unter Verwendung von SQL- und Azure-Technologien erforderlich ist.
- Entwicklung und Pflege von Datenarchitekturen und Systemen zur Unterstützung von Datenanalysen, Business Intelligence und KI-Initiativen.
- Zusammenarbeit mit Datenwissenschaftlern, Analytikern und anderen Beteiligten, um bei datenbezogenen technischen Problemen zu helfen und deren Anforderungen an die Dateninfrastruktur zu unterstützen.
- Sicherstellung der Datenqualität und -integrität durch Datenbereinigung, -validierung und -analyse.
- Überwachung und Fehlerbehebung bei der Leistung und Zuverlässigkeit von Datenpipelines.
Anforderungen:
- Bachelor-Abschluss in Informatik, Ingenieurwissenschaften oder einem verwandten Fachgebiet.
- Nachgewiesene Erfahrung als Dateningenieur oder in einer ähnlichen Funktion.
- Gute SQL-Kenntnisse und Erfahrung mit relationalen Datenbanken (z. B. MySQL, PostgreSQL).
- Erfahrung mit Big-Data-Tools und -Rahmenwerken (z. B. Hadoop, Spark, Kafka).
- Beherrschung von Programmiersprachen wie Python, Java oder Scala.
- Umfassende Erfahrung mit Azure-Cloud-Diensten, einschließlich Azure Data Factory, Azure Databricks und Azure Synapse Analytics.
- Vertrautheit mit Data-Warehousing-Lösungen, insbesondere Microsoft Fabric.
- Ausgeprägte Problemlösungskompetenz und Liebe zum Detail.
- Ausgezeichnete Kommunikations- und Kooperationsfähigkeiten.
- Erfahrung in den Bereichen Datenanalyse und KI, einschließlich Datenvisualisierung, statistische Analyse, Prognosemodellierung und maschinelles Lernen.