← Todas as vagasSenior Data Engineer– Snowflake & Iceberg
SeniorremoteBern, DEhá 3 d
Candidatar-se
Envie seu currículo: empregadores e recrutadores de vários países que procuram o seu perfil poderão falar com você diretamente.
Enviar seu currículo →Descrição
- ................
- Für unseren Kunden in Bern , suchen wir eine:n motivierte:n und aufgeschlossene:n Senior Data Engineer– Snowflake & Iceberg.
- Ziel des Projekts ist der Aufbau einer vollständigen, zuverlässigen und produktionsfähigen CDC-Lösung zur Synchronisation von TigerData nach Snowflake auf Basis von Apache Iceberg.
- Die Lösung soll hinsichtlich Zuverlässigkeit, Transparenz und Betriebsfähigkeit einen vergleichbaren Standard wie die bestehenden CDC-Prozesse mit Fivetran HVR erreichen,
Deine Aufgaben:
- Analyse und Bewertung des von TigerData bereitgestellten CDC-Ansatzes auf Basis von Apache Iceberg
- Definition und Konzeption einer geeigneten Zielarchitektur für die kontinuierliche Synchronisation von TigerData nach Snowflake
- Konfiguration und Optimierung von Snowflake für die Verarbeitung der über Apache Iceberg bereitgestellten Daten
- Konzeption und Implementierung der erforderlichen Iceberg-Komponenten und Datenstrukturen
- Sicherstellung einer zuverlässigen Verarbeitung von Inserts, Updates und Deletes
- Berücksichtigung von Schema Evolution, Datenkonsistenz, Datenlatenz, Recovery und Reconciliation
- Aufbau von Monitoring-, Logging- und Fehlerbehandlungsmechanismen für einen stabilen Produktionsbetrieb
- Technische Abstimmung mit TigerData und bei Bedarf direkt mit Snowflake
- Unterstützung bei der Implementierung, Validierung und Produktivsetzung der End-to-End-Lösung
- Dokumentation der technischen Architektur sowie Wissenstransfer an das interne Team
Dein Profil:
Mehrjährige pr
Descrição completa, empresa e link para se candidatar: depois de entrar.
EntrarOs contatos do empregador (e-mail/telefone/telegram) ficam ocultos na prévia pública.
Envie seu currículo para que os empregadores possam falar com você diretamente.