Kafka Engineer
- Doświadczenie
- od 4 lat
- Praktyki
- CI/CD, DevOps, Kanban, Scrum
Poszukujemy doświadczonego Kafka Engineera z dogłębną znajomością Confluent Platform, Confluent Kafka oraz Confluent Cloud , który będzie uczestniczył w budowie hybrydowego środowiska Kafka łączącego klastry on-premise i AWS . Projekt obejmuje: budowę rozwiązania Kafka w chmurze AWS, w tym m.in . Aurora, MSK, EKS , implementację replikacji danych pomiędzy klastrami on-premise i AWS z wykorzystaniem Mirror
Maker 2, Cluster Linking oraz Confluent Replicator , stworzenie procesów CI/CD oraz rozwiązań Infrastructure-as-Code dla środowiska AWS, zapewnienie wysokiej dostępności, bezpieczeństwa, monitoringu oraz odpowiedniej wydajności platformy. Zakres obowiązków 1. Architektura i projektowanie Projektowanie hybrydowej topologii Kafka ( on-premise ↔ AWS ).
Dobór i konfiguracja komponentów Confluent Platform , m.in .: Schema Registry, Flink, Control Center, Tableflow. Projektowanie architektury zapewniającej wysoką dostępność, bezpieczeństwo i skalowalność. 2.
Budowa środowiska AWS Tworzenie i konfiguracja klastrów Kafka, w tym Amazon MSK oraz Confluent Cloud . Konfiguracja niezbędnych usług AWS, m.in .: VPC, IAM, EC2, EKS, S3, KMS, Secrets Manager. Integracja komponentów Kafka z istniejącą infrastrukturą on-premise.
3. Replikacja i synchronizacja danych Implementacja i konfiguracja: Mirror
Maker 2 , Cluster Linking , Confluent Replicator . Zapewnienie spójności danych pomiędzy środowiskami on-premise i AWS. Optymalizacja mechanizmów replikacji pod kątem wydajności i niskich opóźnień.