Spark/Data Engineer

lokalizacja: model hybrydowy: 1-2 dni/tydzień stacjonarnie z biura w Gdańsku/Gdyni/Warszawie

stawka: do 1050-1120 zł netto + VAT / dzień / B2B (możliwa również UoP)

branża klienta: finansowa

Obowiązki:

• Projektowanie i wdrażanie kompleksowych rozwiązań w zakresie danych i analityki
• Tworzenie zadań dla Hurtowni Danych Handlowych z wykorzystaniem Spark, Python i Java/Scala
• Opracowywanie procesów pobierania, ładowania i przekształcania danych
• Opracowywanie skryptów SQL do analizy i walidacji różnych produktów danych
• Strumieniowanie danych / integracja danych: Spark, Kafka, Hadoop, Oracle
• Aktywna współpraca z Product Ownerem, Architektami Rozwiązań, Analitykami, Testerami, Programistami i Działem Operacyjnym
• Praca w zespole DevOps Agile

Wymagania:

•  Minimum 3 lata doświadczenia na podobnym stanowisku
• Doświadczenie w Spark, Hadoop i systemach rozproszonych
• Doświadczenie w programowaniu w języku Java/Scala, Python i SQL
• Umiejętności inżynierii oprogramowania w zakresie CI/CD, TDD, testów jednostkowych i testów E2E
• Doświadczenie w pracy z Docker, znajomość Kubernetes jest dodatkowym atutem

Mile widziane:

•  Doświadczenie w strumieniowym przesyłaniu danych, np. Kafka
•  Dobrej znajomości i doświadczenia w zakresie hurtowni danych, business intelligence (BI) i analityki jako programista
•  Znajomość analizy systemowej, projektowania i cykli rozwoju oprogramowania
•  Umiejętność komunikacji z interesariuszami biznesowymi i rozproszonymi zespołami globalnymi
•  Doświadczenie w obszarze handlu / rynków kapitałowych jest dodatkowym atutem, ale nie jest wymagane