Data Engineer (Databricks) – Kraków (Małopolskie), Polska

O Grupie Astek

Założona w 1988 roku we Francji Grupa Astek jest światowym partnerem w obszarze doradztwa inżynieryjnego oraz IT. Dzięki swojej wiedzy specjalistycznej w wielu sektorach przemysłowych i technologicznych, Astek wspiera międzynarodowych Klientów w rozwijaniu i wdrażaniu produktów oraz usług, jednocześnie uczestnicząc w ich transformacji cyfrowej.

Grupa Astek od momentu powstania opiera swój rozwój na kulturze przedsiębiorczości i innowacyjności oraz na budowaniu umiejętności swoich ponad 10 000 pracowników, którzy codziennie uczestniczą w zróżnicowanych projektach technologicznych i inżynieryjnych.

Dołącz do silnie rozwijającej się we Francji i na całym świecie Grupy, której obroty w 2024 r. wyniosły 705 milionów euro.

Zapraszamy na https://astek.net po więcej szczegółów. 

Stanowisko

Poszukujemy osoby z bardzo dobrą znajomością Azure Databricks (ADB) oraz Azure Data Factory (ADF), która dołączy do zespołu realizującego skalowalne rozwiązania data-platformowe w chmurze Azure.

Idealny kandydat/kandydatka to osoba techniczna, nastawiona na jakość, optymalizację wydajności oraz pracę z danymi batchowymi i strumieniowymi na poziomie produkcyjnym. 

Dodatkowe informacje

Praca w modelu hybrydowym: 3 dni pracy z biura w Krakowie, 2 dni zdalnie

Oferowane wynagrodzenie

140-190 zł/h, B2B

Sprawdzisz się w tej roli, jeżeli:

• Azure Databricks (ADB): PySpark, Spark SQL, Delta Lake, job clusters vs all-purpose clusters, workflows
• Azure Data Factory (ADF): pipeline’y, data flows, triggery, Integration Runtime, parametryzacja, orkiestracja
• Programowanie: Python i PySpark (modularność, obsługa błędów, testy jednostkowe)
• Batch & Streaming: Structured Streaming, checkpointing, watermarking, wzorce orkiestracji
• Optymalizacja wydajności: tuning Sparka, strategie partycjonowania, Parquet/Delta, cache/persistence, AQE, obsługa skew, optymalizacja joinów i shuffle
• SQL: zaawansowany SQL do transformacji, tuningu i debugowania
• Bazy danych / storage: relacyjne bazy danych (SQL Server, PostgreSQL) oraz ADLS Gen2
• Azure: ADLS, Key Vault, Event Hubs / Service Bus, podstawy sieci i IAM
• Kontrola wersji i CI/CD: Git (GitHub / Azure DevOps), pipeline’y build & release dla Databricks i ADF

Mile widziane:

• Delta Live Tables (DLT), Unity Catalog, Databricks Workflows
• Data Quality / Observability: Great Expectations, Monte Carlo lub podobne
• Modelowanie danych: schematy gwiazdy i płatka śniegu
• Orkiestracja: Airflow
• Messaging / Streaming: Kafka (Confluent), integracja Spark-Kafka
• Infrastructure as Code: Terraform / Bicep
• Optymalizacja kosztów w Azure Analytics
• Doświadczenie z ML pipelines, MLOps, feature stores

Zadania, które na Ciebie czekają:

• Projektowanie, budowa i utrzymanie potoków danych w Azure Data Factory (lub Synapse Pipelines) oraz Azure Databricks dla przetwarzania batchowego i strumieniowego
• Tworzenie skalowalnych rozwiązań przetwarzania danych w PySpark (preferowane Delta Lake)
• Implementacja pipeline’ów streamingowych (Structured Streaming, Event Hubs, Kafka) oraz niezawodnych workflow batchowych wraz z monitoringiem i alertami
• Optymalizacja wydajności Spark (partycjonowanie, cache, broadcast joins, AQE, tuning rozmiarów plików) oraz zarządzanie pamięcią i klastrami
• Modelowanie danych pod analitykę i ML (architektura medallion: bronze / silver / gold)
• Wdrażanie praktyk CI/CD i DevOps dla rozwiązań data engineeringowych
• Zapewnienie jakości danych, lineage i governance (np. Great Expectations, Deequ, Azure Purview)
• Współpraca z architektami danych, analitykami i zespołami produktowymi
• Tworzenie dokumentacji technicznej i materiałów do przekazywania wiedzy 

Nasz proces rekrutacji

Rozmowa z naszym Rekruterem -> Spotkanie z Klientem

W uzasadnionych przypadkach po rozmowie z Rekruterem wprowadzamy dodatkowy etap weryfikacji technicznej

Potrzebujesz więcej informacji? Skontaktuj się ze mną: adela.misiak@astek.net

Co oferujemy

• Długoterminowa współpraca
• Szkolenia techniczne, certyfikaty i podnoszenie kwalifikacji
• Mentoring Competence Center – bycie członkiem społeczności CC od pierwszego dnia pracy jest szansą na rozwijanie swoich umiejętności, uczestniczenie w różnych konferencjach oraz dzielenie się wiedzą i doświadczeniem z ludźmi, którzy na co dzień mierzą się z tymi samymi wyzwaniami
• Jasna ścieżka kariery
• Pakiet benefitów pracowniczych (Multisport, prywatna opieka medyczna, ubezpieczenie na życie)
• Przyjazną atmosferę pracy, imprezy integracyjne i spotkania team-buildingowe

System rekomendacji

Znasz kogoś, kogo zainteresuje ta oferta? Skorzystaj z naszego systemu rekomendacji i zgarnij bonus do 7000 zl!

Link: https://astek.pl/system-rekomendacji/

Klauzula informacyjna

Administratorem Pana/Pani danych osobowych jest ASTEK Polska sp. z o.o. z siedziba w Warszawie (00-133) przy Al. Jana Pawla II 22. Przysługuje Pani/Panu prawo do wglądu do danych, prawo żądania usunięcia danych itp. Szczegółowe informacje dotyczace przetwarzania:
https://astek.pl/polityka-prywatnosci

W dowolnym momencie przysługuje Panu/Pani prawo do wycofania wyrażonych zgód. W razie wycofania zgód prosimy o kontakt e-mailowy na adres privacy@astek.pl lub pisemnie na adres administratora.

Procedura dokonywania zgłoszeń przez sygnalistów w ASTEK Polska sp. z o. o.: https://astek.pl/sygnalisci/

Nr ref

AO219775