Senior Data Databricks Engineer

Be in IT specjalizuje się w kompleksowej rekrutacji specjalistów IT dla polskich i międzynarodowych firm. Wspieramy klientów w pozyskiwaniu ekspertów z obszarów software development, AI, data, cloud, cybersecurity, ERP, CRM oraz zarządzania IT.

Stawiamy na znajomość technologii, przejrzystą komunikację i partnerskie podejście, dzięki którym skutecznie dopasowujemy kandydatów do potrzeb organizacji i realizowanych projektów.

Obecnie dla naszego klienta poszukujemy osoby na stanowisko: Senior Data Databricks Engineer.

• Długofalowa współpraca z międzynarodową, topową firmą consultingową, świadczącą usługi IT dla dużych i średnich firm z różnorodnych sektorów przy projekcie skupionym na budowie i optymalizacji nowoczesnych platform danych w Azure oraz Databricks.
• Projektowanie, rozwój i utrzymanie skalowalnych pipeline'ów danych oraz przetwarzanie dużych wolumenów danych dla rozwiązań analitycznych, krytycznych dla biznesu.
• Rozwój i utrzymanie potoków danych w Azure Data Factory (ADF) oraz zadań w Databricks Jobs.
• Tworzenie i integracja rozwiązań w języku Python z wykorzystaniem programowania obiektowego oraz wzorców projektowych (Factory, pipeline).
• Praca z technologiami PySpark, Delta Lake, Spark SQL oraz Azure Data Lake Storage Gen2.
• Integracja z bazami PostgreSQL oraz przetwarzanie danych szeregów czasowych (dane GPS i parametryczne).
• Stosowanie wzorców Slowly Changing Dimensions (SCD) oraz technologii CDC (Change Data Capture) i ładowania przyrostowego.
• Optymalizacja wydajności Spark w oparciu o wymogi SLA oraz konfiguracja Adaptive Query Execution (AQE).
• Realizacja wzorców migracji z SSIS do nowoczesnej architektury chmurowej.
• Wykorzystywanie narzędzia GitHub Copilot w codziennym procesie deweloperskim.

• Minimum 4 lata doświadczenia w obszarze Data Engineering, w tym minimum 2 lata praktycznego doświadczenia z Databricks oraz Delta Lake w środowiskach produkcyjnych.
• Minimum 2 lata doświadczenia w tworzeniu i utrzymaniu pipeline'ów Azure Data Factory (ADF).
• Bardzo dobrej znajomości PySpark, Delta Lake, Spark SQL oraz Databricks Jobs.
• Doświadczenia w budowaniu skalowalnych i wysokowydajnych rozwiązań danych na platformie Azure.
• Głębokiego zrozumienia modelowania danych, procesów ETL/ELT oraz zasad nowoczesnej architektury danych.
• Mile widziane doświadczenie w pracy w zespołach Agile/Scrum oraz znajomość praktyk CI/CD dla platform danych.
• Mile widziana znajomość chmurowych rozwiązań danych, narzędzi do automatyzacji oraz silne umiejętności komunikacyjne i współpraca z interesariuszami.
• Znajomość języka angielskiego na poziomie B2 lub C1 – umożliwiająca swobodną komunikację w międzynarodowym środowisku.
• Gotowość do pracy w modelu hybrydowym (wymagana obecność w biurze klienta 2 dni w tygodniu we Wrocławiu).
• Mile widziana dostępność ASAP; akceptowalny jest maksymalnie miesięczny okres wypowiedzenia ze skutkiem na koniec miesiąca.

• Długofalowa współpraca z wynagrodzeniem w przedziale 130 - 150 PLN netto/godz. + VAT.
• Wsparcie przy zakładaniu i prowadzeniu działalności gospodarczej, dla osób bez takiego doświadczenia. 
• Sprawny proces rekrutacyjny - dwie rozmowy techniczne z managerami, online (każda maksymalnie po godzinie). 
• Współpraca w modelu hybrydowym w wymiarze 2 dni w tygodniu z biura we Wrocławiu. 
• Benefity - prywatna opieka medyczna, karta Multisport. 
• Nowoczesny sprzęt zapewniany przez firmę, wraz z softem i konfiguracją.