Senior Databricks Data Engineer

Be in IT to firma rekrutacyjna, wyspecjalizowana w poszukiwaniu Specjalistów z branży technologii informatycznych. Obecnie, dla naszego klienta, poszukujemy osoby na stanowisko Senior Databricks Data Engineer.

• Długofalowa współpraca z międzynarodową, topową firmą consultingową, świadcząca usługi IT dla dużych i średnich firm z różnorodnych sektorów jak automotive, healthcare, finanse, bankowość czy produkcja.
• Projektowanie, tworzenie i utrzymywanie data pipeline'ów wspierających inicjatywy business intelligence i analityczne.
• Modelowanie danych oraz implementacja wzorców SCD2 (Slowly Changing Dimensions Type 2) w zgodzie z najlepszymi praktykami inżynierii danych.
• Praca w środowisku Databricks do tworzenia skalowalnych rozwiązań przetwarzania danych.
• Implementacja procesów transformacji danych przy użyciu PySpark w rozproszonych środowiskach obliczeniowych.
• Konfiguracja i optymalizacja usług Azure dedykowanych inżynierii danych (m.in. Data Factory, Synapse Analytics).
• Zarządzanie workflow'ami i orkiestracja pipeline'ów przy wykorzystaniu Azure DevOps.
• Zapewnienie jakości danych poprzez implementację narzędzi kontroli i monitorowania.
• Wykonywanie zaawansowanych zapytań SQL pod kątem optymalizacji wydajności oraz analizy danych.
• Wdrażanie rozwiązań zgodnie z zasadami governance i best practices w zakresie bezpieczeństwa danych.

• Kilkuletnie doświadczenie w inżynierii danych (modelowanie danych, przepływów danych, SCD2), w tym biegłości pracy w Databricks i implementacji rozwiązań na tej platformie.
• Doświadczenia pracy w Azure DevOps.
• Zaawansowanej znajomości SQL do optymalizacji zapytań oraz projektowania schematów baz danych.
• Znajomości pracy z Python do automatyzacji oraz pisania skryptów do przetwarzania danych.
• Doświadczenia w PySpark do przetwarzania dużych zbiorów danych.
  Znajomości usług Azure - Data Factory, Synapse Analytics, Data Lake Storage.
• Mentalności Data Engineer'a - zaangażowania w budowanie skalowalnych, niezawodnych systemów oraz baz danych.
• Doświadczenia współpracy w międzynarodowym, rozproszonym środowisku.
• Gotowości do pracy w modelu hybrydowym (4 razy w miesiącu w biurze Klienta w dowolnie wybranej lokalizacji: w Warszawie przy ul. Żwirki i Wigury lub we Wrocławiu przy ul. Legnickiej lub w Poznaniu przy ul. Kolorowej).
• Znajomości języka angielskiego na poziomie B2 lub C1 – umożliwiająca swobodną komunikację w międzynarodowym środowisku.
• Mile widziana jest dostępność ASAP; akceptowalny jest maksymalnie miesięczny okres wypowiedzenia, ze skutkiem na koniec miesiąca.

• Długofalowa współpraca z wynagrodzeniem w przedziale 130-160 PLN netto/godz. + VAT.
• Wsparcie przy zakładaniu i prowadzeniu działalności gospodarczej, dla osób bez takiego doświadczenia. 
• Sprawny proces rekrutacyjny - dwie rozmowy techniczne z managerami, online (każda maksymalnie po godzinie). 
• Współpraca w godzinach 9:00-17:00, możliwa lekka elastyczność. 
• Współpraca hybrydowa - 4 razy w miesiącu w biurze Klienta w dowolnie wybranej lokalizacji: w Warszawie przy ul. Żwirki i Wigury lub we Wrocławiu przy ul. Legnickiej lub w Poznaniu przy ul. Kolorowej. 
• Benefity - prywatna opieka medyczna, karta Multisport. 
• Nowoczesny sprzęt zapewniany przez firmę, wraz z softem i konfiguracją.