Azure Data Databricks Engineer

Be in IT to firma rekrutacyjna, wyspecjalizowana w poszukiwaniu Specjalistów z branży technologii informatycznych. Obecnie, dla naszego klienta, poszukujemy osoby na stanowisko Azure Data Databricks Engineer.

• Długofalowa współpraca z międzynarodową, topową firmą consultingową, świadczącą usługi IT dla dużych i średnich firm z sektora finansowego i zarządzania ryzykiem.
• Projektowanie, budowanie i utrzymywanie data pipeline'ów z wykorzystaniem Pythona, PySpark i SQL.
• Rozwijanie i operowanie rozwiązaniami danych na platformie Databricks Lakehouse.
• Tworzenie i zarządzanie workflowami przy użyciu Apache Airflow.
• Implementacja procesów CI/CD z wykorzystaniem Azure DevOps i Azure Pipelines.
• Praca z Git w oparciu o pull requesty i feature-branch workflows.
• Automatyzacja i monitoring zadań przetwarzania danych (m.in. Databricks Lakeflow Jobs).
• Pakowanie, wdrażanie i zarządzanie rozwiązaniami za pomocą Databricks Asset Bundles.
• Zapewnianie jakości danych poprzez testowanie i automatyzację (pytest, pre-commit hooks).
• Korzystanie ze skonteneryzowanych środowisk deweloperskich (Devcontainers, rozszerzenia VS Code).
• Ścisła współpraca z zespołami inżynieryjnymi, analitycznymi i biznesowymi w celu dostarczania niezawodnych i efektywnych rozwiązań danych.

• Minimum 8 lat doświadczenia zawodowego w obszarze inżynierii danych lub pokrewnym.
• Zaawansowanej znajomości Pythona, w tym PySpark, pytest, pre-commit oraz menedżera pakietów uv.
• Praktycznego doświadczenia z platformą Databricks (Lakehouse, Lakeflow Jobs, Databricks Asset Bundles).
• Bardzo dobrej znajomości SQL.
• Doświadczenia w pracy z Apache Airflow.
• Praktycznej znajomości Azure DevOps i Azure Pipelines.
• Doświadczenia z platformą chmurową Microsoft Azure.
• Biegłej obsługi Git (pull requesty, feature branch to main branch workflows).
• Ugruntowanej wiedzy z zakresu nowoczesnych praktyk data engineeringu i DevOps.
• Mile widziane: doświadczenie we współpracy z instytucjami finansowymi.
• Mile widziane: znajomość metodyk Agile (Scrum, Kanban).
• Mile widziane: doświadczenie z wielkoskalowymi platformami danych i architekturami cloud-native.
• Mile widziane: doświadczenie w monitoringu i wsparciu operacyjnym data pipeline'ów.
• Gotowości do pracy w modelu hybrydowym (1 dzień w tygodniu w biurze klienta w Warszawie lub w Poznaniu lub we Wrocławiu) z elastycznością w ustaleniu harmonogramu.
• Znajomości języka angielskiego na poziomie B2 lub C1 – umożliwiającej swobodną komunikację w międzynarodowym środowisku.
• Mile widziana dostępność ASAP; akceptowalny jest maksymalnie miesięczny okres wypowiedzenia ze skutkiem na koniec miesiąca.

• Długofalowa współpraca z wynagrodzeniem w przedziale 130-160 PLN netto/godz. + VAT.
• Wsparcie przy zakładaniu i prowadzeniu działalności gospodarczej, dla osób bez takiego doświadczenia. 
• Sprawny proces rekrutacyjny - dwie rozmowy techniczne z managerami, online (każda maksymalnie po godzinie). 
• Współpraca w modelu hybrydowym w wymiarze 1 dnia w tygodniu z biura w Warszawie lub w Poznaniu lub we Wrocławiu. 
• Benefity - prywatna opieka medyczna, karta Multisport. 
• Nowoczesny sprzęt zapewniany przez firmę, wraz z softem i konfiguracją.