Starszy inżynier danych

Opis stanowiska

Nasz klient poszukuje wysoko wykwalifikowanego starszego inżyniera danych do wspierania zaawansowanych inicjatyw w zakresie przetwarzania danych i inżynierii w środowisku motoryzacyjnym przedsiębiorstwa. Rola koncentruje się na projektowaniu i optymalizacji solidnych potoków danych, obsłudze dużych zbiorów danych testowych oraz tworzeniu architektur systemów rozproszonych.

Idealny kandydat będzie posiadać silną wiedzę w zakresie programowania w Pythonie, praktyk inżynierii danych i infrastruktury chmurowej, a także doświadczenie w pracy w złożonych środowiskach produkcyjnych.

Kluczowe obowiązki

• Projektowanie, rozwijanie i utrzymywanie skalowalnych potoków ETL/ELT do przetwarzania dużych zbiorów danych
• Zarządzanie pozyskiwaniem i transformacją danych testowych o dużej objętości w wielu formatach
• Budowanie i optymalizacja rozproszonych systemów przetwarzania danych z naciskiem na wydajność i niezawodność
• Implementacja rozwiązań zorientowanych obiektowo z wykorzystaniem zaawansowanych wzorców programowania i technik współbieżności
• Współpraca z zespołami międzyfunkcyjnymi na rzecz wspierania aplikacji i przepływów pracy opartych na danych
• Wdrażanie i zarządzanie aplikacjami w środowiskach Windows Server
• Rozwijanie i utrzymywanie potoków CI/CD z wykorzystaniem narzędzi takich jak GitHub Actions
• Monitorowanie wydajności systemu i wdrażanie rozwiązań logowania, w tym integracja z narzędziami monitorującymi takimi jak Grafana
• Obsługa operacji na systemie plików, w tym konfiguracje dysków sieciowych i interakcji z NAS
• Zapewnienie efektywnej integracji i zarządzania bazami danych, w tym Oracle, SQL i MongoDB

Wymagane doświadczenie

• Doświadczenie seniora w inżynierii danych lub pokrewnych rolach
• Silne praktyczne doświadczenie w rozwijaniu potoków ETL klasy produkcyjnej
• Sprawdzone doświadczenie w projektowaniu systemów rozproszonych i obsłudze przetwarzania danych na dużą skalę
• Doświadczenie w środowiskach korporacyjnych, najlepiej w branży motoryzacyjnej lub testowej
• Solidne zrozumienie technik współbieżności, wieloprocesowości i optymalizacji wydajności
• Znajomość środowisk wdrożeniowych i systemowych opartych na Windows

Wymagane umiejętności

• Zaawansowana znajomość języka Python (3.9–3.11)
• Silna znajomość zasad programowania obiektowego
• Doświadczenie z potokami ETL/ELT i pozyskiwaniem danych na dużą skalę
• Biegłość w SQL i technologiach bazodanowych, w tym Oracle i MongoDB
• Praktyczne doświadczenie z Microsoft Azure
• Znajomość praktyk i narzędzi CI/CD (np. GitHub Actions)
• Znajomość przetwarzania plików w wielu formatach danych
• Doświadczenie z PowerShell i wdrażaniem usług Windows

Preferowane / dodatkowe umiejętności

• Doświadczenie z branżowymi frameworkami danych (np. Sympathy for Data)
• Znajomość systemów stanowisk testowych w motoryzacji i powiązanych przepływów pracy
• Zrozumienie sieciowych systemów plików (SMB/CIFS, NAS)
• Doświadczenie z rozwiązaniami logowania i monitorowania na poziomie systemu plików i infrastruktury

Wykształcenie

• Dyplom licencjata lub magistra w dziedzinie informatyki, inżynierii danych lub pokrewnej

Wymagania językowe

• Angielski – biegłość zawodowa