Starszy inżynier danych / Python

Opis stanowiska:

Klient poszukuje doświadczonego starszego inżyniera danych z silną wiedzą w zakresie Pythona, który wesprze zaawansowane inicjatywy z zakresu inżynierii danych w środowisku motoryzacyjnym. Rola obejmuje projektowanie i utrzymanie solidnych potoków danych, pracę z danymi testowymi na dużą skalę oraz wkład w architekturę systemów rozproszonych. Idealny kandydat będzie miał doświadczenie w rozwoju na poziomie korporacyjnym oraz praktyczną znajomość procesów ETL i infrastruktury chmurowej.

Kluczowe obowiązki:

• Projektowanie, budowanie i utrzymanie skalowalnych potoków ETL/ELT do przetwarzania dużych ilości danych testowych z branży motoryzacyjnej.
• Tworzenie wysokiej jakości rozwiązań w Pythonie z wykorzystaniem zaawansowanych koncepcji programowania obiektowego i najlepszych praktyk.
• Obsługa złożonych procesów pozyskiwania danych, w tym przetwarzanie formatów plików specyficznych dla domeny, takich jak .sydata, .h5 i inne formaty danych testowych.
• Współpraca z zespołami międzyfunkcyjnymi w celu wspierania rozwiązań opartych na danych w środowiskach testowania motoryzacyjnego.
• Implementacja technik wieloprocesowości i współbieżności w celu optymalizacji wydajności systemu i efektywności przetwarzania danych.
• Wkład w architekturę i rozwój systemów rozproszonych, zapewniając skalowalność i niezawodność.
• Wdrażanie i zarządzanie aplikacjami w środowiskach Windows Server, w tym wdrażanie usług i skryptowanie automatyzacji.
• Integracja potoków CI/CD z wykorzystaniem narzędzi takich jak GitHub Actions w celu usprawnienia procesów rozwoju i wdrażania.
• Monitorowanie i utrzymanie wydajności systemu za pomocą frameworków do logowania i narzędzi wizualizacyjnych, takich jak Grafana.
• Praca z różnymi technologiami baz danych, zapewniająca efektywne przechowywanie, wyszukiwanie i zarządzanie danymi.
• Zarządzanie sieciowymi systemami plików, w tym interakcjami NAS i protokołami SMB/CIFS.

Wymagane całkowite doświadczenie:

Doświadczenie na poziomie seniorskim w inżynierii danych, najlepiej w branży motoryzacyjnej lub testowej, z udokumentowaną wiedzą w zakresie tworzenia oprogramowania korporacyjnego.

Wymagania edukacyjne:

Dyplom licencjata lub magistra w informatyce, inżynierii danych, technologiach informacyjnych lub pokrewnej dziedzinie (lub równoważne doświadczenie branżowe).

Wymagane umiejętności:

• Biegła znajomość Pythona (wersje 3.9–3.11)
• Solidne zrozumienie zasad programowania obiektowego
• Praktyczne doświadczenie z potokami ETL/ELT i przetwarzaniem danych na dużą skalę
• Wiedza w zakresie SQL i bazy Oracle
• Doświadczenie z MongoDB
• Znajomość systemów rozproszonych i architektury danych
• Znajomość usług chmurowych Azure
• Doświadczenie w środowiskach motoryzacyjnych lub testowych

Preferowane / Dodatkowe umiejętności:

• Doświadczenie z frameworkami danych specyficznymi dla domeny, takimi jak Sympathy for Data
• Znajomość środowisk Windows, w tym skryptowania PowerShell i wdrażania usług
• Znajomość narzędzi CI/CD, takich jak GitHub Actions i narzędzi do zarządzania zależnościami, takich jak Poetry
• Doświadczenie z narzędziami do logowania i monitorowania (np. Grafana)
• Rozumienie sieciowych systemów plików, w tym protokołów NAS, SMB i CIFS

Wymagane języki:

• Angielski (biegły)