Senior Data Engineer - Python

Opis posla:

Klijent traži iskusnog Senior Data inženjera sa snažnom ekspertizom u Pythonu za podršku naprednim inicijativama inženjeringa podataka u automobilskom okruženju. Ova uloga uključuje dizajniranje i održavanje robusnih podatkovnih cjevovoda, rad s velikim količinama testnih podataka i doprinos arhitekturi distribuiranih sustava. Idealni kandidat imat će jaku pozadinu u razvoju na razini poduzeća i praktično iskustvo s ETL procesima i cloud infrastrukturom.

Ključne odgovornosti:

• Dizajnirati, izgraditi i održavati skalabilne ETL/ELT cjevovode za obradu velikih količina automobilskih testnih podataka.
• Razviti visokokvalitetna rješenja temeljena na Pythonu koristeći napredne koncepte objektno orijentiranog programiranja i najbolje prakse.
• Upravljati složenim tokovima ingesta podataka, uključujući obradu specifičnih formata datoteka kao što su .sydata, .h5 i drugi formati testnih podataka.
• Surađivati s međufunkcionalnim timovima radi podrške rješenjima vođenim podacima unutar automobilskih testnih okruženja.
• Implementirati višeprocesorske i konkurentne tehnike za optimizaciju performansi sustava i učinkovitosti obrade podataka.
• Doprinijeti arhitekturi i razvoju distribuiranih sustava, osiguravajući skalabilnost i pouzdanost.
• Deployirati i upravljati aplikacijama u Windows Server okruženjima, uključujući deploy servisa i skripte za automatizaciju.
• Integrirati CI/CD cjevovode koristeći alate kao što je GitHub Actions za pojednostavljenje razvoja i procesa deploya.
• Pratiti i održavati performanse sustava koristeći frameworkove za logiranje i vizualizacijske alate poput Grafane.
• Raditi s različitim bazama podataka, osiguravajući učinkovito pohranjivanje, dohvaćanje i upravljanje podacima.
• Upravljati mrežnim datotečnim sustavima, uključujući NAS interakcije i SMB/CIFS protokole.

Potrebno ukupno iskustvo:

Senior razina iskustva u inženjeringu podataka, po mogućnosti u automobilskom ili testnom području, s dokazanom ekspertizom u razvoju programske podrške na razini poduzeća.

Obrazovni zahtjevi:

Diploma prvostupnika ili magistra iz računalnih znanosti, inženjeringa podataka, informacijske tehnologije ili srodnog područja (ili ekvivalentno industrijsko iskustvo).

Potrebne vještine:

• Jako znanje Pythona (verzije 3.9–3.11)
• Dobro razumijevanje principa objektno orijentiranog programiranja
• Praktično iskustvo s ETL/ELT cjevovodima i obradom velikih količina podataka
• Ekspertiza u SQL-u i Oracle bazi podataka
• Iskustvo s MongoDB
• Poznavanje distribuiranih sustava i arhitekture podataka
• Poznavanje Azure cloud servisa
• Iskustvo u automobilskom ili testnom okruženju

Poželjne / dodatne vještine:

• Iskustvo s domenno specifičnim frameworkovima za podatke kao što je Sympathy for Data
• Poznavanje okruženja temeljenih na Windowsima, uključujući PowerShell skriptiranje i deployment servisa
• Poznavanje CI/CD alata poput GitHub Actions i alata za upravljanje ovisnostima poput Poetry
• Iskustvo s alatima za logiranje i monitoring (npr. Grafana)
• Razumijevanje mrežnih datotečnih sustava, uključujući NAS, SMB i CIFS protokole

Potrebni jezici:

• Engleski (napredni)