Senior Data Engineer - Python

Opis posla:

Kupac traži iskusnog Senior Data inženjera sa snažnim znanjem Pythona za podršku naprednim inicijativama u oblasti inženjeringa podataka u automotiv okruženju. Ova uloga uključuje dizajniranje i održavanje robusnih tokova podataka, rad sa velikim količinama testnih podataka i doprinos arhitekturi distribuiranih sistema. Idealan kandidat će imati značajno iskustvo u razvoju na nivou preduzeća i praktično iskustvo sa ETL procesima i cloud infrastrukturom.

Ključne odgovornosti:

• Dizajnirati, izgraditi i održavati skalabilne ETL/ELT tokove podataka za obradu velikih količina automotiv testnih podataka.
• Razvijati visokokvalitetna rješenja bazirana na Pythonu koristeći napredne koncepte objektno-orijentisanog programiranja i najbolje prakse.
• Upravljati složenim tijekovima unosa podataka, uključujući obradu domenski specifičnih formata datoteka kao što su .sydata, .h5 i drugi testni formati podataka.
• Sarađivati sa višedisciplinskim timovima na podršci rješenjima vođenim podacima unutar automotiv testnog okruženja.
• Implementirati tehnike multiprocesiranja i konkurentnosti za optimizaciju performansi sistema i efikasnosti obrade podataka.
• Doprinositi arhitekturi i razvoju distribuiranih sistema, osiguravajući skalabilnost i pouzdanost.
• Raspoređivati i upravljati aplikacijama u Windows Server okruženjima, uključujući deployment usluga i skripte za automatizaciju.
• Integrisati CI/CD tokove koristeći alate poput GitHub Actions radi efikasnijeg razvoja i deploymenta.
• Pratiti i održavati performanse sistema koristeći frameworkove za evidentiranje i alate za vizualizaciju poput Grafane.
• Raditi sa različitim tehnologijama baza podataka, osiguravajući efikasno skladištenje, pronalaženje i upravljanje podacima.
• Upravljati mrežnim fajl sistemima, uključujući NAS interakcije i SMB/CIFS protokole.

Potrebno ukupno iskustvo:

Iskustvo na seniorskom nivou u inženjeringu podataka, poželjno unutar automotiv ili testnih domena, sa dokazanim iskustvom u razvoju softvera na nivou preduzeća.

Obrazovni zahtjevi:

Diploma prvog ili drugog ciklusa iz računarstva, inženjeringa podataka, informacionih tehnologija ili srodne oblasti (ili ekvivalentno industrijsko iskustvo).

Potrebne vještine:

• Snažno znanje Pythona (verzije 3.9–3.11)
• Čvrsto razumijevanje objektno-orijentisanog programiranja
• Praktično iskustvo sa ETL/ELT tokovima podataka i obradom velikih količina podataka
• Stručnost u SQL i Oracle Database
• Iskustvo rada sa MongoDB
• Poznavanje distribuiranih sistema i arhitekture podataka
• Poznavanje Azure cloud servisa
• Iskustvo u automotiv ili testno orijentisanim okruženjima

Poželjne / dodatne vještine:

• Iskustvo sa domenski specifičnim frameworkovima podataka poput Sympathy for Data
• Poznavanje Windows baziranih okruženja, uključujući PowerShell skripte i deployment usluga
• Poznavanje CI/CD alata poput GitHub Actions i alata za upravljanje zavisnostima poput Poetry
• Iskustvo sa alatima za evidentiranje i praćenje (npr. Grafana)
• Razumijevanje mrežnih fajl sistema, uključujući NAS, SMB i CIFS protokole

Potrebni jezici:

• Engleski (napredni nivo)