Senior Data Inženjer - Python

Opis posla:

Klijent traži iskusnog Senior Data Inženjera sa jakim znanjem Pythona za podršku naprednim inicijativama u oblasti inženjeringa podataka unutar automobilskog okruženja. Ova uloga podrazumijeva dizajniranje i održavanje robusnih data pipeline-ova, rad sa velikim količinama testnih podataka i doprinos arhitekturi distribuiranih sistema. Idealni kandidat će imati snažno iskustvo u razvoju na nivou preduzeća i praktično iskustvo sa ETL procesima i cloud infrastrukturom.

Ključne odgovornosti:

• Dizajniranje, izgradnja i održavanje skalabilnih ETL/ELT pipeline-ova za obradu velikih količina automobilskih testnih podataka.
• Razvoj visokokvalitetnih rješenja zasnovanih na Pythonu koristeći napredne koncepte objektno-orijentisanog programiranja i najbolje prakse.
• Upravljanje složenim radnim tokovima za unos podataka, uključujući obradu domen-specifičnih formata datoteka kao što su .sydata, .h5 i drugih formata testnih podataka.
• Saradnja sa više timova radi podrške rješenjima vođenim podacima unutar automobilskih testnih okruženja.
• Implementacija tehnika multiprocesiranja i konkurentnosti radi optimizacije performansi sistema i efikasnosti obrade podataka.
• Doprinos arhitekturi i razvoju distribuiranih sistema, osiguravajući skalabilnost i pouzdanost.
• Implementacija i upravljanje aplikacijama u Windows Server okruženjima, uključujući deployment usluga i skriptovanje za automatizaciju.
• Integracija CI/CD pipeline-ova koristeći alate kao što je GitHub Actions radi pojednostavljenja razvoja i procesa implementacije.
• Praćenje i održavanje performansi sistema koristeći okvire za evidentiranje i vizuelizacijske alate poput Grafane.
• Rad sa različitim tehnologijama baza podataka, osiguravajući efikasno skladištenje, pronalaženje i upravljanje podacima.
• Upravljanje mrežnim sistemima datoteka, uključujući NAS interakcije i SMB/CIFS protokole.

Potrebno ukupno iskustvo:

Iskustvo na višem nivou u inženjeringu podataka, poželjno u automobilskom ili testnom domenu, sa dokazanim znanjem u razvoju softvera na nivou preduzeća.

Obrazovni zahtjevi:

Diploma bakalaureata ili mastera iz računarskih nauka, inženjeringa podataka, informacionih tehnologija ili srodnih oblasti (ili ekvivalentno industrijsko iskustvo).

Neophodne vještine:

• Izuzetno poznavanje Pythona (verzije 3.9–3.11)
• Dobro razumijevanje principa objektno-orijentisanog programiranja
• Praktično iskustvo sa ETL/ELT pipeline-ovima i obradom velikih količina podataka
• Stručnost u SQL-u i Oracle bazi podataka
• Iskustvo u radu sa MongoDB
• Poznavanje distribuiranih sistema i arhitekture podataka
• Poznavanje Azure cloud servisa
• Iskustvo u automobilskom ili testnom okruženju

Poželjne/Dodatne vještine:

• Iskustvo sa domen-specifičnim okvirima za podatke kao što je Sympathy for Data
• Poznavanje Windows okruženja, uključujući PowerShell skriptovanje i deployment usluga
• Poznavanje CI/CD alata poput GitHub Actions i alata za upravljanje zavisnostima kao što je Poetry
• Iskustvo sa alatima za evidentiranje i praćenje (npr. Grafana)
• Razumijevanje mrežnih sistema datoteka, uključujući NAS, SMB i CIFS protokole

Potrebni jezici:

• Engleski (napredni nivo)