Старши инженер по данни „Python“

Описание на работата:

Клиентът търси опитен старши инженер по данни със силен опит в Python за подпомагане на напреднали инициативи в областта на инженерството на данни в автомобилна среда. Ролята включва проектиране и поддръжка на надеждни тръбопроводи за данни, работа с мащабни тестови данни и принос към архитектурата на разпределени системи. Идеалният кандидат ще има солиден опит в разработката на корпоративно ниво и практически опит с ETL процеси и облачна инфраструктура.

Основни отговорности:

• Проектиране, изграждане и поддържане на мащабируеми ETL/ELT тръбопроводи за обработка на големи обеми автомобилни тестови данни.
• Разработване на висококачествени решения на Python, използвайки напреднали концепции за обектно-ориентирано програмиране и най-добри практики.
• Управление на сложни работни потоци за въвеждане на данни, включително обработка на специфични за домейна файлови формати като .sydata, .h5 и други тестови формати.
• Сътрудничество с мултифункционални екипи за подпомагане на решения, базирани на данни, в среди за автомобилно тестване.
• Прилагане на мултипроцесорна обработка и паралелизъм за оптимизиране на производителността на системата и ефективността на обработка на данни.
• Принос към архитектурата и разработката на разпределени системи, осигуряващи мащабируемост и надеждност.
• Разгръщане и управление на приложения в среди Windows Server, включително внедряване на услуги и скриптове за автоматизация.
• Интегриране на CI/CD тръбопроводи, използвайки инструменти като GitHub Actions за рационализиране на процесите на разработка и внедряване.
• Наблюдение и поддържане на производителността на системата с логиращи рамки и инструменти за визуализация като Grafana.
• Работа с различни технологии за бази данни, осигуряващи ефективно съхранение, извличане и управление на данни.
• Управление на мрежови файлови системи, включително взаимодействия с NAS и протоколи SMB/CIFS.

Необходим общ опит:

Опит на старшинско ниво в инженерството на данни, за предпочитане в автомобилния домейн или домейна за тестване, с доказана експертиза в корпоративната софтуерна разработка.

Образователни изисквания:

Бакалавърска или магистърска степен по компютърни науки, инженерство на данни, информационни технологии или свързана област (или еквивалентен индустриален опит).

Необходими умения:

• Силно владеене на Python (версии 3.9–3.11)
• Солидно разбиране на принципите на обектно-ориентираното програмиране
• Практически опит с ETL/ELT тръбопроводи и обработка на големи обеми данни
• Експертиза в SQL и бази данни Oracle
• Опит с MongoDB
• Познания за разпределени системи и архитектура на данни
• Запознатост с облачни услуги на Azure
• Опит в автомобилни или свързани с тестване среди

Препоръчителни / Допълнителни умения:

• Опит със специализирани рамки за данни като Sympathy for Data
• Познания за среди на Windows, включително скриптове в PowerShell и внедряване на услуги
• Запознатост с CI/CD инструменти като GitHub Actions и инструменти за управление на зависимости като Poetry
• Опит с инструменти за логиране и мониторинг (напр. Grafana)
• Разбиране на мрежови файлови системи, включително протоколи NAS, SMB и CIFS

Изисквания за езици:

• Английски (Отлично владеене)