Трафик анализатор в многоезична оценка на качеството на ИИ - Стокхолм

За задачата

Търсим Трафик анализатор в многоезична оценка на качеството на ИИ, който може да разработва, тества и подобрява качеството на ИИ-генерирано и ИИ-преведено съдържание. Вие създавате рамки за оценка, набори от данни и методи за оценяване, които гарантират, че съдържанието е точно, плавно и културно подходящо.

Ролята включва тясно сътрудничество с ML инженери и езикови експерти за калибриране на оценители, анализ на грешки в моделите и непрекъснато подобряване на качеството и надеждността в ИИ-задвижваните езикови решения.

Вашите задължения

Разработване на критерии за оценка и определяне на протоколи за оценяване за многоезично съдържание.

Създаване и поддържане на набори от данни за оценка на качеството на ИИ-генерирани и ИИ-преведени материали.

Подпомагане на обучението и калибрирането на модели за оценка, както и валидиране на оценяването.

Документиране на езикови и пазарно-специфични насоки за качество и оценка.

Идентифициране на пропуски в качеството, анализ на грешки в моделите и предлагане на подобрения в логиката на оценката.

Принос към процесите на обратна връзка, които задвижват непрекъснатото подобряване на езиково качество в платформите.

Очаквани резултати

Установени и документирани рамки за оценка за всеки език/пазар.

Набори от данни с осигурено качество и ясни критерии за оценяване за различни типове съдържание.

Аналитични доклади за грешки в моделите и препоръки за подобрения.

Калибриращи материали и подкрепа за ML екипа в работата по обучение и фина настройка.

Подобрени процеси за непрекъснат мониторинг на качеството.

Вашият профил

Опит в оценка на езиково качество, приложна лингвистика, компютърна лингвистика или езиково-свързана изследователска среда.

Опит с оценка на LLM, оценка на машинен превод или процеси на анотиране в многоезични среди.

Добро разбиране на рамки като MQM, MetricX или COMET, както и опит с многомерни модели на оценка.

Запознат с методи за оценка на GenAI, включително тестване на заявки, калибриране на модели и валидиране на оценки.

Опит със сътрудничество с ML екипи относно потоци от данни, анотиране и/или фина настройка на оценители.

Силно езиково и културно разбиране в множество пазари и способност да се определя качество за всеки тип съдържание.

Предимства:

Програмна QA, напр. контроли, базирани на правила, или валидиране, задвижвано от API с Python, YAML или gRPC.

Опит с междуоценителна надеждност (алфа на Крипендорф, капа на Коен) и/или сравнения между човешки и ИИ-генерирани оценки.

Лични качества

Вие сте аналитични, внимателни и харесвате да работите структурирано с качество в детайлите. Чувствате се добре в граничната зона между език и техника, сте комуникативни и свикнали да сътрудничите междуфункционално. Имате и способност да приоритизирате, да документирате ясно и да задвижвате подобрения от прозрение до практика.

Място: Стокхолм Обхват: 100% Период: 2025-12-15 – 2026-06-04 Краен срок за кандидатстване: 2025-12-04

Sway Sourcing е иновативен партньор за подбор на персонал, специализиран в съвпадението на правилния талант с правилната компания – бързо и ефективно. Нашият основен фокус е в сферите на Икономика, Администрация, ЧР, Пазар и IT, но имаме и широката експертиза и гъвкавост, необходими за предоставяне на персонализирани решения за подбор на персонал във всички индустрии.

Въпреки че сме сравнително нов участник, вече сме изградили доверие при много от най-големите компании в Швеция и работим както на национално, така и на международно ниво. С бази в Швеция и Испания предлагаме уникална комбинация от локална експертиза и глобален обхват. Нашата силна мрежа и дълбоки индустриални прозрения ни правят естествен партньор за компании, които искат да са стъпка напред в своя подбор на персонал.