Analitičar prometa u višejezičnoj procjeni kvalitete umjetne inteligencije - Stockholm

O zadatku

Tražimo analitičara prometa u višejezičnoj procjeni kvalitete umjetne inteligencije koji može razvijati, testirati i poboljšavati kvalitetu AI-generiranog i AI-prevedenog sadržaja. Stvarate okvire za procjenu, skupove podataka i metode bodovanja koje osiguravaju da je sadržaj točan, tečan i kulturno relevantan.

Uloga uključuje blisku suradnju s ML inženjerima i jezičnim stručnjacima za kalibraciju evaluatora, analizu pogrešaka modela i kontinuirano poboljšanje kvalitete i pouzdanosti u AI-vođenim jezičnim rješenjima.

Vaši radni zadaci

Razvijati kriterije procjene i definirati protokole bodovanja za višejezični sadržaj.

Stvarati i održavati skupove podataka za procjenu kvalitete AI-generiranog i AI-prevedenog materijala.

Podržavati obuku i kalibraciju modela procjene te validirati bodovanje.

Dokumentirati jezične i tržišno specifične smjernice za kvalitetu i procjenu.

Identificirati praznine u kvaliteti, analizirati pogreške modela i predlagati poboljšanja u logici procjene.

Doprinositi povratnim procesima koji pokreću kontinuirano poboljšanje jezične kvalitete u platformama.

Očekivane isporuke

Uspostavljeni i dokumentirani okviri procjene po jeziku/tržištu.

Kvalitetno osigurani skupovi podataka i jasni kriteriji bodovanja za različite vrste sadržaja.

Izvješća analize pogrešaka modela i preporuke za poboljšanja.

Materijali za kalibraciju i podrška ML timu u radu na obuci i finom podešavanju.

Poboljšani procesi za kontinuirano praćenje kvalitete.

Vaš profil

Iskustvo u procjeni jezične kvalitete, primijenjena lingvistika, računalna lingvistika ili jezično povezano istraživačko okruženje.

Naviknutost na procjenu LLM-a, procjenu strojnog prevođenja ili procese označavanja u višejezičnim okruženjima.

Dobro razumijevanje okvira kao što su MQM, MetricX ili COMET te iskustvo s višedimenzionalnim modelima procjene.

Upoznatost s metodama procjene GenAI, uključujući testiranje promptova, kalibraciju modela i validaciju bodovanja.

Iskustvo u suradnji s ML timovima oko podatkovnih cjevovoda, označavanja i/ili finog podešavanja evaluatora.

Jako jezično i kulturno razumijevanje preko više tržišta i sposobnost definiranja kvalitete po vrsti sadržaja.

Pogodno:

Programska QA, npr. pravila temeljene kontrole ili API-vođena validacija s Pythonom, YAML-om ili gRPC-om.

Iskustvo s pouzdanošću među procjenjivačima (Krippendorff alfa, Cohen κ) i/ili usporedbama između ljudskih i AI-generiranih procjena.

Osobne značajke

Analitični ste, pažljivi i volite raditi strukturirano s kvalitetom u detaljima. Uživate u graničnom području između jezika i tehnologije, komunikativni ste i naviknuti na međufunkcionalnu suradnju. Također imate sposobnost prioritiziranja, jasnog dokumentiranja i pokretanja poboljšanja od uvida do prakse.

Lokacija: Stockholm Opseg: 100% Razdoblje: 2025-12-15 – 2026-06-04 Zadnji rok za prijavu: 2025-12-04

Sway Sourcing je inovativni partner za zapošljavanje specijaliziran za uparivanje pravog talenta s pravom tvrtkom – brzo i učinkovito. Naš glavni fokus je u području Ekonomije, Administracije, Ljudskih resursa, Marketinga i IT-a, ali imamo i široku stručnost i fleksibilnost potrebnu za isporuku prilagođenih rješenja za zapošljavanje unutar svih grana.

Unatoč tome što smo relativno novi igrač, već smo izgradili povjerenje kod mnogih najvećih švedskih tvrtki i radimo i nacionalno i internacionalno. S bazama u Švedskoj i Španjolskoj nudimo jedinstvenu kombinaciju lokalne stručnosti i globalnog dosega. Naša jaka mreža i duboki uvidi u granu čine nas očitim partnerom za tvrtke koje žele biti korak ispred u svom zapošljavanju.