Analitičar saobraćaja u višejezičkoj procjeni kvaliteta umjetne inteligencije - Stockholm

O zadatku

Tražimo analitičara saobraćaja u višejezičkoj procjeni kvaliteta umjetne inteligencije koji može razvijati, testirati i poboljšavati kvalitetu AI-generiranog i AI-prevedenog sadržaja. Stvarate okvire za procjenu, skupove podataka i metode bodovanja koje osiguravaju da je sadržaj tačan, tečan i kulturno relevantan.

Uloga uključuje blisku saradnju sa ML inženjerima i jezičkim stručnjacima za kalibraciju evaluatora, analizu grešaka modela i kontinuirano poboljšavanje kvaliteta i pouzdanosti u AI-pokretanim jezičkim rješenjima.

Vaši zadaci

Razvijajte kriterije za procjenu i definirajte protokole bodovanja za višejezički sadržaj.

Stvarajte i održavajte skupove podataka za procjenu kvaliteta AI-generiranog i AI-prevedenog materijala.

Podržavajte obuku i kalibraciju modela za procjenu te validirajte bodovanje.

Dokumentirajte jezičke i tržišno specifične smjernice za kvalitetu i procjenu.

Identificirajte nedostatke u kvaliteti, analizirajte greške modela i predlažite poboljšanja u logici procjene.

Doprinesite procesima povratnih informacija koji pokreću kontinuirano poboljšavanje jezičkog kvaliteta na platformama.

Očekivane isporuke

Uspostavljeni i dokumentirani okviri za procjenu po jeziku/tržištu.

Osigurani skupovi podataka i jasni kriteriji bodovanja za različite vrste sadržaja.

Izvještaji analize grešaka modela i preporuke za poboljšanja.

Materijali za kalibraciju i podrška ML timu u radu na obuci i finom podešavanju.

Poboljšani procesi za kontinuirano praćenje kvaliteta.

Vaš profil

Iskustvo u procjeni jezičkog kvaliteta, primijenjena lingvistika, lingvistika podataka ili jezično orijentirano istraživačko okruženje.

Navika u procjeni LLM-a, procjeni mašinskog prevođenja ili procesima označavanja u višejezičnim okruženjima.

Dobro razumijevanje okvira poput MQM, MetricX ili COMET te iskustvo s višedimenzionalnim modelima procjene.

Upoznat s metodama procjene GenAI, uključujući testiranje promptova, kalibraciju modela i validaciju bodovanja.

Iskustvo u saradnji s ML timovima oko podatkovnih cjevovoda, označavanja i/ili finog podešavanja evaluatora.

Jako jezičko i kulturno razumijevanje preko više tržišta i sposobnost definiranja kvaliteta po vrsti sadržaja.

Pogodno:

Programska QA, npr. kontrole zasnovane na pravilima ili API-pokrenuta validacija s Python, YAML ili gRPC.

Iskustvo s međuprocjenjivačkom pouzdanošću (Krippendorff alfa, Cohen κ) i/ili usporedbama između ljudskih i AI-generiranih procjena.

Lične karakteristike

Analitični ste, pažljivi i volite raditi strukturirano s kvalitetom u detaljima. Uživate u graničnom području između jezika i tehnologije, komunikativni ste i navikli na međufunkcionalnu saradnju. Također imate sposobnost prioritiziranja, jasne dokumentacije i pokretanja poboljšanja od uvida do prakse.

Lokacija: Stockholm Obim: 100% Period: 2025-12-15 – 2026-06-04 Krajnji rok za prijavu: 2025-12-04

Sway Sourcing je inovativni partner za regrutaciju koji se specijalizira za podudaranje pravog talenta s pravom kompanijom – brzo i efikasno. Naš glavni fokus je u Ekonomiji, Administraciji, HR-u, Marketingu i IT-u, ali također imamo široku stručnost i fleksibilnost potrebne za isporuku prilagođenih rešenja za regrutaciju u svim industrijama.

Unatoč tome što smo relativno novi akter, već smo izgradili povjerenje kod mnogih najvećih kompanija u Švedskoj i radimo i nacionalno i internacionalno. S bazama u Švedskoj i Španiji nudimo jedinstvenu kombinaciju lokalne stručnosti i globalnog dosega. Naša jaka mreža i duboki uvidi u industriju čine nas očitim partnerom za kompanije koje žele biti korak ispred u svojoj regrutaciji.