Analitičar saobraćaja u višejezičkoj procjeni kvaliteta veštačke inteligencije - Stockholm

O zadatku

Tražimo analitičara saobraćaja u višejezičkoj procjeni kvaliteta veštačke inteligencije koji može razvijati, testirati i poboljšavati kvalitet AI-generisanog i AI-prevedenog sadržaja. Vi kreirate okvire za procjenu, skupove podataka i metode bodovanja koji osiguravaju da je sadržaj tačan, tečan i kulturno relevantan.

Uloga podrazumijeva blisku saradnju sa ML-inženjerima i jezičkim stručnjacima radi kalibracije procjenitelja, analize grešaka modela i kontinuiranog poboljšanja kvaliteta i pouzdanosti u AI-vođenim jezičkim rešenjima.

Vaši zadaci

Razvijajte kriterijume za procjenu i definišite protokole bodovanja za višejezički sadržaj.

Kreirajte i održavajte skupove podataka za procjenu kvaliteta AI-generisanog i AI-prevedenog materijala.

Podržavajte obuku i kalibraciju modela za procjenu i validirajte bodovanje.

Dokumentujte jezičke i tržišno-specifične smernice za kvalitet i procjenu.

Identifikujte nedostatke u kvalitetu, analizirajte greške modela i predlažite poboljšanja u logici procjene.

Doprinesite povratnim procesima koji pokreću kontinuirano poboljšanje jezičkog kvaliteta u platformama.

Očekivane isporuke

Uspostavljeni i dokumentovani okviri za procjenu po jeziku/tržištu.

Osigurani skupovi podataka i jasni kriterijumi bodovanja za različite vrste sadržaja.

Izvještaji analize grešaka modela i preporuke za poboljšanja.

Materijali za kalibraciju i podrška ML-timu u radu na obuci i fino podešavanju.

Poboljšani procesi za kontinuirano praćenje kvaliteta.

Vaš profil

Iskustvo u procjeni jezičkog kvaliteta, primijenjene lingvistike, lingvistike podataka ili jezičkog istraživačkog okruženja.

Navika u procjeni LLM-a, procjeni mašinskog prevođenja ili procesima označavanja u višejezičkim okruženjima.

Dobro razumijevanje okvira kao što su MQM, MetricX ili COMET i iskustvo s višedimenzionalnim modelima procjene.

Upoznat s metodama procjene GenAI, uključujući testiranje prompta, kalibraciju modela i validaciju bodovanja.

Iskustvo u saradnji s ML-timovima oko podatkovnih pipeline-a, označavanja i/ili finog podešavanja procjenitelja.

Jako jezičko i kulturno razumijevanje preko više tržišta i sposobnost definisanja kvaliteta po vrsti sadržaja.

Pogodno:

Programska QA, npr. kontrola zasnovana na pravilima ili API-vođena validacija sa Python, YAML ili gRPC.

Iskustvo s međuprocjeniteljskom pouzdanošću (Krippendorff alfa, Cohens κ) i/ili poređenjima između ljudskih i AI-generisanih procjena.

Lične osobine

Vi ste analitični, pažljivi i volite strukturirani rad s kvalitetom u detaljima. Uživate u graničnom području između jezika i tehnologije, komunikativni ste i navikli na međufunkcionalnu saradnju. Takođe imate sposobnost da prioritetizirate, jasno dokumentujete i pokrećete poboljšanja od uvida do prakse.

Lokacija: Stockholm Obim: 100% Period: 2025-12-15 – 2026-06-04 Krajnji rok za prijavu: 2025-12-04

Sway Sourcing je inovativni partner za regrutaciju koji se specijalizuje za podudaranje pravog talenata s pravom kompanijom – brzo i efikasno. Naš glavni fokus je u oblasti Ekonomije, Administracije, Ljudskih resursa, Marketinga i IT-a, ali takođe imamo široku ekspertizu i fleksibilnost potrebne za isporuku prilagođenih rešenja za regrutaciju u svim industrijama.

Uprkos tome što smo relativno novi akter, već smo izgradili povjerenje kod mnogih najvećih kompanija u Švedskoj i radimo i nacionalno i međunarodno. Sa bazama u Švedskoj i Španiji, nudimo jedinstvenu kombinaciju lokalne ekspertize i globalnog dometa. Naša jaka mreža i duboki uvidi u industriju čine nas očitim partnerom za kompanije koje žele biti korak ispred u svojoj regrutaciji.