Analityk Ruchu w Wielojęzycznej Ocenie Jakości AI - Sztokholm

O zadaniu

Poszukujemy Analityka Ruchu w wielojęzycznej ocenie jakości AI, który będzie rozwijać, testować i poprawiać jakość treści generowanych przez AI i tłumaczonych przez AI. Tworzysz ramy oceny, zbiory danych i metody punktacji, które zapewniają, że treści są poprawne, płynne i kulturowo odpowiednie.

Rola obejmuje ścisłą współpracę z inżynierami uczenia maszynowego i ekspertami językowymi w celu kalibracji ewaluatorów, analizy błędów modeli i ciągłego doskonalenia jakości i niezawodności rozwiązań językowych napędzanych przez AI.

Twoje zadania

Opracuj kryteria oceny i zdefiniuj protokoły punktacji dla treści wielojęzycznych.

Twórz i utrzymuj zbiory danych do oceny jakości materiałów generowanych przez AI i tłumaczonych przez AI.

Wspieraj szkolenie i kalibrację modeli oceny oraz weryfikuj punktację.

Dokumentuj wytyczne specyficzne dla języka i rynku dotyczące jakości i oceny.

Identyfikuj luki w jakości, analizuj błędy modeli i proponuj ulepszenia w logice oceny.

Wspieraj procesy informacji zwrotnej, które napędzają ciągłe doskonalenie jakości językowej w platformach.

Oczekiwane rezultaty

Ustanowione i udokumentowane ramy oceny dla każdego języka/rynku.

Zabezpieczone jakościowo zbiory danych i jasne kryteria punktacji dla różnych typów treści.

Raporty analizy błędów modeli i rekomendacje ulepszeń.

Materiały do kalibracji i wsparcie dla zespołu ML w pracy nad szkoleniem i dostrajaniem.

Ulepszone procesy ciągłego monitorowania jakości.

Twój profil

Doświadczenie w ocenie jakości językowej, lingwistyce stosowanej, lingwistyce danych lub środowisku badawczym związanym z językami.

Znajomość oceny LLM, oceny tłumaczenia maszynowego lub procesów anotacji w środowiskach wielojęzycznych.

Dobre zrozumienie ram takich jak MQM, MetricX lub COMET oraz doświadczenie z wielowymiarowymi modelami oceny.

Znajomość metod oceny GenAI, w tym testowania promptów, kalibracji modeli i weryfikacji punktacji.

Doświadczenie we współpracy z zespołami ML w zakresie potoków danych, anotacji i/lub dostrajania ewaluatorów.

Silne zrozumienie językowe i kulturowe w wielu rynkach oraz umiejętność definiowania jakości dla każdego typu treści.

Pożądane:

Programistyczne QA, np. kontrole oparte na regułach lub walidacja sterowana API z użyciem Pythona, YAML lub gRPC.

Doświadczenie z niezawodnością między oceniającymi (alfa Krippendorffa, kappa Cohena) i/lub porównaniami między ocenami ludzkimi a generowanymi przez AI.

Cechy osobiste

Jesteś analityczny, skrupulatny i lubisz pracować w sposób uporządkowany nad jakością w szczegółach. Czujesz się dobrze na styku języka i technologii, jesteś komunikatywny i przyzwyczajony do współpracy międzyfunkcyjnej. Masz również umiejętność priorytetyzacji, jasnego dokumentowania i wprowadzania ulepszeń od wglądu do praktyki.

Miejsce: Sztokholm Zakres: 100% Okres: 2025-12-15 – 2026-06-04 Ostateczny termin składania wniosków: 2025-12-04

Sway Sourcing to innowacyjny partner rekrutacyjny specjalizujący się w dopasowywaniu odpowiednich talentów do odpowiednich firm – szybko i efektywnie. Naszym głównym obszarem zainteresowania są Finanse, Administracja, HR, Marketing i IT, ale mamy również szeroką wiedzę ekspercką i elastyczność wymaganą do dostarczania spersonalizowanych rozwiązań rekrutacyjnych we wszystkich branżach.

Chociaż jesteśmy stosunkowo nowym graczem, zdobyliśmy już zaufanie wielu największych firm w Szwecji i działamy zarówno na poziomie krajowym, jak i międzynarodowym. Z bazami w Szwecji i Hiszpanii oferujemy unikalną kombinację lokalnej wiedzy eksperckiej i globalnego zasięgu. Nasza silna sieć kontaktów i głębokie zrozumienie branży czynią nas oczywistym partnerem dla firm, które chcą być o krok do przodu w swojej rekrutacji.