Neurala hallucinationer

Detta fenomen har undersökts i detalj av Katherine Lee m.fl. i artikeln Hallucinations in Neural Machine Translation. Här ingår en hel del sannolikhetsteori och matematiska spetsfundigheter som ligger utom räckhåll för vanliga dödliga, men själva fenomenet är av stor relevans för facköversättare.

Med hallucinationer avses i detta fall att en neural maskinöversättningsmotor, utan uppenbar orsak, kan generera måltext som är semantiskt uppåt väggarna och saknar varje synbar koppling till källtexten, ta bort eller lägga till partiklar, prepositioner, konjunktioner m.m., sätta in eller ta bort negationer och i största allmänhet generera oväntade avvikelser. Detta uppträdande, i kombination med den neurala maskinöversättningens (NMT) förmåga att generera lättflytande och syntaktiskt otadlig måltext, gör granskning och efterredigering av NMT-översatt text till en svårare uppgift än många tror. Översättningsgranskare har vant sig vid att leta efter typiska fel som mänskliga översättare åstadkommer, och gör det oftast med den äran. Att börja leta fel i NMT-översättningar är värre än att ställa om falkögonen från trattisar till Karl Johan i svampskogen, det handlar om att ställa om till en svampsort som vi aldrig har sett, men som vi på goda grunder misstänker är giftig.

Vilka lärdomar finns att dra av hallucinationsfenomenet?

En är att det fortfarande finns rikligt utrymme för förbättring av tekniken, dels av NMT-motorerna i sig själva, men kanske ännu mera av tekniken för automatisk felsökning och kvalitetskontroll. En funktion för att räkna negationer i käll- och måltext borde inte ligga bortom rimlighetens gräns, och inte heller en som jämför tempus och numerus mellan käll- och måltext.

En annan är att efterredigerare, som det finns en tendens att se ner på och kalla ”språktvättare”, behöver framhållas och utbildas ytterligare i sin otippat svåra uppgift.

En tredje är att inse att efterredigering är ett svårt och ansvarsfullt uppdrag – som behöver ersättas efter förtjänst.