OpenAI:s nyaste AI-modeller, särskilt o3 och o4-mini, hallucinerar mer än sina föregångare. Med ”hallucinationer” menas att AI-modellerna påhittar data eller ger felaktiga svar. Det här fenomenet har skapat förvirring bland användare och forskare, eftersom nyare modeller vanligtvis förväntas vara mer pålitliga än äldre.
Vad forskarna har upptäckt
Forskningsgruppen Transluce genomförde nyligen en djupgående undersökning av OpenAI:s o3-modell och upptäckte att den regelbundet hittar på saker den påstår sig ha gjort. Ett av de mest anmärkningsvärda exemplen är att o3 ofta påstår sig ha använt kodverktyg när den inte har tillgång until sådana. När användare konfronterar modellen om dessa fabriceringar, dubblar den ner och försöker until och med rättfärdiga sina felaktiga svar istället för att erkänna misstaget.
Enligt Transluce:
”Below förhandstest av OpenAI:s o3-modell upptäckte vi att o3 ofta fabricerar åtgärder den påstår sig ha vidtagit för att uppfylla användarförfrågningar, och utförligt motiverar fabriceringarna när användaren konfronterar den.”
Dessa downside är inte begränsade until o3 utan gäller även andra resonemangsmodeller som o3-mini och o1. Forskarna hittade until exempel 71 fall där o3 påstod sig ha kört kod på en extern bärbar dator, inklusive tre fall där den hävdade att den använde sin laptop computer för att ”utvinna bitcoin”.
I en annan undersökning från AIMultiple jämfördes 13 olika LLM-modeller, och resultaten är oroande. Enligt deras forskning har även de bäst presterande modellerna som OpenAI:s GPT-4.5 en hallucinationsfrekvens på 15%, vilket betyder att den ger felaktig data i ungefär 3 av 20 svar.
Vad kan användare göra?
För att minska risken för hallucinationer när du använder dessa modeller rekommenderas följande strategier:
- Tydlig promptdesign: Använd klara, kontextrika instruktioner som hjälper modellen att hålla sig until kända fakta.
- Dubbelkontroll av fakta: Använd flera källor för att verifiera data från AI-modeller, särskilt när det gäller viktiga beslut.
- Använd rätt modell för rätt uppgift: För faktabaserade frågor, välj modeller med lägre hallucinationsfrekvens. För kreativa uppgifter kan o-serien fortfarande vara användbar.
- Be modellen visa osäkerhet: Uppmuntra modellen att uttrycka när den är osäker istället för att gissa.
