Naukowcy twierdzą, że narzędzie OpenAI Whisper zmyśla różne rzeczy

Według nowego raportu https://abcnews.go.com/US/wireStory/researchers-ai-powered-transcription-tool-hospitals-invents-things-115170291 aBC News (via Engadget), narzędzie OpenAI do transkrypcji audio, Whisper, jest podatne na halucynacje transkrypcji, które nie są częścią oryginalnych nagrań.

Jest to niepokojące, ponieważ Whisper jest już używany w kilku branżach, w tym w centrach medycznych, które polegają na narzędziu do transkrypcji konsultacji. Dzieje się tak pomimo surowego ostrzeżenia OpenAI, aby nie używać go w "domenach wysokiego ryzyka".

Inżynier uczenia maszynowego odkrył halucynacje w połowie z ponad 100 godzin transkrypcji, podczas gdy inny programista powiedział, że znalazł je we wszystkich 26 000 transkrypcji, które przeanalizował. Naukowcy stwierdzili, że może to prowadzić do błędnych transkrypcji milionów nagrań na całym świecie. Rzecznik OpenAI powiedział ABC News, że firma przeanalizowała te raporty i uwzględni ich opinie w aktualizacjach modelu. Narzędzie jest włączone do Oracle i Microsoft Cloud. Usługi te mają tysiące klientów na całym świecie, co zwiększa zakres ryzyka.

Profesorowie Allison Koenecke i Mona Sloane zbadali tysiące krótkich fragmentów z TalkBank. Okazało się, że 40% wykrytych halucynacji było szkodliwych. Na przykład w jednym z nagrań mówca powiedział: "On, chłopiec, zamierzał, nie jestem pewien dokładnie, wziąć parasol", ale narzędzie przepisało to jako "Wziął duży kawałek krzyża, malutki, mały kawałek... Jestem pewien, że nie miał noża terrorystycznego, więc zabił wiele osób".