Der Sprachmodus von ChatGPT kann Ihre Stimme ohne Aufforderung simulieren

OpenAI hat vor Kurzem die Systemkarte für sein Modell GPT-4o herausgebracht, kurz nachdem der erweiterte Sprachmodus für ChatGPT-4o als Alpha-Version für eine kleine Anzahl von ChatGPT Plus-Benutzern verfügbar wurde.

Bevor OpenAI das Modell Anfang Mai veröffentlichte (ohne den erweiterten Sprachmodus), setzte das Unternehmen ein Team externer Red Team-Mitarbeiter ein, um die Risiken der Modelle zu ermitteln (wie dies bei KI-Modellen üblich ist) und veröffentlichte die Ergebnisse in der System Card.

Zu den von OpenAI identifizierten Risiken gehört die unbefugte Stimmgenerierung. Während des Gesprächs mit dem Red-Teamer klonte GPT-4o dessen Stimme und begann, in einem Klang zu sprechen, der der Stimme des Red-Teamers ähnelte, ohne dass der Benutzer überhaupt eine solche Aufforderung gestellt hatte. In dem von OpenAI geteilten Audioclip ist zu hören, wie GPT-4o NEIN! schreit und dann die Ausgabe in einer Stimme fortsetzt, die der des Red-Teamers ähnelt.

OpenAI hat Schutzmaßnahmen eingerichtet, um dies zu verhindern, indem nur bestimmte vorab genehmigte Stimmen für GPT-4o zugelassen werden. Jede von ChatGPT-4o erzeugte Sprachausgabe wird mit der Sprachprobe in der Systemnachricht als Basisstimme abgeglichen.

Und um das Risiko weiter zu minimieren, wird das Modell angewiesen, das Gespräch abzubrechen, wenn eine unbeabsichtigte Stimmerzeugung erkannt wird. Ihr Sprachausgabeklassifizierer hat eine Genauigkeit von 0,96 im Englischen und 0,95 im Nicht-Englischen (weshalb ChatGPT-4o Sprachanfragen in nicht-englischen Gesprächen möglicherweise übermäßig ablehnt).

Die Erkenntnisse der System Card zeigen jedoch auch die Komplexität bei der Erstellung von KI-Chatbots, die die Stimme einer Person mit nur einer kurzen Probe simulieren können, ohne dass ein umfangreiches Training mit dieser Probe erforderlich ist. Das Klonen von Stimmen kann dazu verwendet werden, sich als jemand anderes auszugeben und Betrug zu begehen. OpenAI hat jedoch festgestellt, dass das Risiko einer unbefugten Stimmgenerierung minimal ist.

Selbst wenn man das Risiko außer Acht lässt, dass es aufgrund der vorhandenen Sicherheitsmaßnahmen für Identitätsbetrug und andere Zwecke verwendet wird, wäre es dennoch ziemlich beunruhigend, wenn man mit einer Maschine spricht und die Maschine plötzlich anfängt, mit der gleichen Stimme zu antworten wie man selbst. Ein gewisser Datenwissenschaftler auf X nannte es „die Handlung für die nächste Staffel von Black Mirror“ und es fühlt sich definitiv so an. Ein anderer Benutzer auf X behauptet, dass ihm dies in ChatGPT-4o Alpha passiert sei, aber es ist nicht klar, ob das stimmt oder nicht.

Dennoch besteht die Möglichkeit, dass es beim nächsten Mal passiert, wenn Sie mit ChatGPT-4o sprechen. Und dies ist eine PSA: Geraten Sie nicht in Panik, wenn es passiert, oder geraten Sie nicht zu sehr in Panik.

OpenAI verfügt außerdem über Sicherheitsvorkehrungen, um sicherzustellen, dass GPT-4o die Identifizierung von Personen verweigert und urheberrechtlich geschützte Inhalte generiert – weitere Risiken, die bei der Bewertung festgestellt wurden.

Unter den anderen Risiken, die das Unternehmen bei dem Modell fand, stufte es die meisten davon in die Kategorie „niedrig“ ein. Dazu gehören Cybersicherheit, biologische Bedrohungen und Modellautonomie. In Bezug auf die Überzeugungskraft stufte es das Risiko jedoch als mittel ein: Das bedeutet, dass sich einige von GPT-4o erstellte Textproben als überzeugender erwiesen, wenn es darum ging, die Meinung der Menschen zu beeinflussen, als von Menschen geschriebene Texte.