ChatGPT Voice konnte bisher entweder zuhören oder sprechen, aber nicht beides gleichzeitig. Das neue Modell GPT-Live soll das abstellen. Statt auf Sprechpausen zu warten, verarbeitet das Modell den Audiostrom im Full-Duplex-Verfahren kontinuierlich und entscheidet fortlaufend, ob es sprechen oder zuhören soll. Kurze Rückmeldungen wie „Mhmm“ sollen dabei ebenso möglich sein wie echte Unterbrechungen.

Die ursprüngliche ChatGPT-Voice-Funktion von 2023 arbeitete als dreifache Kaskade: Speech-to-Text (STT) transkribierte die Eingabe, ein Sprachmodell erzeugte daraus eine Antwort, Text-to-Speech (TTS) sprach sie schließlich aus. 2024 ersetzte der Advanced Voice Mode diese Dreierkette durch ein einzelnes Audiomodell, was Latenz und Natürlichkeit spürbar verbesserte. Am rundenbasierten Prinzip änderte das aber nichts.

OpenAI zeigt schematisch die verschiedenen Evolutionsstufen von ChatGPT Voice.

(Bild: OpenAI / Bearbeitung heise medien)

Delegieren statt Warten

Neben dem Full-Duplex-Verfahren bringt GPT-Live eine weitere Neuerung mit, die Gespräche flüssiger machen soll. Es übergibt rechenintensive Aufgaben im Hintergrund an GPT-5.5. Wer während eines Gesprächs nach etwas fragt, das eine Websuche oder tieferes Reasoning erfordert, soll nicht warten müssen. Das Gespräch läuft weiter, bis das Ergebnis vorliegt. Nutzer können dabei laut OpenAI zwischen drei Stufen wählen: Instant für schnelle Antworten, Medium und High für komplexere Fragen (Reasoning).

In OpenAIs eigenen Messungen bevorzugten Tester GPT-Live-1 in 75,7 Prozent der Fälle gegenüber dem Advanced Voice Mode, GPT-Live-1 mini in 69,2 Prozent. Beim wissenschaftlichen Reasoning-Benchmark GPQA steigt die Trefferquote laut OpenAI von 45,3 auf 84,2 Prozent. Beim Search-Benchmark BrowseComp springt sie von 0,7 auf bis zu 75,2 Prozent, was das Unternehmen fast ausschließlich durch die Hintergrund-Delegation erklärt.

Sicherheit im laufenden Gespräch

Weil nachgelagerte Moderation bei Echtzeit-Gesprächen nicht funktioniert wie bei Text-Chats, kann GPT-Live während des Gesprächs eingreifen, indem es die eigene Ausgabe umlenkt, Ressourcen anbietet oder ein Gespräch in Hochrisiko-Situationen beenden. Für Jugendliche soll altersgerechtes Verhalten direkt in das Modell trainiert worden sein, Eltern sollen die Funktion über Kindersicherungseinstellungen steuern können. Bei Anzeichen von Selbstverletzung greift ein angepasster Unterstützungsablauf inklusive Krisentelefon-Verweis. Stimmimitation ist nicht vorgesehen: GPT-Live nutzt ausschließlich vordefinierte Stimmen.

GPT-Live darf man nicht mit OpenAIs Realtime API verwechseln. Letztere ist eine konfigurierbare Entwicklerschnittstelle für eigene Anwendungen, etwa Callcenter, Sprachassistenten oder Übersetzungsdienste. Sie arbeitet weiterhin turn-basiert, auch wenn die Latenz gegenüber der alten Kaskade deutlich gesunken ist. Das im Mai vorgestellte GPT-Realtime-2 brachte ein auf 128.000 Token erweitertes Kontextfenster, parallele Tool-Aufrufe und einstellbare Reasoning-Stufen.

Zum Start fehlen Video- und Bildschirmfreigabe während Sprachgesprächen, die bisher eine Funktion des Advanced Voice Mode waren. OpenAI weist darauf hin, dass es bei weniger verbreiteten Sprachen passieren kann, dass das Modell mit einem ausländischen Akzent spricht oder Lücken entstehen.

Das erste Modell GPT-Live-1 wird Standard für Go-, Plus- und Pro-Nutzer, die kleinere Variante GPT-Live-1 mini für den kostenlosen Zugang. Verfügbar ist es auf iOS, Android und ChatGPT.com.

(vza)