GloopAPI-Integrationsleitfaden
Streamingantworten
Streamingereignisse und Abschlusssignale verarbeiten.
Streaming liefert die Ausgabe schrittweise, ohne Modellberechtigungen oder Abrechnung zu ändern. Setzen Sie stream: true und verarbeiten Sie text/event-stream. Parsen Sie die Antwort nicht als ein einziges JSON-Dokument.
Responses verwendet typisierte Ereignisse wie response.output_text.delta und response.completed; nach Ereignistyp parsen.
Protokollgerecht parsen
SSE-data bei Chat Completions enthält JSON-Fragmente. Text steht normalerweise in choices[].delta; auch Tool-Aufrufe können fragmentiert sein. data: [DONE] kennzeichnet das Protokollende. Bei angefordertem stream_options.include_usage kann ein abschließendes Nutzungsfragment eintreffen, dessen choices leer sein darf. Fehlende Nutzungsdaten bedeuten nicht kostenlos.
Netzwerkgrenzen
Ein Netzwerkbyteblock ist nicht gleich einem Ereignis. Puffern Sie zuerst bis zum Leerzeilentrenner, verbinden Sie mehrere data-Zeilen und parsen Sie dann JSON. Behandeln Sie über Fragmente verteilte UTF-8-Zeichen, Leerzeilen, Kommentare und Dienst-Fehlerereignisse. Die Beispiele rechts neben dem Endpunkt zeigen die Ereignisstruktur des Protokolls.
Kennzeichnen Sie die Ausgabe bei Verbindungsabbruch oder fehlendem Endereignis als unvollständig. Behalten Sie bereits angezeigten Text und Anfragediagnosen. Das Schließen der Verbindung garantiert weder eine ausgebliebene Dienstausführung noch eine Erstattung. Unbestätigte synchrone Textanfragen besitzen keinen Wiederherstellungsvertrag persistenter Aufgaben und sollten nicht automatisch erneut gesendet werden.
Nutzung und Nachverarbeitung
Übernehmen Sie ein vollständiges Ergebnis erst nach regulärem Ende. Die endgültige Abrechnung beruht auf Plattform-Nutzungsaufzeichnungen, nicht auf der lokal gezählten Fragmentanzahl. Meldet ein Stream nach HTTP 200 einen Fehler, behandeln Sie ihn weiterhin als Protokollfehler und verlassen Sie sich nicht nur auf den anfänglichen Status. Weitere Entscheidungen stehen unter Fehlerbehandlung und Abrechnung.