"stream": true setzen, um die Antwort inkrementell mit Server-Sent Events (SSE) zu streamen.
Streaming mit SDKs
Unsere Python und TypeScript SDKs bieten mehrere Möglichkeiten des Streamings. Das Python SDK ermöglicht sowohl synchrone als auch asynchrone Streams. Siehe die Dokumentation in jedem SDK für Details.Event-Typen
Jedes Server-Sent Event enthält einen benannten Event-Typ und zugehörige JSON-Daten. Jedes Event verwendet einen SSE-Event-Namen (z.B.event: message_stop) und enthält den passenden Event-type in seinen Daten.
Jeder Stream verwendet den folgenden Event-Ablauf:
message_start: enthält einMessage-Objekt mit leeremcontent.- Eine Serie von Content-Blöcken, von denen jeder ein
content_block_start, ein oder mehrerecontent_block_delta-Events und eincontent_block_stop-Event hat. Jeder Content-Block hat einenindex, der seinem Index im finalen Message-content-Array entspricht. - Ein oder mehrere
message_delta-Events, die Top-Level-Änderungen am finalenMessage-Objekt anzeigen. - Ein finales
message_stop-Event.
Die Token-Anzahlen, die im
usage-Feld des message_delta-Events angezeigt werden, sind kumulativ.Ping-Events
Event-Streams können auch eine beliebige Anzahl vonping-Events enthalten.
Error-Events
Wir können gelegentlich Fehler im Event-Stream senden. Zum Beispiel können Sie während Zeiten hoher Nutzung einenoverloaded_error erhalten, der normalerweise einem HTTP 529 in einem nicht-streamenden Kontext entsprechen würde:
Example error
Andere Events
In Übereinstimmung mit unserer Versionierungsrichtlinie können wir neue Event-Typen hinzufügen, und Ihr Code sollte unbekannte Event-Typen elegant behandeln.Content-Block-Delta-Typen
Jedescontent_block_delta-Event enthält ein delta eines Typs, der den content-Block an einem gegebenen index aktualisiert.
Text-Delta
Eintext-Content-Block-Delta sieht so aus:
Text delta
Input-JSON-Delta
Die Deltas fürtool_use-Content-Blöcke entsprechen Updates für das input-Feld des Blocks. Um maximale Granularität zu unterstützen, sind die Deltas partielle JSON-Strings, während das finale tool_use.input immer ein Objekt ist.
Sie können die String-Deltas akkumulieren und das JSON parsen, sobald Sie ein content_block_stop-Event erhalten, indem Sie eine Bibliothek wie Pydantic für partielles JSON-Parsing verwenden oder unsere SDKs nutzen, die Helfer für den Zugriff auf geparste inkrementelle Werte bereitstellen.
Ein tool_use-Content-Block-Delta sieht so aus:
Input JSON delta
input gleichzeitig. Daher kann es bei der Verwendung von Tools zu Verzögerungen zwischen Streaming-Events kommen, während das Modell arbeitet. Sobald ein input-Schlüssel und -Wert akkumuliert sind, geben wir sie als mehrere content_block_delta-Events mit aufgeteiltem partiellem JSON aus, damit das Format automatisch feinere Granularität in zukünftigen Modellen unterstützen kann.
Thinking-Delta
Bei der Verwendung von erweitertem Denken mit aktiviertem Streaming erhalten Sie Denk-Inhalte überthinking_delta-Events. Diese Deltas entsprechen dem thinking-Feld der thinking-Content-Blöcke.
Für Denk-Inhalte wird ein spezielles signature_delta-Event kurz vor dem content_block_stop-Event gesendet. Diese Signatur wird verwendet, um die Integrität des Denk-Blocks zu verifizieren.
Ein typisches Thinking-Delta sieht so aus:
Thinking delta
Signature delta
Vollständige HTTP-Stream-Antwort
Wir empfehlen dringend, dass Sie unsere Client-SDKs bei der Verwendung des Streaming-Modus verwenden. Wenn Sie jedoch eine direkte API-Integration erstellen, müssen Sie diese Events selbst behandeln. Eine Stream-Antwort besteht aus:- Einem
message_start-Event - Potenziell mehreren Content-Blöcken, von denen jeder enthält:
- Ein
content_block_start-Event - Potenziell mehrere
content_block_delta-Events - Ein
content_block_stop-Event
- Ein
- Einem
message_delta-Event - Einem
message_stop-Event
ping-Events über die Antwort verteilt sein. Siehe Event-Typen für weitere Details zum Format.
Grundlegende Streaming-Anfrage
Response
Streaming-Anfrage mit Tool-Verwendung
Tool-Verwendung unterstützt jetzt feinkörniges Streaming für Parameterwerte als Beta-Feature. Für weitere Details siehe Feinkörniges Tool-Streaming.
Response
Streaming-Anfrage mit erweitertem Denken
In dieser Anfrage aktivieren wir erweitertes Denken mit Streaming, um Claudes schrittweise Argumentation zu sehen.Response
Streaming-Anfrage mit Web-Such-Tool-Verwendung
In dieser Anfrage bitten wir Claude, das Web nach aktuellen Wetterinformationen zu durchsuchen.Response
Fehlerwiederherstellung
Wenn eine Streaming-Anfrage aufgrund von Netzwerkproblemen, Timeouts oder anderen Fehlern unterbrochen wird, können Sie sich erholen, indem Sie dort fortfahren, wo der Stream unterbrochen wurde. Dieser Ansatz erspart Ihnen die erneute Verarbeitung der gesamten Antwort. Die grundlegende Wiederherstellungsstrategie umfasst:- Erfassen der partiellen Antwort: Speichern Sie alle Inhalte, die erfolgreich empfangen wurden, bevor der Fehler auftrat
- Konstruieren einer Fortsetzungsanfrage: Erstellen Sie eine neue API-Anfrage, die die partielle Assistenten-Antwort als Beginn einer neuen Assistenten-Nachricht enthält
- Streaming fortsetzen: Empfangen Sie weiterhin den Rest der Antwort von dort, wo sie unterbrochen wurde
Best Practices für Fehlerwiederherstellung
- SDK-Features verwenden: Nutzen Sie die eingebauten Nachrichtenakkumulations- und Fehlerbehandlungsfähigkeiten des SDK
- Content-Typen behandeln: Seien Sie sich bewusst, dass Nachrichten mehrere Content-Blöcke enthalten können (
text,tool_use,thinking). Tool-Verwendung und erweiterte Denk-Blöcke können nicht teilweise wiederhergestellt werden. Sie können das Streaming vom letzten Text-Block fortsetzen.