O streaming de ferramentas refinado é um recurso beta. Certifique-se de avaliar suas respostas antes de usá-lo em produção.Use este formulário para fornecer feedback sobre a qualidade das respostas do modelo, a API em si, ou a qualidade da documentação—mal podemos esperar para ouvir de você!
Ao usar streaming de ferramentas refinado, você pode potencialmente receber entradas JSON inválidas ou parciais. Certifique-se de considerar esses casos extremos em seu código.
Como usar streaming de ferramentas refinado
Para usar este recurso beta, simplesmente adicione o cabeçalho betafine-grained-tool-streaming-2025-05-14 a uma solicitação de uso de ferramenta e ative o streaming.
Aqui está um exemplo de como usar streaming de ferramentas refinado com a API:
make_file sem buffering para validar se o parâmetro lines_of_text é JSON válido. Isso significa que você pode ver o parâmetro em streaming conforme ele chega, sem ter que esperar que todo o parâmetro seja armazenado em buffer e validado.
Com streaming de ferramentas refinado, os chunks de uso de ferramentas começam a fazer streaming mais rapidamente, e são frequentemente mais longos e contêm menos quebras de palavras. Isso se deve a diferenças no comportamento de chunking.Exemplo:Sem streaming refinado (atraso de 15s):Com streaming refinado (atraso de 3s):
Como o streaming refinado envia parâmetros sem buffering ou validação JSON, não há garantia de que o stream resultante será completado em uma string JSON válida.
Particularmente, se o motivo de parada
max_tokens for atingido, o stream pode terminar no meio de um parâmetro e pode estar incompleto. Você geralmente terá que escrever suporte específico para lidar com quando max_tokens for atingido.Lidando com JSON inválido em respostas de ferramentas
Ao usar streaming de ferramentas refinado, você pode receber JSON inválido ou incompleto do modelo. Se você precisar passar esse JSON inválido de volta para o modelo em um bloco de resposta de erro, você pode envolvê-lo em um objeto JSON para garantir o manuseio adequado (com uma chave razoável). Por exemplo:Ao envolver JSON inválido, certifique-se de escapar adequadamente quaisquer aspas ou caracteres especiais na string JSON inválida para manter a estrutura JSON válida no objeto wrapper.