[TOC]
# 背景
在将一些API接入ADP（腾讯云智能体开发平台，Agent Development Platform）成为工具/插件的过程中，可能会遇到这些API本身是流式输出的情况，比如API内部包含了大模型的处理而进行流式输出。为了保证用户体验，就需要将这些API流式输出的效果也能展现到ADP上。这时候就可以用到ADP中的工具/插件接入功能，通过流式的方式接入这些API，从而保证用户体验。
# SSE协议的API
能够接入ADP进行流式输出的API需要符合SSE协议，检查API是否符合SSE协议可以通过curl命令进行检查（Windows Git bash环境下）:
```shell
curl -N -s https://ms-mxmtv64n-100006623454-sw.gw.ap-shanghai.ti.tencentcs.com/ms-mxmtv64n/chat
```
上述命令中 -N表示不缓存服务端推送过来的消息，收到即直接显示输出，-s表示silent静默模式，不显示发包收包相关的统计信息。你可以将示例中的API换成你自己的地址，如果你自己的API还包含指定header和协议，可能需要附加其他curl参数，详情可以Google/ChatGPT。
如果收到的回包如下所示，基本就符合SSE协议。
```
data: {"word": "Hello "}

data: {"word": "there! "}

data: {"word": "This "}

data: {"word": "is "}

data: {"word": "a "}

data: {"word": "simple "}

data: {"word": "streaming "}

data: {"word": "message "}

data: {"word": "example. "}

data: [DONE]
```
该回包主要需要符合:
* 每段数据之间以空行作为分割，表示服务端不同批次推送到客户端的数据。
* 数据行都以*data:*开始

当然，比较严格以及全面的SSE协议介绍可以参考[Using server-sent events](https://developer.mozilla.org/en-US/docs/Web/API/Server-sent_events/Using_server-sent_events)。
如果你想建立自己的SSE服务，可以参考以下代码：
```python
from fastapi import FastAPI, Request
from sse_starlette import EventSourceResponse
import asyncio
import json

app = FastAPI()

@app.get("/chat")
async def chat(request: Request):
    async def word_stream():
        text = "Hello there! This is a simple streaming message example."
        words = text.split()

        for word in words:
            if await request.is_disconnected():
                break

            json_data = json.dumps({"word": f"{word} "})
            yield {"data": json_data}
            await asyncio.sleep(0.3)

        yield {"data": "[DONE]"}

    return EventSourceResponse(word_stream())
```
该代码主要使用FastAPI建立了一个URI "/chat"，处理逻辑是将text里的单词逐个流式输出，在18行将数据使用json.dumps()进行序列化，ADP平台接收到数据后会自行反序列化解析。

在运行该代码之前，请确保安装以下依赖，以下指定版本已经过验证:
```
pip install asyncio==3.4.3 fastapi==0.95.0 sse-starlette==1.3.3 starlette==0.26.1 uvicorn==0.21.1
```
然后使用以下命令启动服务即可，假设你将自己的代码保存成test.py，为了可以外部调用，我们使用--host绑定服务地址到0.0.0.0:
```shell
uvicorn test:app --host 0.0.0.0 --port 9000
```
如果是部署在[TIONE](https://console.cloud.tencent.com/tione/v2)平台上，那么你就会得到一个类似于这样的服务地址:
```
https://ms-mxmtv64n-100006623454-sw.gw.ap-shanghai.ti.tencentcs.com/ms-mxmtv64n/chat
```
用curl命令测试即可得到上文所述的流式输出效果。我们以该服务作为示例进行下文的继续接入。
# 接入ADP
SSE协议的API准备好之后，便可以登录到ADP平台，通过“应用开发>>新建应用>>单工作流模式（填入应用名称）>>新建>>填入工作流名称/描述”得到一个工作流画布。拖入一个工具节点和回复节点，并且使用连线依次连接：开始>>工具1>>回复1>>结束节点:
![image.png](https://developer.qcloudimg.com/http-save/yehe-11747160/bd0c460db7831e44d537b9da83134f15.png)
## 配置工具节点
点击“工具1”节点，对于”基础信息“小节，填入”接口链接“，授权方式此处我们示例为”无需授权“，请求方式按照你的API要求，此处我们示例为GET，调用方式选择”流式“。
![image.png](https://developer.qcloudimg.com/http-save/yehe-11747160/b950b0728c53bd8ed069cf1a922c195b.png)
对于“API参数”小节，由于我们的示例服务不需要额外的header和query参数，因此可以不填。对于“输出变量”小节，需要配置协议为我们的SSE输出协议，我们的SSE协议流式输出内容为:
```
data: {"word": "Hello "}
```
因此，配置最外层data为obj类型，其包含一个key word，word的类型为str，并且为增量输出:
![image.png](https://developer.qcloudimg.com/http-save/yehe-11747160/20f96d5e0d74721f9265a89588c6902b.png)
配置完之后，点击该节点配置栏上方调试按钮，可进行单节点调试。可以看到，该节点已经收到服务的流式数据:
![image.png](https://developer.qcloudimg.com/http-save/yehe-11747160/86579d7a99bbe5fb177da58d129bf2c2.png)
## 配置回复节点
通常我们需要在对话框中看到API的输出结果，就还需要在回复节点中配置输出，使得API的输出可以流式输出到对话框中。点击“回复1”节点，在“输入变量”小节引用“工具1”的word变量，并命名为"w"，在“回复内容”小节直接引用该变量进行输出即可。
![image.png](https://developer.qcloudimg.com/http-save/yehe-11747160/62280c90cd1aa954e3b9cf1ac1eac5c2.png)
## 调试
点击右上“调试”按钮，开启调试，任意输入触发工作流运行，即可得到流式输出的效果。
!video[ADP接入流式API效果](https://cloud.tencent.com/developer/video/84346)
调试完成之后，可以左上角点击“返回”后“启用”工作流，进入“应用设置>>工作流”引用该工作流，从而在应用中使用该工作流。你还可以进一步发布应用，将应用集成到企业微信，微信公众号等渠道。
# 总结
本文旨在解决使用ADP接入流式API过程中遇到的一些问题，并使用一个demo一步步演示如何接入，希望可以帮助你更加顺畅的使用ADP建立自己的Agent应用，如有问题，请下方评论。

# 其他参考
[What are SSE (Server-Sent Events) and how do they work?](https://bunny.net/academy/http/what-is-sse-server-sent-events-and-how-do-they-work/)

[“Content-Type”: “text/event-stream”](https://medium.com/@truongtronghai/content-type-text-event-stream-b81fee085ee1)

在将一些API接入ADP（腾讯云智能体开发平台，Agent Development Platform）成为工具/插件的过程中，可能会遇到这些API本身是流式输出的情况，比如API内部包含了大模型的处理而进行流式输出。为了保证用户体验，就需要将这些API流式输出的效果也能展现到ADP上。这时候就可以用到ADP中的工具/插件接入功能，通过流式的方式接入这些API，从而保证用户体验。

如何在ADP（Agent Development Platform）上接入流式API

在将一些API接入ADP（腾讯云智能体开发平台，Agent Development Platform，https://adp.cloud.tencent.com/adp/#/trialProduct）成为工具/插件的过程中，可能会遇到这些API本身是流式输出的情况。为了保证用户体验，就需要将这些API流式输出的效果也能展现到ADP上，本文对流式API接入ADP进行了step by step的阐述。

编程语言

前端

腾讯云ADP平台支持通过SSE协议接入流式API，实现大模型等服务的实时输出效果。本文详细介绍了SSE协议API的验证方法、FastAPI服务搭建步骤，以及如何在ADP中配置工具节点和回复节点完成流式接入，帮助开发者提升智能体应用的用户体验。

腾讯云智能体开发平台

智能体开发

智能体

ChatGPT

Windows

Python

Agent

9.9元起，最快1天搭建自有直播平台


文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

如何在ADP（Agent Development Platform）上接入流式API-腾讯云开发者社区-腾讯云

如何在ADP（Agent Development Platform）上接入流式API

如何在ADP（Agent Development Platform）上接入流式API

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐