声网接入基础

更新时间不可用

声网提供用于实时语音、视频和 AI 对话的 SDK 与云服务。你可以通过以下两种方式,让用户彼此连接,或让用户与 AI 智能体对话:

  • 语音通话、视频通话和互动直播:使用实时互动 RTC SDK,在用户之间传输实时音视频。
  • 实时语音 AI 对话:使用对话式 AI 引擎处理对话并生成回复,通过 RTC 在用户与语音智能体之间传输实时音频。

声网 SDK 通过 SD-RTN™ 实时网络传输音视频数据。该网络利用智能路由机制优化传输路径,帮助降低实时互动的传输延迟,并提升复杂网络环境下的传输质量与稳定性。

接入架构

声网支持人与人互动和人与智能体互动两种场景,不同场景所需的组件和接入方式有所不同。

组件人与人互动人与智能体互动
客户端应用与 SDK提供用户界面和业务逻辑,通过 RTC SDK 采集、发布、订阅和播放实时音视频。提供用户界面和业务逻辑,通过 RTC SDK 与语音智能体交换实时音频。
业务服务端根据业务需求生成 Token、管理访问权限。根据业务需求生成 Token,并通过 Agents SDK 或 RESTful API 创建和管理智能体会话。
RTC 与 SD-RTN™在参与者之间传输实时音视频。在用户与语音智能体之间传输实时音频。
对话式 AI 引擎通常不需要。结合配置的模型和工具处理用户输入、生成回复并驱动对话流程。
表格内容超出当前宽度,可横向滚动查看更多列。

在人与人互动场景中,客户端通过 RTC SDK 加入频道,交换实时音视频。在人与智能体互动场景中,业务服务端通过 Agents SDK 或 RESTful API 管理智能体会话,对话式 AI 引擎驱动智能体对话,RTC 负责用户与智能体之间的实时音频传输。

连接方式

人与人互动

使用 RTC 时,客户端先从你的后端获取 Token,再使用同一个 App ID 和相同的频道名加入同一个频道。频道是用于实时音视频通信的逻辑空间。加入频道后,客户端可以:

  • 发布:发送自己的音频或视频。
  • 订阅:接收其他人的音频或视频。

在语音通话和视频通话中,参与者通常可以双向交流;在互动直播中,主播主要负责发布音视频,观众主要负责接收音视频。具体行为取决于应用的业务逻辑和频道配置。集成步骤详见实时互动 RTC 快速开始。

人与智能体互动

你的后端可以使用 Agents SDK 或直接调用 RESTful API 创建和停止智能体会话。对话式 AI 引擎托管在声网云端,会话启动后,引擎会把智能体加入指定的 RTC 频道,并使用你配置的模型和工具生成回复。用户客户端与智能体通过 RTC 交换实时音频。

如果你需要让自己的服务端应用在频道中收发音视频,请使用 RTC 服务端 SDK。

了解模型选项、工具和 App 或设备集成方式,详见对话式 AI 引擎概览。

接入前准备

使用声网服务前,你需要在声网控制台创建项目,并按所选产品的要求开通服务。以下是 RTC 接入常用的项目标识和鉴权参数:

参数含义使用方式
App ID项目的唯一标识。初始化 SDK 或调用 API 时传入。
App 证书用于生成 Token 的项目密钥。保存在你的服务端,用于生成 Token。
Token用户使用声网服务时的鉴权凭证。由你的服务端生成,客户端使用服务时传入。
表格内容超出当前宽度,可横向滚动查看更多列。

生产环境中,请使用服务端生成的 Token,控制台生成的临时 Token 仅用于测试。各服务的鉴权要求不同,请参考各服务的快速开始文档。

选择接入路径

如果希望先体验语音智能体,可以使用控制台 Playground;如果准备接入应用,可以借助 AI 编程助手或直接集成 SDK、调用 API。

借助 AI 编程助手接入

你可以借助 AI 编程助手,结合声网 Skills、CLI 和 MCP,快速完成项目配置与应用开发,通过 SDK 或 API 接入声网服务。

以下工具可以辅助你的 AI 编程助手完成接入:

工具作用
声网 Skills为 AI 编程助手提供声网的开发流程和实现指导。
声网 CLI管理声网项目、启用服务、导出本地环境变量,并检查接入状态。
声网 MCP让 AI 编程助手查询声网文档。
表格内容超出当前宽度,可横向滚动查看更多列。

直接集成 SDK 或调用 API

  • 人与人互动:在客户端集成 RTC SDK,实现语音通话、视频通话或互动直播。
  • 人与智能体互动:客户端通过 RTC SDK 与智能体交换实时音频,后端通过 Agents SDK 或 RESTful API 创建和管理智能体会话。

在控制台体验语音智能体

声网控制台的 Playground 支持可视化配置和测试语音智能体,适用于对话式 AI 引擎。

配套产品

以下产品可以在 RTC 的基础上增加应用数据、媒体处理能力或连接外部系统,按需选用即可。

类别产品作用
应用数据与协作实时消息 RTM在音视频之外交换应用消息、在线状态和共享状态。
即时通讯 IM在语音和视频通话之外增加持久化的一对一或群组消息。
互动白板在参与者通过 RTC 交流时,提供共享画布、绘图和文档协作。
媒体处理与分发云端录制将 RTC 音视频和语音智能体对话录制到云存储。
旁路推流将 RTC 音视频发送到 CDN 或外部直播平台。
云端转码对 RTC 音视频进行合流和转码,并将处理后的流发布回频道。
输入在线媒体流将在线媒体流输入 RTC 频道。
RTMP 网关将 RTMP 或 SRT 媒体源接入 RTC 频道。
实时转录翻译将 RTC 音频转换为实时字幕、转写文本或翻译文本。
服务端与运维RTC 服务端 SDK让你的服务端应用在频道中发送和接收音视频。
水晶球分析通话用量和质量,帮助定位连接和音视频问题。
表格内容超出当前宽度,可横向滚动查看更多列。

更多产品详见实时互动 RTC 概览。

下一步