# 发版说明 (/zh-CN/ai/release-notes) > For AI agents: see the complete documentation index at [llms.txt](/llms.txt). ## v2.14 [#v214] 该版本于 2026 年 10 月 22 日发布。 ### 改进 [#改进] #### 提升并发对话场景下轮次延迟指标的完整性 [#提升并发对话场景下轮次延迟指标的完整性] 修复了并发处理多个对话轮次时，部分轮次的性能指标可能缺失的问题。查询轮次信息时，你可以通过 [GET 查询对话轮次信息](/zh-CN/api-reference/api-ref/conversational-ai/turns) 接口查看每轮的端到端延迟（`e2e_latency_ms`）和分段延迟（`segmented_latency_ms`）。 #### 火山引擎双向流式 TTS 2.0 音色支持逐字字幕 [#火山引擎双向流式-tts-20-音色支持逐字字幕] 该版本为火山引擎双向流式 TTS 的 2.0 音色适配逐字字幕对齐。使用 2.0 音色时，对话式 AI 引擎可以正常返回与语音对齐的逐字字幕。 #### 被打断轮次新增播放时长数据 [#被打断轮次新增播放时长数据] 该版本在被打断轮次的结束元数据中新增 `playback_duration_ms` 和 `intended_playback_duration_ms`，分别记录中断时已实际播放的音频时长，以及引擎已接收并计划播放的音频总时长。你可以通过 [GET 查询对话轮次信息](/zh-CN/api-reference/api-ref/conversational-ai/turns) 或 [112 turns finished](/zh-CN/ai/reference/event-types#112) 事件获取这些数据，分析轮次被打断时的播放情况。正常结束轮次的 `playback_duration_ms` 保持不变。 ### API 变更 [#api-变更] #### 新增 [#新增] - [GET 查询对话轮次信息](/zh-CN/api-reference/api-ref/conversational-ai/turns) 和 [112 turns finished](/zh-CN/ai/reference/event-types#112) 事件 - `turns[].end.metadata` 在 `end.type` 为 `interrupted` 时新增 `playback_duration_ms` 和 `intended_playback_duration_ms`。 ## v2.13 [#v213] 该版本于 2026 年 9 月 18 日发布。 ### 改进 [#改进-1] #### 动态承接词支持多轮对话上下文 [#动态承接词支持多轮对话上下文] 该版本优化了动态承接词的生成能力。你可以通过 Agora Agents SDK 的 `FillerWordsConfig` 配置动态承接词使用的对话消息数量和历史文本长度，使承接词结合近期的用户和智能体消息生成更符合上下文的内容。详见[配置响应超时承接词](./build/shape-the-conversation/filler-words)。 你也可以直接调用 RESTful API 创建智能体，通过 [POST 创建对话式智能体](/zh-CN/api-reference/conversational-ai/rest-api/agent/join) 的 `context_message_limit` 和 `history_character_limit` 配置动态承接词使用的对话上下文。 ### API 变更 [#api-变更-1] #### 新增 [#新增-1] - Agora Agents SDK： - Go SDK 的 `FillerWordsContentGeneratedConfig` 新增 `ContextMessageLimit` 和 `HistoryCharacterLimit` - Python 和 TypeScript SDK 的 `FillerWordsContentGeneratedConfig` 新增 `context_message_limit` 和 `history_character_limit` - [POST 创建对话式智能体](/zh-CN/api-reference/conversational-ai/rest-api/agent/join) - `properties.filler_words.content.generated_config.context_message_limit`：对话消息数量上限。 - `properties.filler_words.content.generated_config.history_character_limit`：历史消息文本字符数上限。 ## v2.12 [#v212] 该版本于 2026 年 9 月 14 日发布。 ### 新增特性 [#新增特性] #### 调用自定义工具 [#调用自定义工具] 该版本为 Agora Agents SDK 的 LLM vendor 新增自定义工具配置能力。你可以通过 Go、Python 和 TypeScript SDK 声明模型可见的工具名称、说明、参数以及同步 `GET` 或 `POST` HTTPS 端点，让大模型根据对话内容选择工具并生成参数，再使用工具返回结果继续生成回复。详见[调用自定义工具](./build/shape-the-conversation/rest-tool)。 你也可以直接调用 RESTful API 创建智能体，通过 [POST 创建对话式智能体](/zh-CN/api-reference/conversational-ai/rest-api/agent/join) 的 `properties.advanced_features.enable_tools` 和 `properties.llm.tools` 开启和声明自定义工具的调用。 #### 根据对话动态生成承接词 [#根据对话动态生成承接词] 该版本为 Agora Agents SDK 中的 `FillerWordsConfig` 新增动态承接词配置能力。你可以通过 Go、Python 和 TypeScript SDK 配置动态模式、生成提示词和静态回退内容。详见[配置承接词](./build/shape-the-conversation/filler-words)。 如果你直接调用 RESTful API 创建智能体，也可以将 `properties.filler_words.content.mode` 设为 `generated`，并通过 `generated_config` 和 `static_config` 配置动态承接词及其静态回退内容。 #### 延后处理自定义指令 [#延后处理自定义指令] 该版本为 Agora Agents SDK 的 think action 新增 `append`。你可以在 Go、Python 和 TypeScript SDK 中将倾听、思考或说话状态的处理动作设为 `append`，使自定义指令不打断当前交互，而是在下一轮作为独立的 user 消息进入上下文并触发新一轮回复。 你也可以直接调用 [POST 发送自定义指令](/zh-CN/api-reference/conversational-ai/rest-api/agent/think)，将 `on_listening_action`、`on_thinking_action` 或 `on_speaking_action` 设为 `append`。 #### 客户端组件支持主动播报和注入指令 [#客户端组件支持主动播报和注入指令] 对话式 AI 引擎客户端组件新增 `speak` 和 `think` 方法。你可以在 Android、iOS 和 Web 客户端通过 `speak` 绕过大模型直接让智能体播报文本，也可以通过 `think` 将文本作为用户输入注入对话并交由大模型处理。两种方法均通过 RTM 发送消息，并支持配置消息优先级、打断行为以及 Think 指令在不同智能体状态下的处理动作。 ### API 变更 [#api-变更-2] #### 新增 [#新增-2] - Agora Agents SDK： - Go、Python 和 TypeScript SDK 的 LLM vendor 新增自定义工具配置 - Go、Python 和 TypeScript SDK 的 FillerWordsConfig 新增动态承接词配置能力 - Go、Python 和 TypeScript SDK 的 think action 类型新增 `append` - [POST 创建对话式智能体](/zh-CN/api-reference/conversational-ai/rest-api/agent/join) - `properties.llm.tools` 新增自定义工具配置 - `properties.filler_words.content.mode` 新增 `generated` - `properties.filler_words.content.generated_config` 新增动态承接词 Prompt 和静态回退策略配置 - [POST 发送自定义指令](/zh-CN/api-reference/conversational-ai/rest-api/agent/think) - `on_listening_action`，`on_thinking_action` 和 `on_speaking_action` 新增 `append` - 客户端组件 API： Android iOS Web - [`speak`](/zh-CN/api-reference/conversational-ai/android/iconversationalaiapi#speak) - [`think`](/zh-CN/api-reference/conversational-ai/android/iconversationalaiapi#think) - [`SpeakMessage`](/zh-CN/api-reference/conversational-ai/android/struct#speakmessage) - [`ThinkMessage`](/zh-CN/api-reference/conversational-ai/android/struct#thinkmessage) - [`ThinkListeningAction`](/zh-CN/api-reference/conversational-ai/android/enum#thinklisteningaction) - [`ThinkThinkingAction`](/zh-CN/api-reference/conversational-ai/android/enum#thinkthinkingaction) - [`ThinkSpeakingAction`](/zh-CN/api-reference/conversational-ai/android/enum#thinkspeakingaction) - [`speak`](/zh-CN/api-reference/conversational-ai/ios/conversationalaiapi#speak) - [`think`](/zh-CN/api-reference/conversational-ai/ios/conversationalaiapi#think) - [`SpeakMessage`](/zh-CN/api-reference/conversational-ai/ios/struct#speakmessage) - [`ThinkMessage`](/zh-CN/api-reference/conversational-ai/ios/struct#thinkmessage) - [`ThinkListeningAction`](/zh-CN/api-reference/conversational-ai/ios/enum#thinklisteningaction) - [`ThinkThinkingAction`](/zh-CN/api-reference/conversational-ai/ios/enum#thinkthinkingaction) - [`ThinkSpeakingAction`](/zh-CN/api-reference/conversational-ai/ios/enum#thinkspeakingaction) - [`speak`](/zh-CN/api-reference/conversational-ai/web/conversationalaiapi#speak) - [`think`](/zh-CN/api-reference/conversational-ai/web/conversationalaiapi#think) - [`SpeakMessage`](/zh-CN/api-reference/conversational-ai/web/struct#speakmessage) - [`ThinkMessage`](/zh-CN/api-reference/conversational-ai/web/struct#thinkmessage) - [`ThinkListeningAction`](/zh-CN/api-reference/conversational-ai/web/enum#thinklisteningaction) - [`ThinkThinkingAction`](/zh-CN/api-reference/conversational-ai/web/enum#thinkthinkingaction) - [`ThinkSpeakingAction`](/zh-CN/api-reference/conversational-ai/web/enum#thinkspeakingaction) ### 配置优化与参数下线通知 [#配置优化与参数下线通知] :::info[信息] v2.13 起，显式指定第三方 ASR vendor 但未配置 `properties.asr.params` 的请求将报错。其他配置暂不在 v2.13 立即下线，但建议尽快完成迁移。 ::: | 配置项 | 下线时间 | 影响说明 | 调整建议 | | --- | --- | --- | --- | | 指定第三方 ASR vendor 时 `properties.asr.params` 为空 | **v2.13** | 创建智能体请求将报错 | 使用默认 vendor：`fengming`；或为 vendor 补齐 `properties.asr.params` | | VAD 参数 `properties.vad.*` | 后续版本 | 后续不再保证判停行为生效 | 尽快迁移至 `properties.turn_detection.config` | | `properties.turn_detection` 平铺参数 | 后续版本 | 后续不再保证判停和打断行为生效 | 尽快迁移至新版 `properties.turn_detection.config` 和 `properties.interruption` 配置 | | `turn_detection.start_of_speech.mode` = `keywords` / `disabled` 的打断模式 | 后续版本 | 后续不再保证打断行为生效 | 尽快迁移至 `properties.interruption` 配置 | | `properties.silence_timeout` 和 `properties.llm.silence_message` | 后续版本 | 静音提示行为可能失效 | 尽快迁移至 `properties.parameters.silence_config` | ## v2.11 [#v211] 该版本于 2026 年 8 月 11 日发布。 ### 新增特性 [#新增特性-1] #### 凤鸣 ASR 支持配置热词 [#凤鸣-asr-支持配置热词] 该版本为 Agora Agents SDK 中的凤鸣 ASR vendor 新增热词配置能力。你可以在使用凤鸣 ASR 时，通过 Go、Python 和 TypeScript SDK 配置专有名词、品牌词、业务关键词等热词，提升指定词汇的识别效果。详见[配置 ASR 热词](./build/custom-model-integration/asr-keywords)。 你也可以直接调用 RESTful API 创建智能体，通过 [POST 创建对话式智能体](/zh-CN/api-reference/conversational-ai/rest-api/agent/join) 接口新增的 `properties.asr.keywords` 配置热词。 ### 改进 [#改进-2] #### 提升长音频回复场景下的稳定性 [#提升长音频回复场景下的稳定性] 该版本优化了智能体处理长音频流式回复时的资源保护和异常恢复逻辑，降低模型持续输出大量音频数据时，智能体异常断连或恢复失败的概率。提升长回复、自由对话等场景下的服务稳定性。 ### API 变更 [#api-变更-3] #### 新增 [#新增-3] - Agora Agents SDK： - Go SDK 的 [`NewFengmingSTT`](/zh-CN/api-reference/conversational-ai/agent-go#newfengmingstt) 新增 `FengmingSTTOptions.Keywords` - Python SDK 的 [`FengmingSTT`](/zh-CN/api-reference/conversational-ai/agent-python#fengmingstt) 新增 `keywords` - TypeScript SDK 的 [`FengmingSTT`](/zh-CN/api-reference/conversational-ai/agent-typescript#fengmingstt) 新增 `keywords` - [POST 创建对话式智能体](/zh-CN/api-reference/conversational-ai/rest-api/agent/join) - `properties.asr.keywords` 新增 ASR 热词配置 ## v2.10 [#v210] 该版本于 2026 年 7 月 22 日发布。 ### 新增特性 [#新增特性-2] #### 支持通过 OpenAI TTS 协议接入自研或第三方 TTS 引擎 [#支持通过-openai-tts-协议接入自研或第三方-tts-引擎] 该版本在 Agora Agents SDK 中新增 `GenericTTS` vendor。只要你的 TTS 服务兼容 OpenAI TTS 协议，即可通过 SDK 将自研 TTS、私有化部署 TTS 或第三方 TTS 服务接入为对话式智能体的语音合成模块，便于集成到实时对话流程中。详见[通过 Agents SDK 接入自定义 TTS](/zh-CN/ai/build/custom-model-integration/custom-tts-agent)。 如果你直接调用 RESTful API 创建智能体，也可以使用 [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join) 接口新增的 `generic_http` TTS 配置。详见[通过 RESTful API 接入自定义 TTS](/zh-CN/ai/build/custom-model-integration/custom-tts)。 #### 客户端组件支持手动控制用户说话开始和结束 [#客户端组件支持手动控制用户说话开始和结束] 对话式 AI 引擎客户端组件新增手动 SoS/EoS 能力。你可以在 Android、iOS 和 Web 客户端通过组件 API 向智能体发送手动开始说话和结束说话信令，并监听服务端返回的处理结果。该能力适用于 AI 面试、互动答题、对讲机等需要由端侧显式控制用户回合边界的场景。详见[手动控制说话开始和结束](/zh-CN/ai/build/shape-the-conversation/manual-turn-control)。 ### API 变更 [#api-变更-4] #### 新增 [#新增-4] - Agora Agents SDK： - Go SDK 新增 [`NewGenericTTS`](/zh-CN/api-reference/conversational-ai/agent-go#newgenerictts)。 - Python SDK 新增 [`GenericTTS`](/zh-CN/api-reference/conversational-ai/agent-python#generictts)。 - TypeScript SDK 新增 [`GenericTTS`](/zh-CN/api-reference/conversational-ai/agent-typescript#generictts)。 - [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)： - `tts.vendor` 新增 `generic_http` 取值。 - `tts.url` 新增 TTS 服务地址配置，仅当 `tts.vendor` 为 `generic_http` 时需要配置。 - `tts.headers` 新增 TTS 请求头配置，仅当 `tts.vendor` 为 `generic_http` 时需要配置。 - `tts.params` 新增 `generic_http` TTS 配置参数。 Android iOS Web **Android 客户端组件 API** - [`manualSOS`](/zh-CN/api-reference/conversational-ai/android/iconversationalaiapi#manualsos) - [`manualEOS`](/zh-CN/api-reference/conversational-ai/android/iconversationalaiapi#manualeos) - [`onUserManualSosEvent`](/zh-CN/api-reference/conversational-ai/android/iconversationalaiapieventhandler#onusermanualsosevent) - [`onUserManualEosEvent`](/zh-CN/api-reference/conversational-ai/android/iconversationalaiapieventhandler#onusermanualeosevent) - [`onAgentManualEosEvent`](/zh-CN/api-reference/conversational-ai/android/iconversationalaiapieventhandler#onagentmanualeosevent) - [`UserManualEventPayload`](/zh-CN/api-reference/conversational-ai/android/struct#usermanualeventpayload) - [`UserManualSosEvent`](/zh-CN/api-reference/conversational-ai/android/struct#usermanualsosevent) - [`UserManualEosEvent`](/zh-CN/api-reference/conversational-ai/android/struct#usermanualeosevent) - [`AgentManualEosPayload`](/zh-CN/api-reference/conversational-ai/android/struct#agentmanualeospayload) - [`AgentManualEosEvent`](/zh-CN/api-reference/conversational-ai/android/struct#agentmanualeosevent) **iOS 客户端组件 API** - [`manualSOS`](/zh-CN/api-reference/conversational-ai/ios/conversationalaiapi#manualsos) - [`manualEOS`](/zh-CN/api-reference/conversational-ai/ios/conversationalaiapi#manualeos) - [`onUserManualSosEvent`](/zh-CN/api-reference/conversational-ai/ios/conversationalaiapieventhandler#onusermanualsosevent) - [`onUserManualEosEvent`](/zh-CN/api-reference/conversational-ai/ios/conversationalaiapieventhandler#onusermanualeosevent) - [`onAgentManualEosEvent`](/zh-CN/api-reference/conversational-ai/ios/conversationalaiapieventhandler#onagentmanualeosevent) - [`UserManualEventPayload`](/zh-CN/api-reference/conversational-ai/ios/struct#usermanualeventpayload) - [`UserManualSosEvent`](/zh-CN/api-reference/conversational-ai/ios/struct#usermanualsosevent) - [`UserManualEosEvent`](/zh-CN/api-reference/conversational-ai/ios/struct#usermanualeosevent) - [`AgentManualEosPayload`](/zh-CN/api-reference/conversational-ai/ios/struct#agentmanualeospayload) - [`AgentManualEosEvent`](/zh-CN/api-reference/conversational-ai/ios/struct#agentmanualeosevent) **Web 客户端组件 API** - [`manualSOS`](/zh-CN/api-reference/conversational-ai/web/conversationalaiapi#manualsos) - [`manualEOS`](/zh-CN/api-reference/conversational-ai/web/conversationalaiapi#manualeos) - [`EConversationalAIAPIEvents`](/zh-CN/api-reference/conversational-ai/web/enum#econversationalaiapievents) 新增 `USER_MANUAL_SOS_RESULT`、`USER_MANUAL_EOS_RESULT` 和 `AGENT_MANUAL_EOS_RESULT` 事件。 - [`TUserManualEventPayload`](/zh-CN/api-reference/conversational-ai/web/struct#tusermanualeventpayload) - [`TUserManualSosEvent`](/zh-CN/api-reference/conversational-ai/web/struct#tusermanualsosevent) - [`TUserManualEosEvent`](/zh-CN/api-reference/conversational-ai/web/struct#tusermanualeosevent) - [`TAgentManualEosPayload`](/zh-CN/api-reference/conversational-ai/web/struct#tagentmanualeospayload) - [`TAgentManualEosEvent`](/zh-CN/api-reference/conversational-ai/web/struct#tagentmanualeosevent) ## v2.9 [#v29] 该版本于 2026 年 7 月 1 日发布。 该版本调整了 POST 创建对话式智能体 接口中不可打断开场白场景下的用户输入处理行为。 ### 升级必看 [#升级必看] #### 开场白播放期间用户输入延后处理 [#开场白播放期间用户输入延后处理] 自该版本起，当 `llm.greeting_configs.interruptable = false` 时，系统会在开场白播放期间静默接收用户 ASR 结果；待开场白播放结束后，再将期间收集到的多段 ASR 文本拼接成单轮 user 消息，统一送入大模型进行一次推理和回复。 ### 新增特性 [#新增特性-3] #### 手动控制用户说话开始和结束 [#手动控制用户说话开始和结束] 该版本为 [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join) 接口的 `turn_detection.config.start_of_speech.mode` 和 `turn_detection.config.end_of_speech.mode` 新增 `manual` 取值。你可以根据业务场景分别将用户开始说话或结束说话的检测方式设为手动。对于设置为 `manual` 的一侧，服务端不再自动检测，而是由客户端通过 RTM 信令显式提交对应的回合边界。 该能力适用于长回答、对讲机、面试、答题等对用户回合边界控制要求较高的场景，可减少用户停顿、思考或语气词被误判为结束说话的情况。详情见[手动控制说话开始和结束](/zh-CN/ai/build/shape-the-conversation/manual-turn-control)。 #### 获取智能体状态 [#获取智能体状态] 该版本新增通过 RTM Message 获取智能体状态的能力。开启 RTM 服务并将 `data_channel` 设置为 `rtm` 后，你可以直接监听 `state.listening`、`state.thinking` 和 `state.speaking` 等状态事件，以消息事件的方式感知智能体状态变化。详见[获取智能体状态](/zh-CN/ai/build/handle-runtime-events/get-agent-state)。 #### 开场白支持录音 URL 导入 [#开场白支持录音-url-导入] 该版本为 [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join) 接口新增录音开场白能力。你可以通过 `llm.greeting_audio_url` 配置公网可访问的录音文件 URL，让智能体在用户加入频道后优先播放录音作为开场白。 当前支持 `mp3`、`wav` 和 `pcm` 三种格式。当录音下载失败、超时、格式不支持或解码失败时，系统会自动回退到 `greeting_message` 的 TTS 路径，确保用户仍能听到完整开场白。 #### 支持 Spatius 数字人 [#支持-spatius-数字人] 该版本为 [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join) 接口新增对 Spatius 数字人供应商的支持。你可以将 `avatar.vendor` 设为 `spatius`，并通过 `avatar.params` 配置 `spatius_api_key`、`spatius_app_id`、`spatius_avatar_id`、`agora_uid` 等参数，在对话式智能体中接入 Spatius 数字人能力。 ### API 变更 [#api-变更-5] #### 新增 [#新增-5] - [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join) - `turn_detection.config.start_of_speech.mode` 新增 `manual` 取值 - `turn_detection.config.end_of_speech.mode` 新增 `manual` 取值 - `avatar.vendor` 新增 `spatius` 取值 - `avatar.params` 新增 Spatius 数字人配置参数 - [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join) 新增 `llm.greeting_audio_url` - [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join) 新增 `llm.greeting_configs.audio_download_timeout_ms` - [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join) 新增 `llm.greeting_configs.audio_pcm_sample_rate` ## v2.8 [#v28] 该版本于 2026 年 6 月 9 日发布。 ### 升级必看 [#升级必看-1] #### `properties.idle_timeout` 行为变更 [#propertiesidle_timeout-行为变更] 该版本调整了 [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)接口中 `properties.idle_timeout` 的行为定义。自该版本起，将 `properties.idle_timeout` 设为 `0` 仅表示不因“频道空闲超时”退出，并不表示智能体可以无限期运行。且无论该字段取值为何，单次任务的最长运行时间均为 72 小时，达到上限后智能体会自动退出。 此外，[`102 agent left` 事件](/zh-CN/ai/reference/event-types#102-agent-left)补充了任务达到最长运行时长上限时的退出原因，返回 `Task lifetime limit exceeded`。 这项变更会影响依赖 `idle_timeout = 0` 实现长时间运行的集成逻辑。如果你的业务此前将 `0` 视为“仅在手动退出时停止”，需要按新的运行时限制调整任务调度和生命周期管理逻辑。 ### 新增特性 [#新增特性-4] #### 配置是否留存会话数据 [#配置是否留存会话数据] 自该版本起，为保障服务运行、智能体迭代调优与故障排查，默认在最短必要周期内临时留存会话交互文本、音频。同时，考虑到部分场景存在安全与合规要求，该版本为 [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)接口新增 `parameters.opt_out` 字段，支持客户按需选择关闭当前会话数据留存。 #### RTC Token 即将过期预警 [#rtc-token-即将过期预警] 该版本为消息通知服务新增 `104 agent expire` 事件。当智能体使用的 RTC Token 即将过期时，平台会主动向你的业务服务器发送预警通知，帮助你提前感知 Token 生命周期状态。 收到该事件后，你可以立即调用 [POST 更新智能体配置](/zh-CN/api-reference/api-ref/conversational-ai/update) 接口并传入新的 `properties.token`，完成 Token 刷新，避免因 Token 过期影响智能体继续在频道内提供服务。该事件仅用于预警，智能体在收到预警时不会退出频道，也不会中断当前会话。详见[事件类型](/zh-CN/ai/reference/event-types#104-agent-expire)。 ### 改进 [#改进-3] #### 智能体短期记忆新增语音时间相关字段 [#智能体短期记忆新增语音时间相关字段] 该版本为消息通知服务的 `103 agent history` 事件以及 [GET 获取智能体短期记忆](/zh-CN/api-reference/api-ref/conversational-ai/history)接口新增 `speech_start_ms`、`speech_end_ms` 和 `speech_algorithmic_delay` 字段。上述字段仅在 `llm.vendor = custom` 时返回，用于定位用户语音输入和智能体 TTS 播报在音频中的位置；其中，`speech_algorithmic_delay` 可进一步辅助对齐云录制原始音频时间戳。详见[事件类型](/zh-CN/ai/reference/event-types#103-agent-history)和[获取智能体短期记忆](/zh-CN/api-reference/api-ref/conversational-ai/history)。 ### API 变更 [#api-变更-6] #### 新增 [#新增-6] - [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)新增 `parameters.opt_out` - [`103 agent history` 事件](/zh-CN/ai/reference/event-types#103-agent-history)新增 `contents[].speech_start_ms`、`contents[].speech_end_ms` 和 `contents[].speech_algorithmic_delay` - [GET 获取智能体短期记忆](/zh-CN/api-reference/api-ref/conversational-ai/history)响应新增 `contents[].speech_start_ms`、`contents[].speech_end_ms` 和 `contents[].speech_algorithmic_delay` - [消息通知事件](/zh-CN/ai/reference/event-types#104-agent-expire)新增事件 `104 agent expire` #### 变更 [#变更] - [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join) 的 `properties.idle_timeout` - 补充取值范围 `[0, 259200]`，其中 259200 秒即 72 小时 - `0` 仅表示不因频道空闲超时退出 - 无论 `idle_timeout` 取值为何，单次任务最长运行时间均为 72 小时 ## v2.7 [#v27] 该版本于 2026 年 5 月 20 日发布。 ### 升级必看 [#升级必看-2] #### 响应状态码优化 [#响应状态码优化] 该版本调整了 RESTful API 的响应状态码和错误原因（`reason`）定义，新增了 `401`、`429` 和 `500` 等状态码，并新增 `ServiceNotEnabled`、`AccountSuspended` 和 `ResourceAllocationFailed` 等 `reason`，同时将原 `InvalidRequest` 细分为 `InvalidRequestBody`、`MissingRequiredField` 和 `InvalidFieldValue`。详见[响应状态码](/zh-CN/api-reference/conversational-ai/rest-api/api/response-code)。 这项变更会影响依赖 `reason` 做错误处理的集成逻辑。若你的业务中存在基于原 `InvalidRequest` 的分支判断、重试策略或告警规则，需要按新返回值更新兼容逻辑。 #### 查询对话轮次信息接口改为分页返回 [#查询对话轮次信息接口改为分页返回] 自该版本起，[GET 查询对话轮次信息](/zh-CN/api-reference/api-ref/conversational-ai/turns)接口不再返回全部对话轮次数据，改为分页返回。默认请求第 1 页，且默认每页返回 50 个对话轮次的数据。 这项变更会影响查询对话轮次数超过 50 的单个会话。你需要适配响应 Body 新增的分页相关字段（`total_turn_count` 和 `pagination`），根据分页信息补全后续页面的数据，详见[查询对话轮次信息](/zh-CN/api-reference/api-ref/conversational-ai/turns)。 此外，该版本新增 `112 turns finished` 消息通知事件，用于在会话结束后按批次回调对话轮次数据，便于你进行更灵活的数据分析与处理。详见[事件类型](/zh-CN/ai/reference/event-types#112)。 #### 发送自定义指令接口行为与动作模型优化 [#发送自定义指令接口行为与动作模型优化] 该版本为 [POST 发送自定义指令](/zh-CN/api-reference/api-ref/conversational-ai/think)接口的 `on_listening_action` 参数新增 `interrupt` 动作，用于在智能体处于倾听状态时立即响应发送自定义指令的内容，而用户语音识别出的文本会在后续单独响应。 这项变更会影响在智能体处于倾听状态时发送自定义指令的默认行为。上一版本中，在智能体处于倾听状态时发送自定义指令，默认会按 `inject` 方式处理；自该版本起，该场景改为默认按新增的 `interrupt` 方式处理。 ### 新增特性 [#新增特性-5] #### 配置问候语是否可被打断 [#配置问候语是否可被打断] 该版本为 [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)接口新增 `llm.greeting_configs.interruptable` 字段，用于控制智能体问候语播报期间是否允许被用户打断。 ### API 变更 [#api-变更-7] #### 新增 [#新增-7] - [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)新增 `llm.greeting_configs.interruptable` - [GET 查询对话轮次信息](/zh-CN/api-reference/api-ref/conversational-ai/turns) - 查询参数新增 `page_index` 和 `page_size` 字段 - 响应 Body 新增 `agent_id`、`name`、`channel`、`total_turn_count` 和 `pagination` 字段 - [POST 发送自定义指令](/zh-CN/api-reference/api-ref/conversational-ai/think) 的 `on_listening_action` 新增 `interrupt` ## v2.6 [#v26] 该版本于 2026 年 4 月 22 日发布。 ### 升级必看 [#升级必看-3] #### 对话检测与打断能力架构重构 [#对话检测与打断能力架构重构] 该版本从原有 `turn_detection` 字段剥离了**打断决策**能力，专注于**轮次检测**；同时全新新增同级配置模块 `interruption`，统一管理全局打断策略。 **`turn_detection` 能力精简** 原 `turn_detection` 字段承载语音检测、语义判定、打断开关、关键词打断等逻辑，2.6 版本仅保留纯对话轮次检测能力，专注负责用户开始说话（SOS）、结束说话（EOS）的 VAD 语音检测与语义识别，只输出语音事件信号，不再承载任何业务层打断控制逻辑。 **新增 `interruption` 全局打断模块** 该版本为 [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)接口新增 `properties.interruption` 字段，用于统一配置智能体被用户打断的行为策略。该字段将原有内嵌在 `turn_detection` 中的打断开关与执行能力统一抽离迁移至该模块；支持全局一键开关打断功能，提供人声触发打断、关键词打断两种模式，同时可配置关闭打断后的后置策略（追加录入 / 直接忽略），适配更多业务场景的防误打断、免打扰交互诉求。 **配置迁移说明** 原 V2.5 版本中 `turn_detection.config.start_of_speech` 下的 `keywords` 和 `disabled` 打断模式及对应配置字段废弃，需迁移至 `interruption` 同级配置中完成适配升级。 ### 新增特性 [#新增特性-6] #### 配置智能体问候语播报延迟时间 [#配置智能体问候语播报延迟时间] 该版本为 [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)接口新增 `llm.greeting_configs.delay_ms` 字段，用于配置智能体问候语的播报延迟时间。配置后，智能体问候语会在用户加入频道后等待指定时间再播报。该功能可用于确保用户正常听到问候语。 #### 自定义 LLM 请求头信息 [#自定义-llm-请求头信息] 该版本为 [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)接口新增 `llm.headers` 字段，用于请求 LLM 时附带自定义请求 Header。如果你接入的 LLM 服务要求在请求 Header 中携带特定信息，如租户标识、业务自定义字段等业务相关信息，你可以通过该字段透传这些信息。 #### 新增智能体状态回调 [#新增智能体状态回调] 对话式 AI 引擎客户端组件新增三个用于分别监听智能体的倾听 (Listening)、思考 (Thinking) 和说话 (Speaking) 状态变化的细粒度状态回调。这些回调是对原有智能体状态变化回调 (`onAgentStateChanged`) 的补充，便于你更精细地驱动界面状态和业务逻辑。 #### 发送自定义指令 [#发送自定义指令] 该版本新增 [POST 发送自定义指令](/zh-CN/api-reference/api-ref/conversational-ai/think)接口，用于将一段文本作为用户输入注入现有对话链路，并由对话式 AI 引擎继续按照普通用户输入的处理逻辑进行推理和响应。该能力适用于以下场景： - 隐式指令注入：在不通过 ASR 模块处理语音输入的情况下静默注入业务提示或前置设定。 - 客户端事件触发：将按钮点击、页面切换等客户端事件转换为文本注入，让智能体结合当前对话状态做出响应。 - 语音与文本协同：在用户说话的同时补充文本信息，由对话式 AI 引擎合并输入后，LLM 统一处理。 该接口支持通过 `on_listening_action`、`on_thinking_action` 和 `on_speaking_action` 分别配置智能体处于不同状态时的处理方式： - `inject`：注入当前轮次，不打断当前轮次。 - `interrupt`：打断当前状态，并发起新一轮对话。 - `ignore`：忽略本次请求。 ### 改进 [#改进-4] 该版本为消息通知服务所有事件回调和 [GET 查询智能体状态](/zh-CN/api-reference/api-ref/conversational-ai/query)接口响应体新增 `name` 字段，用于返回智能体名称。你可以使用该字段定位和关联业务实例。 ### API 变更 [#api-变更-8] #### 废弃 [#废弃] - [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)废弃： - `properties.turn_detection.config.start_of_speech.mode` 的 `keywords` 模式及对应配置字段 - `properties.turn_detection.config.start_of_speech.mode` 的 `disabled` 模式及对应配置字段 #### 新增 [#新增-8] - [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)新增 - `properties.llm.greeting_configs.delay_ms` - `properties.llm.headers` - `properties.interruption` - 新增 [POST 发送自定义指令](/zh-CN/api-reference/api-ref/conversational-ai/think) - [GET 查询智能体状态](/zh-CN/api-reference/api-ref/conversational-ai/query)响应新增 `name` - 客户端组件 API： Android iOS Web - [`onAgentListeningChanged`](/zh-CN/api-reference/conversational-ai/android/iconversationalaiapieventhandler#onagentlisteningchanged) - [`onAgentThinkingChanged`](/zh-CN/api-reference/conversational-ai/android/iconversationalaiapieventhandler#onagentthinkingchanged) - [`onAgentSpeakingChanged`](/zh-CN/api-reference/conversational-ai/android/iconversationalaiapieventhandler#onagentspeakingchanged) - [`onAgentListeningChanged`](/zh-CN/api-reference/conversational-ai/ios/conversationalaiapieventhandler#onagentlisteningchanged) - [`onAgentThinkingChanged`](/zh-CN/api-reference/conversational-ai/ios/conversationalaiapieventhandler#onagentthinkingchanged) - [`onAgentSpeakingChanged`](/zh-CN/api-reference/conversational-ai/ios/conversationalaiapieventhandler#onagentspeakingchanged) [`EConversationalAIAPIEvents`](/zh-CN/api-reference/conversational-ai/web/enum#econversationalaiapievents) 新增 - `AGENT_LISTENING_CHANGED` - `AGENT_THINKING_CHANGED` - `AGENT_SPEAKING_CHANGED` ## v2.5 [#v25] 该版本于 2026 年 3 月 30 日发布。 ### 新增特性 [#新增特性-7] #### 优雅打断支持判断对话暂停意图 [#优雅打断支持判断对话暂停意图] 该版本为 [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)接口的 `turn_detection.config.end_of_speech.semantic_config` 字段新增 `pause_state_enabled` 字段，用于配置智能体是否识别用户的暂停意图。开启后（默认开启），当用户说"等一下"、"稍等"等暂停词时，智能体将判断为暂停意图，等待用户后续输入而非立即响应。 #### 实时更新 TTS 参数 [#实时更新-tts-参数] 接入[自定义大模型](/zh-CN/ai/build/custom-model-integration/custom-llm)场景下，该版本新增支持在用户和智能体互动期间实时更新 TTS 参数，实现更沉浸的对话交互体验。该功能可应用于以下场景： - 自定义大模型识别到用户要求智能体换一个声音。 - 自定义大模型识别到用户高兴的情绪时，实时提高 TTS 的音量、音调和语速等，使智能体的回应更符合用户的心情。 实现方式可参考[实时更新 TTS 参数](/zh-CN/ai/build/custom-model-integration/custom-llm#实时更新-tts-参数)。 #### 查询对话轮次信息 [#查询对话轮次信息] 该版本新增 [GET 查询对话轮次信息](/zh-CN/api-reference/api-ref/conversational-ai/turns)接口，用于在与智能体对话结束后，查询本次会话的对话轮次信息，包含每个对话轮次的开始信息、结束信息和性能指标。 :::info[信息] 目前仅支持查询 7 天内的会话。 ::: ### API 变更 [#api-变更-9] #### 新增 [#新增-9] - [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)的 `properties.turn_detection.config.end_of_speech.semantic_config` 字段新增 `pause_state_enabled` 字段 - [GET 查询对话轮次信息](/zh-CN/api-reference/api-ref/conversational-ai/turns) ## v2.4 [#v24] 该版本于 2026 年 2 月 2 日发布。 ### 新增特性 [#新增特性-8] #### 接入 MCP 服务器 [#接入-mcp-服务器] 该版本为 [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)接口新增 `llm.mcp_servers` 字段，用于接入 MCP (Model Context Protocol) 服务器。你可以在创建智能体时配置 MCP 服务器，并开启工具调用 (`advanced_features.enable_tools` 设为 `true`)，让智能体调用外部服务提供的工具 (tools)，实现更复杂的业务逻辑。 #### 承接词功能 (Beta) [#承接词功能-beta] 该版本为 [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)接口新增 `filler_words` 字段，用于配置承接词功能。承接词功能可在 LLM 响应等待时播报承接词，缓解用户等待焦虑，提升对话流畅度。 ### 改进 [#改进-5] #### turn_detection 层级优化 [#turn_detection-层级优化] 该版本对 [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)接口的 `turn_detection` 字段进行了层级优化，采用 `mode` + `config` 的双字段配置方式，提供更灵活的对话轮次检测能力。 新的配置结构包括： **基础配置** - `mode`：对话轮次检测模式（当前支持 `default`） - `config.speech_threshold`：语音识别灵敏度 **对话开始检测 (Start of Speech, SoS)** `config.start_of_speech` 支持三种检测模式： - **VAD 模式** (`vad`)：基于语音活动检测触发，支持配置打断阈值、前缀填充和忽略词列表 - **关键词模式 (Beta)** (`keywords`)：基于关键词触发，智能体听到指定关键词后开始对话 - **禁用模式** (`disabled`)：禁用打断，支持追加或忽略策略 **对话结束检测 (End of Speech, EoS)** `config.end_of_speech` 支持两种检测模式： - **VAD 模式** (`vad`)：基于静音持续时间判定对话结束 - **语义模式** (`semantic`)：基于语义理解判定对话结束，支持配置最大等待时间 ### API 变更 [#api-变更-10] #### 废弃 [#废弃-1] - [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)废弃以下字段： - `turn_detection.interrupt_mode` - `turn_detection.interrupt_keywords` - `turn_detection.interrupt_duration_ms` - `turn_detection.prefix_padding_ms` - `turn_detection.silence_duration_ms` - `turn_detection.threshold` - `advanced_features.enable_aivad` #### 新增 [#新增-10] - [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)新增： - `advanced_features.enable_tools` - `llm.mcp_servers` - `filler_words` - `turn_detection.mode` - `turn_detection.config` ## v2.3 [#v23] 该版本于 2026 年 1 月 7 日发布。 ### 新增特性 [#新增特性-9] #### 配置 LLM 响应是否可打断 [#配置-llm-响应是否可打断] 接入自定义大模型并采用流式响应（SSE）的场景下，大模型的单次回复被切分为多个包 (Chunk) 进行传输。自该版本起，对话式 AI 引擎支持处理 `object` 为 `chat.completion.custom_metadata` 的**首包**响应，其中的 `metadata.interruptable` 字段用于配置 TTS 播报本次 LLM 响应时是否能被用户发言打断。该能力可用于确保智能体在播报法规、政策、产品定价等重要信息时，不被用户发言打断。更多信息可参考[配置 LLM 响应是否可打断](/zh-CN/ai/build/custom-model-integration/custom-llm#配置-llm-响应是否可打断)。 #### RTC 媒体内容加密 [#rtc-媒体内容加密] 该版本为 [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)接口新增 `properties.rtc` 字段，用于设置 RTC 媒体内容加密配置。你可以通过该配置加密 RTC 传输的音视频媒体内容，从而保障和智能体对话过程中的数据安全。 ### 改进 [#改进-6] 该版本将 [POST 停止对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/leave)接口改为异步响应，对话式 AI 引擎会在检查请求参数合法性后立即返回响应，无需等待智能体完全退出频道。 ### API 变更 [#api-变更-11] #### 新增 [#新增-11] - [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)新增 `properties.rtc` 字段 #### 修改 [#修改] - [POST 停止对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/leave)改为异步响应 ## v2.2 [#v22] 该版本于 2025 年 12 月 11 日发布。 ### 新增特性 [#新增特性-10] #### 智能体问候模式 [#智能体问候模式] 该版本为 [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)接口新增 `llm.greeting_configs.mode` 字段，用于设置智能体问候语播报模式，目前支持以下选项： - `"single_every"`：（默认）每次有用户加入空频道时，智能体都播报一次问候语。 - `"single_first"`：仅首位用户加入空频道时，智能体播报一次问候语。 ### API 变更 [#api-变更-12] #### 新增 [#新增-12] - [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)新增 `llm.greeting_configs.mode` 字段 ## v2.1 [#v21] 该版本于 2025 年 12 月 1 日发布。 ### 新增特性 [#新增特性-11] #### 动态变量 [#动态变量] 该版本为 [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)接口新增 `llm.template_variables` 字段，用于在智能体的 `system_messages`、`greeting_message`、`failure_message` 和 `parameters.silence_config.content` 的文本中插入变量。通过配置变量，对话式 AI 引擎可以自动将其替换为 `llm.template_variables` 中定义的对应值。 #### 自定义标签 [#自定义标签] 该版本为 [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)接口新增 `labels` 字段，用于让智能体携带自定义业务信息。这些自定义的标签会与智能体绑定，并在对话式 AI 引擎所有类型消息通知回调的 `payload` 字段中返回，用于实现自定义业务逻辑，例如标记活动 ID、客户分组、业务场景等。 ### API 变更 [#api-变更-13] #### 新增 [#新增-13] - [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)新增 - `llm.template_variables` - `labels` ## v2.0 [#v20] 该版本于 2025 年 11 月 6 日发布。 ### 升级必看 [#升级必看-4] #### 语音活动检测配置更变 [#语音活动检测配置更变] 该版本废弃了 [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)接口的 `vad` 字段，其中的所有配置项已迁移至 `turn_detection` 字段。 #### 客户端组件字幕 API 更名 [#客户端组件字幕-api-更名] 该版本对客户端组件字幕 API 中所有使用了 `transcription` 命名的 API、参数等更名为 `transcript`，具体如下： Android iOS Web - `onTranscriptionUpdated` 更名为 `onTranscriptUpdated` - `TranscriptionRenderMode` 更名为 `TranscriptRenderMode` - `TranscriptionType` 更名为 `TranscriptType` - `TranscriptionStatus` 更名为 `TranscriptStatus` - `Transcription` 更名为 `Transcript` - `onTranscriptionUpdated` 更名为 `onTranscriptUpdated` - `TranscriptionRenderMode` 更名为 `TranscriptRenderMode` - `TranscriptionType` 更名为 `TranscriptType` - `TranscriptionStatus` 更名为 `TranscriptStatus` - `Transcription` 更名为 `Transcript` - `TRANSCRIPTION_UPDATED` 更名为 `TRANSCRIPT_UPDATED` ### 新增特性 [#新增特性-12] #### 优雅退出 [#优雅退出] 该版本为 [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)接口新增 `parameters.farewell_config` 字段，用于设置智能体优雅退出功能。开启后，调用 [POST 停止对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/leave)接口让智能体退出频道时，会确保智能体处于静默状态后再离开频道。 #### 有感声纹识别 (Beta) [#有感声纹识别-beta] 该版本为选择性注意力锁定功能新增有感声纹识别模式，你可以在开始与智能体互动前，注册并上传最多 1 个声纹，后续互动期间，智能体将通过声纹识别用户身份，并抑制其他背景人声和环境噪音，确保对话专注度。如需体验有感声纹识别功能，请[联系技术支持](https://ticket.shengwang.cn)。 #### 关键词打断模式 [#关键词打断模式] 该版本为 [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)接口的 `turn_detection.interrupt_mode` 字段新增 `"keyword"` 选项，用于将智能体打断模式为关键词打断模式，你可以在 `turn_detection.interrupt_keywords` 字段中设置打断关键词。启用后，智能体听到列表中的关键词后会打断智能体当前行为。 #### 自适应打断模式 [#自适应打断模式] 该版本为 [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)接口的 `turn_detection.interrupt_mode` 字段新增 `"adaptive"` 选项，用于将智能体打断模式为自适应打断模式，启用后，智能体说话时，将自动调整打断相关参数，避免智能体被短暂人声误打断。 ### 改进 [#改进-7] #### MiniMax TTS 支持时间戳 [#minimax-tts-支持时间戳] 自该版本起，Minimax TTS 在文字转语音的同时会附带时间戳信息。该改进将有助于精确定位用户打断智能体说话的时间点，提升语音打断相关上下文信息的准确度。 #### 新增 TTS/ASR 可选 [#新增-ttsasr-可选] 该版本新增支持了以下供应商或模型，详见 [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)： - 新增 TTS： - 阿里云 CosyVoice TTS - 火山引擎双向流式 TTS - 阶跃星辰 TTS - 新增 ASR： - 讯飞云传统语音转写识别服务 - 讯飞云语音识别大模型服务 - 讯飞云方言自由说识别服务 ### API 变更 [#api-变更-14] #### 废弃 [#废弃-2] - [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)废弃 `vad` 字段 #### 新增 [#新增-14] - [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)新增： - `parameters.farewell_config` - `turn_detection.interrupt_mode.adaptive` - `turn_detection.interrupt_mode.keyword` - `turn_detection.interrupt_keywords` - `turn_detection.interrupt_duration_ms` （迁移自 `vad.interrupt_duration_ms`） - `turn_detection.prefix_padding_ms` （迁移自 `vad.prefix_padding_ms`） - `turn_detection.silence_duration_ms` （迁移自 `vad.silence_duration_ms`） - `turn_detection.threshold` （迁移自 `vad.threshold`） ## v1.7 [#v17] 该版本于 2025 年 7 月 29 日发布。 ### 新增特性 [#新增特性-13] #### 数字人 [#数字人] 该版本新增数字人功能，启用后，智能体可以结合第三方数字人供应商提供的能力，为智能体生成口型准确、形象逼真的数字人形象，提升与 AI 对话互动的沉浸感。你可以在调用 [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)接口时，将 `avatar.enable` 设置为 `true`，并配置 `avatar.vendor` 和 `avatar.params` 字段来启用数字人功能。 :::warning[注意] 开启数字人功能将产生 RTC 视频通话费用，详见 [RTC 计费说明](/zh-CN/realtime-media/rtc/reference/billing-strategy)。 ::: #### 无感声纹识别 [#无感声纹识别] 选择性注意力锁定新增无感声纹识别功能，该功能赋予 AI 精准识别用户声纹特征的能力，有效区分不同说话者。用户只需在对话初期大声、清晰地说话，即可提升 AI 对声音的锁定效果。无感声纹识别不仅可以智能屏蔽 95% 的环境人声、噪声，对 AI 对话更准确、高效，同时也适用于多人与 AI 对话的场景，实现更加多元化的对话式 AI 响应与服务。如需体验选择性注意力锁定功能，请[联系技术支持](https://ticket.shengwang.cn)。 #### 发送图片消息（Beta） [#发送图片消息beta] 对话式 AI 引擎客户端组件新增发送图片消息接口，支持将 URL 图片发送给大模型，并在后续与智能体对话时自动引用图片内容，让大模型根据图片内容生成更符合用户需求的回复。此外，本次客户端组件还新增了图片消息回执回调，用于确认图片消息发送是否成功。你可以参考[发送多模态消息](/zh-CN/ai/build/send-multimodal-messages)了解如何使用该功能。 :::warning[注意] - 发送图片消息功能目前处于 Beta 阶段，限时免费。 - 图片处理能力依赖于 LLM 供应商提供的能力，你需要确保你接入对话式 AI 引擎的 LLM 供应商支持图片处理。 ::: ### API 变更 [#api-变更-15] #### 新增 [#新增-15] - [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)新增 - `avatar.enable` - `avatar.vendor` - `avatar.params` - 客户端组件 API： Android iOS Web - [`chat`](/zh-CN/api-reference/conversational-ai/android/iconversationalaiapi#chat) - [`onMessageReceiptUpdated`](/zh-CN/api-reference/conversational-ai/android/iconversationalaiapieventhandler#onmessagereceiptupdated) - [`onMessageError`](/zh-CN/api-reference/conversational-ai/android/iconversationalaiapieventhandler#onmessageerror) - [`ChatMessage`](/zh-CN/api-reference/conversational-ai/android/struct#chatmessage) - [`ChatMessageType`](/zh-CN/api-reference/conversational-ai/android/struct#chatmessagetype) - [`ImageMessage`](/zh-CN/api-reference/conversational-ai/android/struct#imagemessage) - [`MessageReceipt`](/zh-CN/api-reference/conversational-ai/android/struct#messagereceipt) - [`MessageError`](/zh-CN/api-reference/conversational-ai/android/struct#messageerror) - [`chat`](/zh-CN/api-reference/conversational-ai/ios/conversationalaiapi#chat) - [`onMessageReceiptUpdated`](/zh-CN/api-reference/conversational-ai/ios/conversationalaiapieventhandler#onmessagereceiptupdated) - [`onMessageError`](/zh-CN/api-reference/conversational-ai/ios/conversationalaiapieventhandler#onmessageerror) - [`ChatMessage`](/zh-CN/api-reference/conversational-ai/ios/struct#chatmessage) - [`ChatMessageType`](/zh-CN/api-reference/conversational-ai/ios/enum#chatmessagetype) - [`ImageMessage`](/zh-CN/api-reference/conversational-ai/ios/struct#imagemessage) - [`MessageReceipt`](/zh-CN/api-reference/conversational-ai/ios/struct#messagereceipt) - [`MessageError`](/zh-CN/api-reference/conversational-ai/ios/struct#messageerror) - [`chat`](/zh-CN/api-reference/conversational-ai/web/conversationalaiapi#chat) - [`TMessageReceipt`](/zh-CN/api-reference/conversational-ai/web/struct#tmessagereceipt) - [`EChatMessagePriority`](/zh-CN/api-reference/conversational-ai/web/enum#echatmessagepriority) - [`EChatMessageType`](/zh-CN/api-reference/conversational-ai/web/enum#echatmessagetype) - [`IChatMessageBase`](/zh-CN/api-reference/conversational-ai/web/struct#ichatmessagebase) - [`IChatMessageImage`](/zh-CN/api-reference/conversational-ai/web/struct#ichatmessageimage) - [`EConversationalAIAPIEvents`](/zh-CN/api-reference/conversational-ai/web/enum#econversationalaiapievents) 新增 `MESSAGE_RECEIPT_UPDATED` 和 `MESSAGE_ERROR` 事件 - [`EModuleType`](/zh-CN/api-reference/conversational-ai/web/enum#emoduletype) 新增 `CONTEXT` 枚举值 - [`EAgentState`](/zh-CN/api-reference/conversational-ai/web/enum#eagentstate) 新增 `SILENT` 枚举值 ## v1.6 [#v16] 该版本于 2025 年 7 月 1 日发布。 ### 升级必看 [#升级必看-5] #### 支持 ASR 供应商开放可选 [#支持-asr-供应商开放可选] 为了提高对话式智能体配置的灵活性，自该版本起，语音识别 (ASR) 供应商开放自定义选择。[POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)接口新增 `asr.vendor` 字段和 `asr.params` 字段，分别用于设置 ASR 供应商和配置参数。当前支持配置： - （默认）凤鸣 ASR - 腾讯云 ASR - 微软 ASR 同时，**旧版对话式 AI 引擎服务费用**拆分出**凤鸣 ASR 处理费用**，当 ASR 服务采用默认的凤鸣 ASR 时，总价维持之前的版本不变，即**旧版对话式 AI 引擎服务费用** = **新版对话式 AI 引擎服务费用** + **凤鸣 ASR 处理费用**，当 ASR 服务采用其他供应商时，仅收取**新版对话式 AI 引擎服务费用**，详见[计费说明](/zh-CN/ai/reference/pricing)。 ### 新增特性 [#新增特性-14] #### 客户端组件 [#客户端组件] 为了提高对话式智能体的开发效率，声网提供了一套灵活可扩展、标准化的对话式 AI 引擎客户端组件。该组件支持 iOS、Android、Web 平台，封装了多个场景化 API，你只需要调用这些 API 即可结合声网[实时互动 (RTC) SDK](/zh-CN/realtime-media/rtc) 和[实时消息 (RTM) SDK](/zh-CN/realtime-media/rtm) 的能力实现以下功能： - [实时字幕](/zh-CN/ai/build/transcripts)：将用户与智能体的对话内容实时以文本输出并显示到终端界面上。该版本全面升级了字幕组件，提供更完善的功能支持、更强的可扩展性、更好的错误处理、更完善的会话管理和更强大的通信机制。 - [打断智能体](/zh-CN/ai/build/shape-the-conversation/interrupt-agent)：打断智能体说话和思考流程，让智能体“闭嘴”。 - [监听智能体相关事件](/zh-CN/ai/build/handle-runtime-events/event-notifications)：监听智能体对话状态变更、性能指标和错误事件。 - [设置最佳音频参数](/zh-CN/ai/build/harden-and-optimize/audio-setup)：快速设置音频参数最佳实践，提升对话式智能体的对话体验。 ### API 变更 [#api-变更-16] #### 新增 [#新增-16] - [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)新增 - `asr.vendor` - `asr.params` - `parameters.enable_metrics` - `parameters.data_channel` - `parameters.enable_error_message` - 客户端组件 API： - [Android](/zh-CN/api-reference/conversational-ai/android/overview) - [iOS](/zh-CN/api-reference/conversational-ai/ios/overview) - [Web](/zh-CN/api-reference/conversational-ai/web/overview) ## v1.5 [#v15] 该版本于 2025 年 6 月 6 日发布。 ### 新增特性 [#新增特性-15] #### TTS 过滤 [#tts-过滤] [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)接口新增 `tts.skip_patterns` 字段，用于控制 TTS 模块朗读 LLM 返回文本时，是否跳过指定括号内的内容，避免智能体播报不必要的结构性提示信息如语气、动作描述、系统提示等，提升听感自然度与沉浸感。 ### API 变更 [#api-变更-17] #### 新增 [#新增-17] [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)接口新增 `tts.skip_patterns` 字段。 ## v1.4 [#v14] 该版本于 2025 年 5 月 26 日发布。 ### 升级必看 [#升级必看-6] v1.4 版本对 [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)接口进行了以下变更，请在升级到该版本后更新相关代码。 #### RTM 认证管理 [#rtm-认证管理] 该版本废弃了 `agent_rtm_uid` 字段。开启 RTM 服务后，智能体加入 RTM 频道使用的 Token 和用户 ID 不再需要单独配置，而是会复用 `token` 和 `agent_rtc_uid` 字段配置的 Token 和用户 ID。你可以参考 [FAQ](/zh-CN/reference/faq/integration/rtc_rtm_token) 了解如何生成同时具备 RTC 和 RTM 权限的 Token。 #### 静默配置 [#静默配置] 该版本废弃了 [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)接口的 `silence_timeout` 和 `llm.silence_message` 字段，改用新增的 `parameters.silence_config` 字段配置智能体最大静默超时时长、静默提示方式和静默提示词。 ### 新增特性 [#新增特性-16] #### 支持微软 TTS [#支持微软-tts] 自该版本起，对话式 AI 引擎支持微软 TTS，你可以在调用 [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)接口时，将 `tts.vendor` 设置为 `microsoft` 来接入微软 TTS。 #### 人声打断模式 [#人声打断模式] 该版本为 [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)接口新增 `turn_detection.interrupt_mode` 字段，用于设置人声打断智能体行为的模式。当前支持以下三种模式： - `"interrupt"`：（默认）打断模式，人声立即打断智能体交互。智能体会终止当前交互，直接处理人声输入。 - `"append"`: 追加模式，人声不打断智能体。智能体会在当前交互结束后处理刚才收到的人声请求。 - `"ignore"`: 忽略模式，智能体忽略人声请求。如果智能体正在说话或思考中途收到人声，智能体会直接忽略并丢弃人声请求，不存入上下文。 #### 传递短期记忆 [#传递短期记忆] 该版本为 [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)接口新增 `llm.vendor` 字段，设置为 `"custom"` 后，智能体会在调用大模型时携带对话轮次 (`turn_id`) 和请求时间戳 (`timestamp`) 等信息。详见[传递记忆内容给大模型](/zh-CN/ai/build/shape-the-conversation/short-term-memory#传递记忆内容给大模型)。 ### 改进 [#改进-8] 该版本进行了以下改进： - 接入 Minimax TTS 时，新增支持透传 `emotion`、`latex_read`、`pronunciation_dict` 等字段，详见[示例代码](/zh-CN/api-reference/api-ref/conversational-ai/join)。 - 和智能体对话期间，智能体的实时状态支持通过数据流回调至 RTC SDK。 - [POST 更新智能体配置](/zh-CN/api-reference/api-ref/conversational-ai/update)接口新增 `llm.system_messages` 和 `llm.params` 字段，用于更新智能体调用大模型时携带的系统提示词和配置参数。 ### API 变更 [#api-变更-18] #### 新增 [#新增-18] - [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)新增： - `llm.vendor` - `turn_detection.interrupt_mode` - `parameters.silence_config` - [POST 更新智能体配置](/zh-CN/api-reference/api-ref/conversational-ai/update)新增： - `llm.system_messages` - `llm.params` #### 废弃 [#废弃-3] [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)废弃： - `agent_rtm_uid` - `silence_timeout` - `llm.silence_message` ## v1.3 [#v13] 该版本于 2025 年 4 月 16 日发布。 ### 集成必看 [#集成必看] #### 加油包 [#加油包] 自该版本起，你可以在控制台购买加油包，用于抵扣对话式 AI 引擎服务的实际用量，同时享受一定折扣，详见[计费说明](/zh-CN/ai/reference/pricing#计费方式)。 ### 新增特性 [#新增特性-17] #### 获取智能体短期记忆 [#获取智能体短期记忆] 用户和智能体之间的对话消息、智能体创建和停止的时间戳等会被存储在智能体的短期记忆中。该版本新增了以下两种方式获取智能体的短期记忆： - 调用 [GET 获取智能体短期记忆](/zh-CN/api-reference/api-ref/conversational-ai/history)接口获取指定运行中智能体的短期记忆。 - 通过[声网消息通知服务](/zh-CN/ai/build/handle-runtime-events/webhooks)订阅[智能体短期记忆事件](/zh-CN/ai/reference/event-types#103-agent-history)，当智能体停止时，声网将通过 Webhook 回调的方式自动发送智能体的短期记忆到你的业务服务器。 #### 支持智谱 AI 大模型 [#支持智谱-ai-大模型] 自该版本起，对话式 AI 引擎支持智谱 AI 大模型，你可以在调用 [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)接口时，将 `llm.url` 设置为智谱 AI 大模型的 API 地址来接入智谱 AI 大模型。 ### 改进 [#改进-9] #### 自定义播报信息优先级 [#自定义播报信息优先级] 该版本升级了 [POST 播报自定义信息](/zh-CN/api-reference/api-ref/conversational-ai/speak)接口，新增了两种与播报行为打断逻辑相关的配置： - `priority`：配置播报行为的优先级。支持配置打断并播报（高）、追加播报（中）和空闲时播报（低）三种优先级。 - `interruptable`：配置是否允许人声打断智能体播报。 #### 发送静默提示消息 [#发送静默提示消息] [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)新增 `silence_timeout` 和 `llm.silence_message` 参数，用于设置智能体最大静默时间和静默提示消息。智能体创建成功，且用户加入频道后，智能体不处于倾听、思考或说话状态的持续时间称为智能体静默时间，静默时间达到设定值后，智能体将播报中填写的静默提示消息。 ### API 变更 [#api-变更-19] #### 新增 [#新增-19] - [GET 获取智能体短期记忆](/zh-CN/api-reference/api-ref/conversational-ai/history) - [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)新增 `silence_timeout` 和 `llm.silence_message` 参数 - [POST 播报自定义信息](/zh-CN/api-reference/api-ref/conversational-ai/speak)新增 `priority` 和 `interruptable` 参数 ## v1.2 [#v12] 该版本于 2025 年 3 月 27 日发布。 ### 新增特性 [#新增特性-18] #### 播报自定义信息 [#播报自定义信息] 该版本新增 [POST 播报自定义信息](/zh-CN/api-reference/api-ref/conversational-ai/speak)接口，用于让指定智能体播报自定义消息。与智能体对话期间，调用该接口可以打断智能体说话和思考，并使用 TTS 模块立刻播报自定义消息。 #### 打断智能体 [#打断智能体] 该版本新增 [POST 打断智能体](/zh-CN/api-reference/api-ref/conversational-ai/interrupt)接口，用于打断指定智能体的说话和思考流程，让智能体“闭嘴”。 ### API 变更 [#api-变更-20] #### 新增 [#新增-20] - [POST 播报自定义信息](/zh-CN/api-reference/api-ref/conversational-ai/speak) - [POST 打断智能体](/zh-CN/api-reference/api-ref/conversational-ai/interrupt) ## v1.1 [#v11] 该版本于 2025 年 3 月 19 日发布。 ### 新增特性 [#新增特性-19] #### 传递自定义信息 [#传递自定义信息] [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)新增 `enable_rtm` 和 `agent_rtm_uid` 字段，用于为对话式智能体开启 RTM 功能。开启后，智能体可以结合 RTM SDK 提供的能力，获取用户的说话状态、选中的文字、个性签名、得分等自定义上下文信息，并将这些信息传递给智能体，引导智能体输出更符合用户需求的内容。详见[传递自定义信息](/zh-CN/ai/build/shape-the-conversation/custom-information)。 ### 改进 [#改进-10] 为了帮助你快速接入自定义大模型，该版本上线了[自定义大模型](/zh-CN/ai/build/custom-model-integration/custom-llm)文档，你可以参考文档中的示例代码将自定义大模型接入到对话式 AI 引擎中，实现检索增强生成（RAG）、多模态、工具调用等进阶能力。 ### API 变更 [#api-变更-21] #### 新增 [#新增-21] [POST 创建对话式智能体](/zh-CN/api-reference/api-ref/conversational-ai/join)新增 `enable_rtm` 和 `agent_rtm_uid` 字段 ## v1.0 GA [#v10-ga] 该版本于 2025 年 3 月 5 日发布。 ### 集成必看 [#集成必看-1] #### 计费说明 [#计费说明] 声网对话式 AI 引擎于 2025 年 3 月 5 日正式 GA 发布，并公布了产品定价：声网对话式 AI 引擎的计费规则，详见[计费说明](/zh-CN/ai/reference/pricing)。 #### SDK 版本要求 [#sdk-版本要求] 为了取得最好的对话体验效果，新版本声网对话式 AI 引擎建议与以下声网 SDK 搭配使用： - 声网 RTC Native SDK，v4.5.1 及以上版本 - 声网 RTC Web SDK，4.23.2 及以上版本 - 声网 RTSA C SDK，1.9.x 及以上版本 ### 新增特性 [#新增特性-20] #### 实时字幕 [#实时字幕] 自该版本起，声网提供开源的字幕处理模块，你只需要将模块集成到项目中，并调用模块的 API 即可快速实现实时字幕功能，将用户与智能体的对话内容实时以文本输出并显示到终端界面上，详见[实时字幕](/zh-CN/ai/build/transcripts)。 #### 消息通知服务 [#消息通知服务] 该版本新增对话式 AI 引擎消息通知服务，你可以在声网控制台设置消息通知服务地址，订阅智能体创建、停止或出错事件。当订阅的事件发生时，声网会调用你设置的回调地址，将事件详情发送至你的业务服务器。详见[消息通知服务](/zh-CN/ai/build/handle-runtime-events/webhooks)。 #### 热词 Beta [#热词-beta] 该版本新增热词功能，添加热词可以显著提升对话式 AI 引擎在专有词汇上的识别准确率。目前该功能处于 Beta 发布阶段，请[联系技术支持](https://ticket.shengwang.cn)开通。 ## v1.0 Public Beta [#v10-public-beta] 该版本于 2025 年 2 月 18 日发布。本次发版聚焦于提供自然流畅、低延迟、高可靠的实时语音对话能力，助力开发者快速构建智能化、沉浸式的交互体验。 ### 集成必看 [#集成必看-2] 1. 为了取得最好的对话体验效果，已[联系声网技术支持](https://ticket.shengwang.cn/)获取指定版本的实时互动 SDK。 2. 目前仅支持使用中文和英文与 AI 互动，其他语种需求[联系技术支持](https://ticket.shengwang.cn)反馈。 3. 目前单一 App ID 的并发用户数 (Peak Concurrent Users) 限制为 20， 如需提升配额，请[联系技术支持](https://ticket.shengwang.cn)申请。 ### 核心功能 [#核心功能] #### 实时语音对话 [#实时语音对话] 支持与 AI 进行自然流畅的实时语音对话，如同与真人交流，提供低延迟、极速响应的交互体验。 #### 端上降噪 [#端上降噪] SDK 会智能识别和消除背景噪音，即使在嘈杂的公共场所，都能够确保声音传输的清晰度，为用户提供高质量的对话体验。 #### 背景人声抑制 [#背景人声抑制] 智能抑制背景人声，精准保留对话人清晰语音，确保在多人声环境中仍能实现清晰、专注的交互体验。 #### 优雅打断 [#优雅打断] 支持用户随时打断 AI 并快速响应，实现自然过渡和流畅对话，避免机械式交互。 #### 智能传输 [#智能传输] 针对与 AI 智能体对话场景优化的传输算法，支持在弱网环境（如 80% 丢包率）下仍能稳定传输语音数据，确保对话的连续性和可靠性，适应多样化的复杂网络环境。 #### 灵活编排 [#灵活编排] 支持全球主流的 LLM（大语言模型）、TTS（语音合成） 适配，快速实现灵活编排，满足不同场景和业务需求，提供高度定制化的 AI 智能体对话解决方案。 #### 实时字幕 [#实时字幕-1] 支持用户与 AI 智能体的对话内容实时以文本输出并显示到终端界面上。 #### 多平台支持 [#多平台支持] 支持 iOS、Android、Web、 小程序、以及各类嵌入式硬件等客户端，提供跨平台的一致性和无缝集成体验，满足不同场景的应用需求。