了解插件

本文简要介绍声网云市场中插件的原理、类型和格式。

云市场的 Web 端插件需要与声网 Web SDK 4.x 搭配使用。建议你先浏览 Web 4.x API 参考，了解 SDK 的基本信息。

插件原理Copy Anchor Link

在声网云市场中：

• 插件服务商负责开发插件。插件服务商可以将滤镜、美颜、音效、变声等音视频处理能力封装为插件，发布在声网云市场上。
• App 开发者是插件的使用者。集成 SDK 后，开发者只需调用几个 API 就可以使用插件的音视频处理能力，增加 App 的互动性和趣味性。

Native 平台（Android、iOS、macOS、Windows）Copy Anchor Link

声网 SDK 的媒体传输管道通常包含采集、前处理、编码、传输、解码、后处理和播放环节。在前处理或后处理阶段，插件可以对管道中的音视频数据进行处理，从而实现变声、美颜等有趣的互动功能。

Web 平台Copy Anchor Link

通过插件的形式，服务商可以从声网 Web SDK 的媒体传输管道获取音视频数据，进行处理，然后返回给 SDK。

声网 Web SDK 的媒体传输管道通常包含采集、前处理、编码、传输、解码、后处理和播放环节。在前处理阶段，插件可以对管道中的音视频数据进行处理，从而实现 AI 降噪、背景分割等功能。

插件类型Copy Anchor Link

声网云市场目前支持两种类型的插件：

Native 平台（Android、iOS、macOS、Windows）Copy Anchor Link

• 音频插件：处理音频数据，提供音效、降噪等功能。在声网 SDK 的媒体传输通道中，音频插件的位置如下图所示：

• 视频插件：处理视频数据，提供滤镜、虚拟背景等功能。在声网 SDK 的媒体传输通道中，视频插件的位置如下图所示：

Web 平台Copy Anchor Link

• 音频插件：处理音频数据，提供音效、降噪等功能。声网 Web SDK 的媒体传输管道支持串联多个音频插件，每个音频插件都对应一个 Processor，具体位置如下图所示：

• 视频插件：处理视频数据，提供滤镜、虚拟背景等功能。声网 Web SDK 的媒体传输管道支持串联多个视频插件，每个视频插件都对应一个 Processor，具体位置如下图所示：

插件格式Copy Anchor Link

AndroidCopy Anchor Link

声网云市场支持 .aar 或 .so 格式的插件。

iOS、macOSCopy Anchor Link

声网云市场支持 .xcframework 或 .framework 格式的插件。

WindowsCopy Anchor Link

声网云市场支持 .dll 格式的插件。

WebCopy Anchor Link

声网云市场的 Web 端插件需要发布在 npm 上。插件正式上架之前，你需要向声网提供 npm 下载链接。