原始视频数据
- React Native
更新时间不可用
registerVideoFrameObserver
注册原始视频观测器对象。
abstract registerVideoFrameObserver(observer: IVideoFrameObserver): number;如果你想要观测原始视频帧 (如 YUV 或 RGBA 格式)，声网推荐你通过该方法注册一个 IVideoFrameObserver 类。 调用该方法注册视频观测器时，你可以根据需要注册 IVideoFrameObserver 类中的回调。在成功注册视频观测器后，SDK 会在捕捉到每个视频帧时，触发你所注册的上述回调。
注： 在处理回调时，你需要考虑视频帧中 width 和 height 参数的变化，因为观测得到的视频帧可能会随以下情况变化：
- 当网络状况差时，分辨率会阶梯式下降。
- 当用户自行调整分辨率时，回调中报告的分辨率也会变化。
适用场景
注册原始视频观测器后，你可以将获取到的原始视频数据应用于各种视频前处理场景，例如自行实现虚拟背景、美颜等场景。
调用时机
该方法需要在加入频道前调用。
参数
| 参数名 | 描述 |
|---|---|
observer | 接口对象实例。详见 IVideoFrameObserver。 |
返回值
- 0：方法调用成功。
- < 0：方法调用失败。详见错误码了解详情和解决建议。
所属接口类
unregisterVideoFrameObserver
取消注册视频帧观测器。
abstract unregisterVideoFrameObserver(observer: IVideoFrameObserver): number;参数
| 参数名 | 描述 |
|---|---|
observer | 视频帧观测器，观测每帧视频的接收, 详见 IVideoFrameObserver。 |
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。详见错误码了解详情和解决建议。
所属接口类
onCaptureVideoFrame
获取本地设备采集到的视频数据。
onCaptureVideoFrame?(
sourceType: VideoSourceType,
videoFrame: VideoFrame
): void;你可以在回调中获取本地设备采集到的原始视频数据。
注：
- 如果你获取到的视频数据类型为 RGBA，SDK 不支持对 Alpha 通道的值进行处理。
- 建议你在修改
videoFrame中的参数时，需确保修改后的参数跟视频帧缓冲区中的视频帧实际情况保持一致，否则可能导致本地预览画面和对端的视频画面出现非预期的旋转、失真等问题。 - 建议你通过 C++ API 实现该回调。
- 由于框架的限制，该回调不支持将处理后的视频数据发送回 SDK。
触发时机
成功注册视频数据观测器后，SDK 捕捉到每个视频帧时。
参数
| 参数名 | 描述 |
|---|---|
sourceType | 视频源类型，可能的视频源包括：摄像头、屏幕或媒体播放器。详见 VideoSourceType。 |
videoFrame |
所属接口类
onFrame
已获取视频帧回调。
onFrame?(frame: VideoFrame): void;注册视频观测器后，每次接收到一帧视频时，都会触发该回调，报告视频帧信息。 建议你通过 C++ API 实现该回调。
参数
| 参数名 | 描述 |
|---|---|
frame | 视频帧信息，详见 VideoFrame。 |
所属接口类
onPreEncodeVideoFrame
获取本地视频编码前的视频数据。
onPreEncodeVideoFrame?(
sourceType: VideoSourceType,
videoFrame: VideoFrame
): void;成功注册视频数据观测器后，SDK 会在捕捉到每个视频帧时触发该回调。你可以在回调中获取编码前的视频数据，然后根据场景需要，对视频数据进行处理。 完成处理后，你可以在该回调中，传入处理后的视频数据将其发送回 SDK。
注：
- 建议你通过 C++ API 实现该回调。
- 由于框架的限制，该回调不支持将处理后的视频数据发送回 SDK。
- 此处获取的视频数据已经过前处理，如裁剪、旋转和美颜等。
- 建议你在修改
videoFrame中的参数时，需确保修改后的参数跟视频帧缓冲区中的视频帧实际情况保持一致，否则可能导致本地预览画面和对端的视频画面出现非预期的旋转、失真等问题。
参数
| 参数名 | 描述 |
|---|---|
sourceType | 视频源的类型。详见 VideoSourceType。 |
videoFrame |
所属接口类
onRenderVideoFrame
获取远端发送的视频数据。
onRenderVideoFrame?(
channelId: string,
remoteUid: number,
videoFrame: VideoFrame
): void;成功注册视频数据观测器后，SDK 会在捕捉到每个视频帧时触发该回调。你可以在回调中获取远端发送的渲染前的视频数据，然后根据场景需要，对视频数据进行处理。
注：
- 如果你获取到的视频数据类型为 RGBA，SDK 不支持对 Alpha 通道的值进行处理。
- 建议你通过 C++ API 实现该回调。
- 由于框架的限制，该回调不支持将处理后的视频数据发送回 SDK。
- 建议你在修改
videoFrame中的参数时，需确保修改后的参数跟视频帧缓冲区中的视频帧实际情况保持一致，否则可能导致本地预览画面和对端的视频画面出现非预期的旋转、失真等问题。
参数
| 参数名 | 描述 |
|---|---|
remoteUid | |
videoFrame | |
channelId |