原始视频数据

  • Flutter

更新时间不可用

registerVideoFrameObserver

注册原始视频观测器对象。

Dart
void registerVideoFrameObserver(VideoFrameObserver observer);

如果你想要观测原始视频帧 (如 YUV 或 RGBA 格式),声网推荐你通过该方法注册一个 VideoFrameObserver 类。 调用该方法注册视频观测器时,你可以根据需要注册 VideoFrameObserver 类中的回调。在成功注册视频观测器后,SDK 会在捕捉到每个视频帧时,触发你所注册的上述回调。

注: 在处理回调时,你需要考虑视频帧中 width 和 height 参数的变化,因为观测得到的视频帧可能会随以下情况变化:

  • 当网络状况差时,分辨率会阶梯式下降。
  • 当用户自行调整分辨率时,回调中报告的分辨率也会变化。

适用场景

注册原始视频观测器后,你可以将获取到的原始视频数据应用于各种视频前处理场景,例如自行实现虚拟背景、美颜等场景。

调用时机

该方法需要在加入频道前调用。

参数

参数名描述
observer

接口对象实例。详见 VideoFrameObserver。

表格内容超出当前宽度,可横向滚动查看更多列。

返回值

方法成功调用时,无返回值;方法调用失败时,会抛出 AgoraRtcException 异常,你需要捕获异常并进行处理。详见错误码了解详情和解决建议。

  • < 0:方法调用失败。详见错误码了解详情和解决建议。

所属接口类

unregisterVideoFrameObserver

取消注册视频帧观测器。

Dart
void unregisterVideoFrameObserver(VideoFrameObserver observer);

参数

参数名描述
observer

视频帧观测器,观测每帧视频的接收, 详见 VideoFrameObserver。

表格内容超出当前宽度,可横向滚动查看更多列。

返回值

方法成功调用时,无返回值;方法调用失败时,会抛出 AgoraRtcException 异常,你需要捕获异常并进行处理。详见错误码了解详情和解决建议。

所属接口类

onCaptureVideoFrame

获取本地设备采集到的视频数据。

Dart
final void Function(VideoSourceType sourceType, VideoFrame videoFrame)?
      onCaptureVideoFrame;

你可以在回调中获取本地设备采集到的原始视频数据。

注:

  • 如果你获取到的视频数据类型为 RGBA,SDK 不支持对 Alpha 通道的值进行处理。
  • 建议你在修改 videoFrame 中的参数时,需确保修改后的参数跟视频帧缓冲区中的视频帧实际情况保持一致,否则可能导致本地预览画面和对端的视频画面出现非预期的旋转、失真等问题。
  • 由于框架的限制,该回调不支持将处理后的视频数据发送回 SDK。

触发时机

成功注册视频数据观测器后,SDK 捕捉到每个视频帧时。

参数

参数名描述
sourceType

视频源类型,可能的视频源包括:摄像头、屏幕或媒体播放器。详见 VideoSourceType。

videoFrame

视频帧数据。详见 VideoFrame。

注: 通过该回调获取的视频帧数据格式默认值如下:

  • Android:I420
  • iOS:I420
  • macOS:I420
  • Windows:YUV420
表格内容超出当前宽度,可横向滚动查看更多列。

所属接口类

onFrame

已获取视频帧回调。

Dart
final void Function(VideoFrame frame)? onFrame;

注册视频观测器后,每次接收到一帧视频时,都会触发该回调,报告视频帧信息。

参数

参数名描述
frame

视频帧信息,详见 VideoFrame。

表格内容超出当前宽度,可横向滚动查看更多列。

所属接口类

onPreEncodeVideoFrame

获取本地视频编码前的视频数据。

Dart
final void Function(VideoFrame videoFrame)? onPreEncodeVideoFrame;

成功注册视频数据观测器后,SDK 会在捕捉到每个视频帧时触发该回调。你可以在回调中获取编码前的视频数据,然后根据场景需要,对视频数据进行处理。

注:

  • 由于框架的限制,该回调不支持将处理后的视频数据发送回 SDK。
  • 此处获取的视频数据已经过前处理,如裁剪、旋转和美颜等。
  • 建议你在修改 videoFrame 中的参数时,需确保修改后的参数跟视频帧缓冲区中的视频帧实际情况保持一致,否则可能导致本地预览画面和对端的视频画面出现非预期的旋转、失真等问题。

参数

参数名描述
sourceType

视频源的类型。详见 VideoSourceType。

videoFrame

视频帧数据。详见 VideoFrame。

注: 通过该回调获取的视频帧数据格式默认值如下:

  • Android:I420
  • iOS:I420
  • macOS:I420
  • Windows:YUV420
表格内容超出当前宽度,可横向滚动查看更多列。

所属接口类

onRenderVideoFrame

获取远端发送的视频数据。

Dart
final void Function(String channelId, int remoteUid, VideoFrame videoFrame)?
      onRenderVideoFrame;

成功注册视频数据观测器后,SDK 会在捕捉到每个视频帧时触发该回调。你可以在回调中获取远端发送的渲染前的视频数据,然后根据场景需要,对视频数据进行处理。

注:

  • 如果你获取到的视频数据类型为 RGBA,SDK 不支持对 Alpha 通道的值进行处理。
  • 由于框架的限制,该回调不支持将处理后的视频数据发送回 SDK。
  • 建议你在修改 videoFrame 中的参数时,需确保修改后的参数跟视频帧缓冲区中的视频帧实际情况保持一致,否则可能导致本地预览画面和对端的视频画面出现非预期的旋转、失真等问题。

参数

参数名描述
remoteUid

发送该帧视频的远端用户 ID。

videoFrame

视频帧数据。详见 VideoFrame。

注: 通过该回调获取的视频帧数据格式默认值如下:

  • Android:I420
  • iOS:I420
  • macOS:I420
  • Windows:YUV420
channelId

频道 ID。

表格内容超出当前宽度,可横向滚动查看更多列。

所属接口类