//点击阅读原文一键GET//
如何把大象放进冰箱里？对不起，走错片场了。使用普通录像设备，视频如何像电影大片一样绿幕抠图，只需要三步。
AI Studio上的项目地址：
STEP2:上传素材
STEP3:执行
安装相关包， ipywidgets安装好之后若继续报错则要重启内核
1!pip install av tqdm pims ipywidgets
下面是见证奇迹的时刻！
import paddle
from model import MattingNetwork
from inference import convert_video
model = MattingNetwork('resnet50')
model.set_state_dict(paddle.load("rvm_resnet50.pdparams"))
convert_video(model,
input_source='dance.mp4',
output_type='video',
output_composition='com.mp4',
output_alpha="pha.mp4",
output_foreground="fgr.mp4",
output_video_mbps=4,
downsample_ratio=None,
seq_chunk=1)
参数注解
-model: 模型
-input_source='dance.mp4': 视频文件，或图片序列文件夹
-output_type='video': 可选 "video"（视频）或 "png_sequence"（PNG 序列）
-output_composition='com.mp4': 若导出视频，提供文件路径。若导出 PNG 序列，提供文件夹路径
-output_alpha="pha.mp4":[可选项] 输出透明度预测
-output_foreground="fgr.mp4":[可选项] 输出前景预测
-output_video_mbps=4: 若导出视频，提供视频码率
-downsample_ratio=None: 下采样比，可根据具体视频调节，或 None 选择自动
-seq_chunk=1: 设置多帧并行计算
项目简介
RVM(Robust High-Resolution Video Matting with Temporal Guidance)
又叫稳定视频抠像，不同于现有神经网络将每一帧作为单独图片处理，RVM 使用循环神经网络，在处理视频流时有时间记忆。RVM 可在任意视频上做实时高清抠像。在 Nvidia GTX 1080Ti 上实现 4K 76FPS 和 HD 104FPS。
项目特点
效果非常好。就像前面视频里展示的一样，抠图效果惊人，头发丝都能抠出来，让人以为视频是绿幕前拍出来。
不需要任何辅助输入。也有一些非常棒的抠图论文，但是大部分包括本论文作者的前作，都需要辅助输入，比如一张背景图。那样拍片的时候，除了拍演员，还要在同一地点同一机位单独拍一遍背景，这么麻烦想想还不如上绿幕方便呢。所以不需要任何辅助输入，实在太贴心了！
使用简单方便。没有技术门槛，不需要任何技术背景，人人都可以过把瘾。尤其是在AI Studio项目里，只要动动手上传视频，一键转换，然后下载即可。
抠像效果提升小技巧
光照良好，背景比较简单的视频，处理效果会较好。
针对视频清晰度大小和画面中人物是全身还是半身等，可以按照如下表格设定downsample_ratio参数，根据视频内容进行调节，以提高抠像效果。
模型在内部将高分辨率输入缩小做初步的处理，然后再放大做细分处理。
建议设置downsample_ratio使缩小后的分辨率维持在 256 到 512 像素之间. 例如，1920x1080的输入用downsample_ratio=0.25，缩小后的分辨率480x270在 256 到 512 像素之间。
根据视频内容调整downsample_ratio。
若视频是上身人像，低downsample_ratio足矣。若视频是全身像，建议尝试更高的downsample_ratio。但注意，过高的downsample_ratio反而会降低效果。
RVM飞桨代码版本实现
Github地址：
Gitee地址：
感兴趣的朋友可以直接看源代码。因能力和时间有限，目前还没有复现训练代码，有兴趣的朋友可以一起来实现啊！
结束语
让我们荡起双桨，在AI的海洋乘风破浪！
飞桨官网：
https://www.paddlepaddle.org.cn
github官方地址：
https://github.com/PeterL1n/RobustVideoMatting
论文效果B站展示：
https://www.bilibili.com/video/BV1Z3411B7g7/
参考文献
[1]Lin S , Yang L , Sal Ee Mi I , et al. Robust High-Resolution Video Matting withTemporal Guidance[J]. 2021.
关注【飞桨PaddlePaddle】公众号
获取更多技术内容~
