视频生产制作中人工智能的运用分析

　　摘    要：　近年来，基于深度学习的人工智能技术在视频行业中得到了广泛应用，本文着重介绍了人工智能技术在视频生产制作环节中的具体应用。

　　关键词 :     人工智能,视频周期:画质修复

　　1 、人工智能概述

　　随着信息技术的飞速发展，人工智能技术逐渐进入我们的日常生活。从车牌识别到车辆自动驾驶，从“小爱同学”到智能家居，从“Alpha Go”到医学手术机器人，人工智能在很多领域的应用均取得了重要突破，并已经在我们的日常生活中开始发挥越来越重要的作用。虽然目前的人工智能都属于弱人工智能的范畴，还离不开人类主体自行运行，但这些应用减轻了人们的工作强度和工作压力，并且相应地提高了所在行业的工作效率。

　　本文主要介绍了人工智能技术在视频生产制作环节的具体应用实践，希望能够为大家带来一些参考。

　　2 、人工智能在视频行业的应用

　　如图1所示，传统的视频生命周期包括视频采集、生产制作、播出分发、用户体验四个主要环节。

　　随着时代的发展和技术的进步，整个视频行业发生了很大变化。在视频采集阶段，从以前用专业的摄像机、录像机进行视频采集，到如今每个人都是自媒体产生者，用随身携带的手机来拍摄喜欢的素材。在生产制作阶段，从专业级的非线性编辑软件，到现在各品牌手机都配备了转场、特效、滤镜、美颜等功能，在手机端就可以进行基本的视频制作。在播出分发阶段，从最开始的卫星直播、有线电视网络传播，到现在用户可以通过互联网观看直播或者点播视频。在用户体验这一环，观众从守在电视机前被动地单向收看电视节目，到现在可以通过互联网电视、手机、电脑等不同的接收端去与相关视频进行交互、评论、点赞、弹幕等双向互动。

　　我们可以看到，在整个视频的生命周期中，随着参与者发生了巨大的变化，视频领域的相关应用也越来越多。如图2所示，大量的视频和AI技术的结合应用已经深入到了视频生命周期的各个阶段，给相关从业人员带来了巨大的便利，极大地减轻了相关行业的工作负担，提升了工作效率，使人们有更多的精力投入到更有创造性的工作中去。

　　3 、人工智能在视频生产制作领域的探索

　　在视频的生产制作阶段，人工智能技术的应用取得了良好的使用效果。下面将着重介绍几个人工智能技术在视频生产制作周期中具体应用的实际案例。

　　3.1 、美颜滤镜类

　　所有的影像（照片和视频）作品，都有画质提升的基本需求。多年来，专业人士使用PS、Da Vinci Resolve等工具软件制作出了大量的高质量影像作品。这几年，随着人工智能技术的突飞猛进，大部分非专业人士也可以利用AI技术制作出非常优秀的影像作品，这其中最受人们喜爱的可能就是基于深度学习的美颜滤镜类AI应用了。

　　人工智能美颜算法多种多样，有瘦脸、磨皮、美白、祛斑等多种功能。

　　阿里云磨皮相关算法的流程图如图3所示，通过实际应用可以发现，基于深度学习的人工智能美颜算法，能够更好地为不同终端用户提供精细化、个性化的美颜服务。

　　滤镜是也图像美化中常见的步骤，所谓滤镜，最初是指安装在相机镜头前过滤自然光的附加镜头，用来实现风格化的调色效果。各大软件中的滤镜功能，是通过各种滤镜算法，来实现对大部分物理镜头滤镜进行场景模拟，以期达到类似的效果。随着人工智能的兴起，各种基于深度学习的风格滤镜算法和滤镜种类层出不穷，其效果远远超出了物理滤镜能够达到的水平。

　　3.2 、画质修复类

　　画质修复类AI应用主要是基于深度学习，对老照片和老视频进行修复、翻新、上色等一系列工作。传统的人工修复费时费力，且效果往往不尽人意。AI技术的发展为这些工作带来了新的模式。

　　2020年国庆前夕，央视用AI技术修复了拍摄于1956年的黑白电影《上甘岭》中志愿军战士们合唱歌曲《我的祖国》的片段，在社会上引起了强烈的反响。据了解，《我的祖国》歌曲片段的修复工作采取了传统修复手法与人工智能上色技术相结合的方式，用4K数字化修复技术去除了胶片上残留的物理损伤，之后使用人工智能上色技术将黑白影像转换为彩色影像。

　　对大部分人来说，如果手头现有的老影像素材亟需修复，却没有条件或相应的专业技术水平亲自动手修复胶片上的物理损伤，则可以用AI技术按图4所示的流程来进行修复。下面以视频影像资料为例，介绍一下相关流程。

　　(1）画面修复

　　视频影像资料的画面修复工作主要是补足帧率。过去的老视频资料，受限于当时的拍摄条件，保留到今天的素材往往会有画面的卡顿、闪烁等现象。利用AI技术进行补帧修复可以让画面更流畅，尤其是要修复成4K成片，补帧更是重要的一环。这一环节我们可以采用上海交大包文博等人开发的DAIN模型对视频资料进行处理。基于深度感知的视频帧插值（DAIN）模型是通过对画面的深度检测来明确遮挡层，并开发了一个深度感知的流投影层来合成中间流，它主要特点是对较近的物体进行采样，而不是对较远的物体进行采样。

　　在DAIN模型的流程架构中，给定两个时刻的输入帧，通过估计光流和深度图，使用建议的深度感知流投影层生成中间流，然后模型基于光流和局部插值内核对输入帧、深度图和上下文特征进行扭曲，合成输出帧。

　　(2）着色

　　着色是黑白影像资料修复的关键一环，传统的人工上色流程费时费力，借助AI技术，可以方便地对黑白影像资料进行画面着色，并且可以按照原影片的相关历史资料对上色模型进行培训，使修复的影像更符合原片时代背景。

　　De Oldify是由Jason Antic创建的基于深度学习的AI着色模型，用于为黑白图像添加高质量的着色效果，还原并赋予新生命。De Oldify中提供了一种视频上色模型和两种图片上色模型，方便使用者根据需要选择。

　　(3）分辨率提升

　　影像资料的分辨率提升主要是把过去视频的分辨率提升到高清甚至4K的水平，以适应目前的平台播出要求和观众的欣赏习惯。之前央视修复的影片《上甘岭》片段，就是将原影片修复到了的4K分辨率，清晰的画质让观众印象深刻。

　　可以选用的AI技术方案主要有香港中文大学-商汤联合实验室提出的ESRGAN模型和Topaz Labs公司相关应用产品，都可以达到较好的效果。

　　(4）实际应用

　　笔者依据上述修复流程，选择Linux作为底层系统，搭建了完整的测试环境，修复的样片如图5所示。在实际测试完成后发现，目前AI技术辅助影像修复方面还存在一些不足，比如补帧环节会出现伪像、拖影，着色环节颜色可能与实际情况有差异，这些不足主要是由深度学习模型自身的特点决定的。目前，要产生好的修复作品，还是离不开人工的再加工干预。随着AI模型算法的进一步优化，或对模型进行针对性的培训，相信这些问题会慢慢得到解决。

　　3.3、 其他类

　　在视频的生产制作环节，还有大量的AI应用取得了良好的效果，比如可以让古画里的人物跟随节奏“唱歌”，以及视频自动剪辑、自动字幕等。

　　但同时，有些AI应用也引发了广泛的争议，比如前几年比较火的AI“换脸”技术，不仅引发了肖像权的隐私保护问题，还会在面部识别、刷脸支付等领域引发信用风险和金融风险，这都是需要特别注意的问题。

　　4、 结语

　　近年来，AI技术在各个领域都获得了巨大的发展，在视频生产制作领域也是如此。AI技术的大规模应用为整个视频产业带来了变革和提升，改变了传统的生产制作流程，降低了从业门槛，提升了工作效率，让越来越多有创意、有热情的人能够参与视频行业的生产与制作中，生产出了很多优秀的视频作品。但目前AI技术在视频行业的发展还有一些不足和局限性，有些AI技术的应用还产生了一些争议，因此需要从业者们一起努力，推动视频行业健康有序发展。

　　参考文献

　　[1]邹娟“云端一体"的智能媒体生产 制作演进之路1[EB/0:

　　[2]胡耀武,谭娟，李夕图像视频滤镜与人像美颜美妆算法详解[M].北京:电子工业出版社,2020.6.