论文部分内容阅读
【摘要】随着人工智能技术的发展，可以利用人工智能技术实现短视频云剪辑，以便更好地服务于商务会议，满足商务会议的应用需求。本文首先分析了人工智能技术的基本原理和应用现状，之后阐述了短视频云剪辑的技术路线、结构及应用方法，最后分析了短视频云剪辑的技术应用创新点和产业化的应用情况等。
【关键词】商务会议;人工智能;短视频;云剪
中图分类号：TN92 文献标识码：A DOI：10.12246/j.issn.1673-0348.2021.06.040
在基于人工智能技术的短视频云剪辑技术中，也存在着一定的难点，如对普通视频流处理目前仍需采用优化算法。本文在分析了人工智能技术与短视频云剪辑之间关联的基础上，详细分析了商务会议场景下基于人工智能技术的短视频云剪辑技术。
1. 人工智能技术与短视频云剪辑
当前人工智能技术在社会中的应用领域较广，也是目前的研究热点问题之一，可以应用人工智能技术进行短视频云剪辑。在短视频云剪辑中，目前的版本AI截图逻辑是每个人保留固定的几张图片，在下一个人脸出现时才会对上一个人脸的截图做筛选，选出几张比较优质的图片，这样的话就带来了两个问题：一是如果等到筛选完之后再向业务服务器发送图片时效性较差。为了解决时效性，现有的方案是先提供两张截图等到筛选过后再提供一张，但这样带来的问题就是前面两张的质量无法保证，后面那张由于时效性基本不会被采用。二是由于人脸的对比仅限于跟上一张的对比就导致了有些反复上台的人脸会被重复截取出来比如主持人，但是如果每一张人脸都跟之前的所有人脸去对比系统的性能方面又無法得到保证。
2. 基于人工智能技术的短视频云剪辑
2.1 短视频云剪辑的技术路线
对于短视频云剪辑的技术路线主要有AI智能终端处理、AI云服务器处理两种方式。根据商业应用场景不同选择不同方式。全部交由智能终端处理对终端运算能力要求高，成本较高，可减轻云服务器运算压力，但通用性较差。全部交由云服务器处理的场景接入通用性好，便于部署调试，适合平台运作模式。本文主要研究通用视频流接入云服务器场景下部署AI算法云服务器的技术路线。
2.2 短视频云剪辑的系统结构
AI云剪辑是在云直播平台上基于短视频云剪辑系统结构上部署独立AI算法服务器。包括客户端、服务器端、数据库、AI算法服务器等，如下图1所示。
首先对于客户端：传统视频剪辑客户端通常是在电脑中安装专用剪辑软件（PR，AE等）下载视频文件后由专业人员操作，对一般人员有一定学习难度，而且没法做到在直播过程中进行实时操作。而云剪辑的概念则是所有的剪辑操作基于云服务器在云端完成，无需等待直播结束下载视频文件后剪辑，所有操作在云端完成，即时性强。因此，云剪辑客户端要求全部采用HTML5的javascript技术，下行采用HLS流媒体传输协议从服务器获取直播视频流或回放视频流后呈现剪辑界面。对于服务器端：服务器操作系统采用Linux CentOS 6.0，总体技术路线采用基于BS的J2EE MVC三层架构。为支持客户端、应用服务器的消息和视频流承载，服务器通过部署一系列开源服务器软件（Nginx/Tomcat，Netty/Openfire，Springboot SRS）和J2EE应用程序提供支撑，并根据业务容量引入SpringCloud/K8S分布式容器架构进行具有弹性的水平扩张和多节点集群互联。对于数据库和磁盘：采用MySQL提供用户信息、配置信息等关系型静态数据的存储和访问;采用内存数据库技术（SSDB）为应用服务器等提供非关系型动态数据的快速存储访问作为数据库前置缓存。对流媒体视频切片采用SSD高速云盘存储，通过Nginx服务器和CDN支持大容量高并发的下载服务。对于AI算法服务器：包括AI实时截图算法和AI实时云剪辑算法两部分，分别实现平台级的图文直播和短视频直播。相关服务调用与J2EE应用程序之间的API接口发起。
2.3 短视频云剪辑的方法
在短视频云剪辑的方法中，重要的是应具备“快速”、“智能”、“共享”这类智媒体视频云技术，尤其是“共享”对实现成员间协作，可以解决媒体单位内部音视频编辑的痛点。剪辑应默认提供手工云剪辑处理界面，由人工观看直播并给起始点打标记，生成短视频。在开启AI云剪辑功能后，则由AI算法服务器进行视频流逐帧分析和模式识别，根据人物人脸在视频中出现和消失的行为发生时机，自动将事件前后的一段视频进行标识剪辑并存储。系统应允许手工云剪辑仍然能起到辅助纠偏。图2短视频云剪辑软件界面。
3 基于人工智能技术的短视频云剪辑的应用
3.1 AI云剪辑算法的三种应用
AI算法服务器主要实现商务会议场景下对视频流的逐帧分析、模式识别和，图文和短视频云剪辑。对于AI截图应用：算法根据不同的商务会议场景，对现场演讲嘉宾和投放PPT的视频流做逐帧分析，实时按多个参数要求对每帧图像做动态评估筛选，自动截取三张匹配图片，并保留最佳图片作为实时图文播报。相关场景主要包括4种：一是会议场景：正面近景图–根据单人的人脸识别和人物图像占比触发;根据“抬头、正面、近景、睁眼”的行为参数做筛选。二是培训场景：根据PPT翻页时前后画面内容变化超过某门限而触发截取图片，如图片中有画中画人物，可忽略画中画人物变化。三是活动场景：多人集体图-根据舞台表演者的行为跟踪，多人集体合影照触发正面、侧面各截图2张。四是综合场景：根据场景变化，须动态切换三类算法以匹配场景。 对于AI云剪辑应用：包括系统智能剪辑和手工智能剪辑两种，分别适用于公开发布和私有发布。一是系统智剪：算法为识别演讲者上台的脸部特征向量进行动态存储、跟踪和比对，记录人物入场和退场时间标记点，并自动生成播放链接和缩略图，以便形成可精准分发的节目短视频。二是手工智剪：观众在直播间回看时选中某个人物启动智剪，算法标记出该人物所有出现过的片断，自动生成短视频预览窗以快速定位，然后手工进行二次精彩片断打标选取后生成短视频播放链接，以便观众选择自己感兴趣的精准内容分发。对于AI云辅助：根据算法获取的人物信息匹配本场活动预存的该人物的图文介绍资料，提取并实时动态显示在视频窗;通过童爬虫提取该人物的相关网络资源，动态显示在相关信息栏目;通过AI将声音转文字，通过“时间戳”建立文字和音频的同步机制，生成短视频文字摘要。
3.2 AI云剪辑的产业化应用
AI短视频云剪辑作为一种智媒体视频云技术，它不仅能够提升媒体服务人员的全媒体产品编辑能力和加工效率，而且能够在团队内部实现图文和视频编辑共享融合，打造云端智能媒体编辑部。更具产业化的是平台型应用，将AI短视频云剪辑在商务直播场景下用作直播活动期间的实时精准内容剪辑和H5云分发，B端用户的产品发布会、政策发布会场能获得更好的宣传，主办方愿意为此付费，并且因平台具备AI云服务器服务能力，可通过水平扩张提供规模化直播视频流接入，形成客户自助接入的平台型产业。由于AI云剪辑技术完全采用H5界面交互和云端标记模式，平台并不需要真正拷贝上传下载视频，只需生成H5的播放链接因而剪辑效率高、交互界面简单易学，使得用户也能够参与云剪辑各取所需，能提供更好地商业媒体宣传和裂变。
4 结论
随着人工智能技术的发展和抖音等C端消费级APP中广泛应用带来的传导效应，B端商务会议场景下的AI短视频云剪辑技术也会逐步得到应用。本文所分析的商務会议场景下基于人工智能技术的短视频云剪辑技术，已在VTC云直播场景中加以应用并获得较好的效果。可以预见各类商务直播平台将逐步AI赋能在场景算法上下功夫以提供更好更高效的平台服务。
参考文献：
[1]吕云玲，井佩光.短视频内容智能分析技术[J].电视技术，2019，043（005）：16-18.
[2]王向阳.智媒体视频云技术：开启新闻传播新纪元[J].传媒，2018（1）：15-16.
[3]牛嵩峰，唐炜.基于人工智能的中文语音文本智能编辑系统设计[J].广播与电视技术，2018，45（4）：56-61.
作者简介：李灯，四川渠县，硕士研究生，工程师，目前从事视频直播终端和平台软件系统件架构相关工作。
【关键词】商务会议;人工智能;短视频;云剪
中图分类号：TN92 文献标识码：A DOI：10.12246/j.issn.1673-0348.2021.06.040
在基于人工智能技术的短视频云剪辑技术中，也存在着一定的难点，如对普通视频流处理目前仍需采用优化算法。本文在分析了人工智能技术与短视频云剪辑之间关联的基础上，详细分析了商务会议场景下基于人工智能技术的短视频云剪辑技术。
1. 人工智能技术与短视频云剪辑
当前人工智能技术在社会中的应用领域较广，也是目前的研究热点问题之一，可以应用人工智能技术进行短视频云剪辑。在短视频云剪辑中，目前的版本AI截图逻辑是每个人保留固定的几张图片，在下一个人脸出现时才会对上一个人脸的截图做筛选，选出几张比较优质的图片，这样的话就带来了两个问题：一是如果等到筛选完之后再向业务服务器发送图片时效性较差。为了解决时效性，现有的方案是先提供两张截图等到筛选过后再提供一张，但这样带来的问题就是前面两张的质量无法保证，后面那张由于时效性基本不会被采用。二是由于人脸的对比仅限于跟上一张的对比就导致了有些反复上台的人脸会被重复截取出来比如主持人，但是如果每一张人脸都跟之前的所有人脸去对比系统的性能方面又無法得到保证。
2. 基于人工智能技术的短视频云剪辑
2.1 短视频云剪辑的技术路线
对于短视频云剪辑的技术路线主要有AI智能终端处理、AI云服务器处理两种方式。根据商业应用场景不同选择不同方式。全部交由智能终端处理对终端运算能力要求高，成本较高，可减轻云服务器运算压力，但通用性较差。全部交由云服务器处理的场景接入通用性好，便于部署调试，适合平台运作模式。本文主要研究通用视频流接入云服务器场景下部署AI算法云服务器的技术路线。
2.2 短视频云剪辑的系统结构
AI云剪辑是在云直播平台上基于短视频云剪辑系统结构上部署独立AI算法服务器。包括客户端、服务器端、数据库、AI算法服务器等，如下图1所示。
首先对于客户端：传统视频剪辑客户端通常是在电脑中安装专用剪辑软件（PR，AE等）下载视频文件后由专业人员操作，对一般人员有一定学习难度，而且没法做到在直播过程中进行实时操作。而云剪辑的概念则是所有的剪辑操作基于云服务器在云端完成，无需等待直播结束下载视频文件后剪辑，所有操作在云端完成，即时性强。因此，云剪辑客户端要求全部采用HTML5的javascript技术，下行采用HLS流媒体传输协议从服务器获取直播视频流或回放视频流后呈现剪辑界面。对于服务器端：服务器操作系统采用Linux CentOS 6.0，总体技术路线采用基于BS的J2EE MVC三层架构。为支持客户端、应用服务器的消息和视频流承载，服务器通过部署一系列开源服务器软件（Nginx/Tomcat，Netty/Openfire，Springboot SRS）和J2EE应用程序提供支撑，并根据业务容量引入SpringCloud/K8S分布式容器架构进行具有弹性的水平扩张和多节点集群互联。对于数据库和磁盘：采用MySQL提供用户信息、配置信息等关系型静态数据的存储和访问;采用内存数据库技术（SSDB）为应用服务器等提供非关系型动态数据的快速存储访问作为数据库前置缓存。对流媒体视频切片采用SSD高速云盘存储，通过Nginx服务器和CDN支持大容量高并发的下载服务。对于AI算法服务器：包括AI实时截图算法和AI实时云剪辑算法两部分，分别实现平台级的图文直播和短视频直播。相关服务调用与J2EE应用程序之间的API接口发起。
2.3 短视频云剪辑的方法
在短视频云剪辑的方法中，重要的是应具备“快速”、“智能”、“共享”这类智媒体视频云技术，尤其是“共享”对实现成员间协作，可以解决媒体单位内部音视频编辑的痛点。剪辑应默认提供手工云剪辑处理界面，由人工观看直播并给起始点打标记，生成短视频。在开启AI云剪辑功能后，则由AI算法服务器进行视频流逐帧分析和模式识别，根据人物人脸在视频中出现和消失的行为发生时机，自动将事件前后的一段视频进行标识剪辑并存储。系统应允许手工云剪辑仍然能起到辅助纠偏。图2短视频云剪辑软件界面。
3 基于人工智能技术的短视频云剪辑的应用
3.1 AI云剪辑算法的三种应用
AI算法服务器主要实现商务会议场景下对视频流的逐帧分析、模式识别和，图文和短视频云剪辑。对于AI截图应用：算法根据不同的商务会议场景，对现场演讲嘉宾和投放PPT的视频流做逐帧分析，实时按多个参数要求对每帧图像做动态评估筛选，自动截取三张匹配图片，并保留最佳图片作为实时图文播报。相关场景主要包括4种：一是会议场景：正面近景图–根据单人的人脸识别和人物图像占比触发;根据“抬头、正面、近景、睁眼”的行为参数做筛选。二是培训场景：根据PPT翻页时前后画面内容变化超过某门限而触发截取图片，如图片中有画中画人物，可忽略画中画人物变化。三是活动场景：多人集体图-根据舞台表演者的行为跟踪，多人集体合影照触发正面、侧面各截图2张。四是综合场景：根据场景变化，须动态切换三类算法以匹配场景。 对于AI云剪辑应用：包括系统智能剪辑和手工智能剪辑两种，分别适用于公开发布和私有发布。一是系统智剪：算法为识别演讲者上台的脸部特征向量进行动态存储、跟踪和比对，记录人物入场和退场时间标记点，并自动生成播放链接和缩略图，以便形成可精准分发的节目短视频。二是手工智剪：观众在直播间回看时选中某个人物启动智剪，算法标记出该人物所有出现过的片断，自动生成短视频预览窗以快速定位，然后手工进行二次精彩片断打标选取后生成短视频播放链接，以便观众选择自己感兴趣的精准内容分发。对于AI云辅助：根据算法获取的人物信息匹配本场活动预存的该人物的图文介绍资料，提取并实时动态显示在视频窗;通过童爬虫提取该人物的相关网络资源，动态显示在相关信息栏目;通过AI将声音转文字，通过“时间戳”建立文字和音频的同步机制，生成短视频文字摘要。
3.2 AI云剪辑的产业化应用
AI短视频云剪辑作为一种智媒体视频云技术，它不仅能够提升媒体服务人员的全媒体产品编辑能力和加工效率，而且能够在团队内部实现图文和视频编辑共享融合，打造云端智能媒体编辑部。更具产业化的是平台型应用，将AI短视频云剪辑在商务直播场景下用作直播活动期间的实时精准内容剪辑和H5云分发，B端用户的产品发布会、政策发布会场能获得更好的宣传，主办方愿意为此付费，并且因平台具备AI云服务器服务能力，可通过水平扩张提供规模化直播视频流接入，形成客户自助接入的平台型产业。由于AI云剪辑技术完全采用H5界面交互和云端标记模式，平台并不需要真正拷贝上传下载视频，只需生成H5的播放链接因而剪辑效率高、交互界面简单易学，使得用户也能够参与云剪辑各取所需，能提供更好地商业媒体宣传和裂变。
4 结论
随着人工智能技术的发展和抖音等C端消费级APP中广泛应用带来的传导效应，B端商务会议场景下的AI短视频云剪辑技术也会逐步得到应用。本文所分析的商務会议场景下基于人工智能技术的短视频云剪辑技术，已在VTC云直播场景中加以应用并获得较好的效果。可以预见各类商务直播平台将逐步AI赋能在场景算法上下功夫以提供更好更高效的平台服务。
参考文献：
[1]吕云玲，井佩光.短视频内容智能分析技术[J].电视技术，2019，043（005）：16-18.
[2]王向阳.智媒体视频云技术：开启新闻传播新纪元[J].传媒，2018（1）：15-16.
[3]牛嵩峰，唐炜.基于人工智能的中文语音文本智能编辑系统设计[J].广播与电视技术，2018，45（4）：56-61.
作者简介：李灯，四川渠县，硕士研究生，工程师，目前从事视频直播终端和平台软件系统件架构相关工作。