论文部分内容阅读
【摘 要】 在演艺呈现系统的递阶结构基础上，研究智能舞台的功能结构模型，并设计异网融合接口规范，给出一种基于 TCP/IP的协议实现方法。
【关键词】 智能舞台；人工智能；DSS；MAS；LAVMNET；TCP/IP
文章编号： 10.3969/j.issn.1674-8239.2017.08.011
【Abstract】In this paper， a functional architecture model for intelligent stage is researched based on hierarchical structure analysis on technical equipment system in performing environment. Heterogeneous protocols as well as TCP/IP applications are proposed.
【Key Words】intelligent stage； AI； DSS； MAS； LAVMNET； TCP/IP
随着人工智能（Artificial Intelligence）[1]等新技术与舞台技术相互融合，带动现代舞台技术装备和舞美创意作品的不断升级，如智能体技术、多媒体技术、机械控制技术、计算机科学和仿真技术集成到舞台的设计和制作中。这些新技术和装备在为舞台艺术呈现注入新的活力的同时，也为舞台装备的集成应用和监管的智能化、网络化和数字化增加新的内涵，进而需要规范对这些异种数据的导入、信息提取、挖掘、应用和管理。
本文在演艺装备融合技术延展的基础上，给出智能舞台异网融合架构，介绍智能舞台异网融合关键技术“异种协议集成网络接口规范”的研究内容，并给出接口的技术实现案例。文中“异种协议集成网络接口”、“异网融合接口”也可称为“LAVMNET接口”（其中，“LAVMNET”是Lighting， Audio， Video， and Mechnical Networks的缩写）。
1 智能舞台的概念及应用的关键问题
智能舞台是指应用人工智能等先进技术，有效融合舞台装备和创意作品，为演员提供表演的设施或平台。以数据挖掘、信息应用、知识推理和模型规则等为技术特征的人工智能技术是智能舞台实现的灵魂。
国际上，现代化的智能舞台采用全新的系统设计方法和理念，通过普适计算（Pervasive Computing）、物联网、虚拟现实（Virtual Reality，简称VR）、增强现实（Augmented Reality，简称AR）等智能技术综合应用，融入艺术创作[2]，拓展舞台的时空展现效果，营造出身临其境的效果。由此，对舞台音视频制作、灯光控制、舞台机械控制、舞台表演协作等多方面提出了更高层次的融合要求。
在中国，随着剧场、影剧院、音乐厅、歌舞厅、演播厅、迪斯科厅、多功能厅、俱乐部、体育场馆、电教馆、会议厅、宴会厅、礼堂、露天广场等舞台相关工程的建设，对于舞台艺术智能呈现技术应用及研究已很活跃。文化部已牵头组织研发舞台系统集成技术，随着国务院积极推进“互联网+”行动[3]，演出业必然走向网络化、信息化和智能化。《中华人民共和国公共文化服务保障法》的出台[4]，弥补了中国文化立法的短板，进一步完善了中国文化法律体系，对推进公共文化服务的法治化、规范化具有重要意义。
智能技术、信息技术与舞台技术的交汇融合将引发智能舞台的深入研究和应用。智能舞台应用的关键问题是实现异种协议集成网络接口规范研究，涉及融合机械、音视频、灯光、特效等异种系统接口的数据汇聚、安全监测、设备和内容控制、剧院信息传递等，还要解决数据、信息、知识和模型等人工智能处理，并应用于演艺呈现的智能决策支撑系统，以达到提升和扩展各种装备技术性能和功能的便捷性和高效性，为观众呈现更佳的演出效果。因此，建立面向智能舞台异网融合应用的异种协议接口规范具有关键的基础性意义[5]。
2 智能舞台异网融合架构
一种智能舞台系统包括两大系统和四种接口，结构模型为递阶开放的异网融合，见图1。
其中，两大系统包括舞台装备系统和智能演艺呈现系统；四种接口包括数据汇聚、控制、安全监测和智能剧院接口。
（1）舞台装备系统包括声、光、视、械和舞美特效等呈现子系统和各类环境和位置等信息传感器。这些呈现子系统也是舞台异网融合的重要目标，其内部构成包括呈现信息源、调节/处理设备、传输/交换网络、呈现终端设备和管控处理单元。
（2）智能演艺呈现系统是智能舞台的技术核心。该系统以智能决策支撑系统（Decision Supporting System，简称DSS）[6]为核心，通过数据、信息、知识和模型库，与场馆信息处理、演艺呈现控制和设备/环境监测、报警/预警和应急预案处理等信息呈现单元相关联。其中，演艺呈现控制是智能舞台实现现场控制管理的关键部分，包括舞台总监等现场指挥人员使用的演出控制单元、智能舞台装备互联互通的集成控制以及用于演艺信息（如场景、节目和剧目等）的协调和同步呈现控制。
（3）智能演艺呈现系统通过智能剧院接口与智能剧院/剧场的演艺场所管理信息系统（如场地使用的行事历、票务和物业信息等）、建筑物联动设施和设备（如安防、消防、空调通风、配电等）、云平台等接口连接通信。
（4）智能演艺呈现系统的演艺信息控制和设备控制通过控制接口与舞台装备各呈现子系统管控单元连接通信，以此实现异网设备现场总线的数据集成、同步和冗余等，以及演出场景（Cue）、节目（Sequence）和剧目（Show）的内容呈现的同步和统一协调的演出控制（Show Control）。
（5）各呈現子系统的数据信息（如运行环境信息、设备操作维护O&M信息和演艺信息等）以及各类传感器数据，通过数据汇聚接口存入智能演艺呈现系统的数据库。 通过智能舞台异网融合的开放结构模型可知，智能舞台异网融合接口包括数据汇聚、控制、安全监测和智能剧院四类接口。
3 智能舞台实现的关键技术
智能舞台实现的关键技术，包括人工智能技术、设备控制的现场总线技术、演艺呈现控制技术等。
3.1 人工智能技术
人工智能是计算机科学、控制论、信息论、神经生理学、心理学、语言学等多种学科互相渗透的一门综合性学科。在智能舞台，虚拟现实（VR）和增强现实（AR）的不同应用，都或多或少地采用了人工智能技术。利用人工智能技术VR和AR，通过虚拟画面表现故事情节。真实与虚拟集合，在艺术表演中融入科技，打造一种全新的视觉感受和情感体验，还可以使情感体验进行延伸，通过特定技术，营造一种更加真实的虚拟境界。大部分VR/AR的应用采用以时间码（TC）为同步信号的信息控制方式，没有脱离演员按照时间码配合虚拟视频内容的技术效果。
然而，僅仅引进人工智能技术不是最终目的，智能舞台是为演员服务的平台。应用物联网技术，采用基于模式识别和普适计算等技术，可以营造出舞台装备作为资源配合演出呈现的智能演艺技术效果。普适计算是一种把技术和装备变成为演员服务的资源的智能算法，其显著目标之一是使得舞台设备可以感知周围的环境变化，从而根据环境的变化做出自动的基于演出内容需要或者设定的行为，如灯光、音响和视频设备感知现在演员正在某特定演出场景的运动轨迹和表演姿态，自动切换表演场景的呈现效果模式等。Jeff Burke等人建立了用于演艺的普适计算模型，这种人工智能技术代表智能决策支撑系统的发展方向[2]。
智能体（Agent）既是人工智能最初的目标，也是人工智能最终的目标（Hayes-Roth，1995）[1]，因此采用多智能体系统（MAS）的决策支撑系统（DSS）（即MAS-DSS）成为智能舞台重要的技术实现方式。MAS[7]是指由多个自治智能主体组成的合作系统，是一个松散耦合的问题求解器网络，其目标是为了解决那些超出每个问题求解器的单独能力或知识的问题。应用MAS可以解决智能舞台应用LAVMNET接口获取数据的挖掘、分析和决策等支撑问题。应用MAS-DSS可解决智能舞台的数据、信息、知识和模型的智能处理和综合运用问题，具体功能架构见图2。
MAS-DSS实现数据挖掘、知识推理机制和基于模型和知识的学习机制，产生用于演艺呈现的控制信息、安全监测信息和报警/预警等信息。具有学习机制的智能舞台也可称为智慧舞台。
3.2 现场总线技术
智能舞台的设备控制要解决数据集成、冗余和时钟同步等问题，应用现场总线技术可有效解决这些问题。目前，由国际电工委员会IEC（International Electrotechnical Commission）制定的IEC61158现场总线标准收录了20种现场总线技术规范[8]。
由于以太网具有普适性和便捷性，随着冗余及时钟同步应用研究进展[9-11]，基于以太网的现场总线技术已开始显现优势，也进入舞台装备集成应用领域，图3所示为实时以太网现场总线的控制及时钟同步原理示意图。
时钟统一是以太网现场总线设计需要解决的一个关键问题，控制时钟模块在物理层直接对实时以太网报文发送时间戳和接收时间戳进行捕获。分布时钟管理模块通过对各结点之间的传输延迟测量、参考时钟偏移误差的补偿、本地时钟与参考时钟的漂移补偿来实现整个系统的时钟同步。
3.3 演艺呈现控制技术
演艺呈现控制技术，包括演出控制、演艺信息控制和设备控制等实现技术。其中，演出控制（Show Control）是演艺呈现控制信息协调和监管的核心技术。演出控制由电影与电视工程师协会（Society of Motion Picture and Television Engineers，SMPTE）提出[12]，是一个应用于娱乐产业的计算机系统，将异种设备和软件控制的灯光、音响和视觉效果等结合进统一的同步演出系统。演出控制系统可集成通用的技术和标准，如DMX512、MediaLink、MIDI、MIDI Show Control以及其他SMPTE标准。
演艺呈现控制技术实现包括专业音视频处理、播放、控制和用户界面等部分，一般可实现以下功能：
（1）用于智能舞台的声、光、视、械、图片和多媒体文件等剧目、节目和场景的专业演出控制和播放功能；
（2）用于排演的剧目、节目和场景的存储、备份和恢复功能；
（3）场景和音视频多轨混合和播放功能；
（4）按照时间码自动播放功能；
（5）剧目行事历的编辑和自动提醒播放功能；
（6）场景现场指挥和插入等功能；
（7）应用MIDI控制其他设备等。
4 异网融合接口协议架构
智能舞台的异网融合（LAVMNET）接口协议架构，涉及到的接口包括数据汇聚、控制、安全监测和智能剧院四类，按照统一的TCP/IP协议规范，在舞台装备、管理界面和智能剧院设备和设施之间，通过Agent实现数据、信息的传递、汇聚和控制，如图4所示。
异网融合接口协议架构，包括呈现单元、管控单元和协议转换接口三个协议栈抽象部分，应用IP通道传递LAVMNET接口协议包，并完成处理。异网融合接口协议具有开放融合特征，可与Dante、ARTNET、RDM、Fieldbus等协议共用IP通道。
（1）呈现单元包括表示层、专业音视频处理、LAVMNET智能处理、数据存储和LAVMNET接口协议处理等部分。表示层包括演艺呈现、设备管理、环境安全管理和开放系统配置管理，演艺呈现通过演出控制模块与专业的音视频处理和投影机等演艺呈现设备连接，演艺呈现的设备控制和演艺信息控制则通过LAVMNET智能处理的各种Agent实现。LAVMNET智能处理是MAS-DSS的技术实现，包括协调、组织、安全、管理接口、推理、数据挖掘、协议服务等Agent，实现异网融合的数据汇聚、控制、安全监测和与智能剧院接口的功能。
【关键词】 智能舞台；人工智能；DSS；MAS；LAVMNET；TCP/IP
文章编号： 10.3969/j.issn.1674-8239.2017.08.011
【Abstract】In this paper， a functional architecture model for intelligent stage is researched based on hierarchical structure analysis on technical equipment system in performing environment. Heterogeneous protocols as well as TCP/IP applications are proposed.
【Key Words】intelligent stage； AI； DSS； MAS； LAVMNET； TCP/IP
随着人工智能（Artificial Intelligence）[1]等新技术与舞台技术相互融合，带动现代舞台技术装备和舞美创意作品的不断升级，如智能体技术、多媒体技术、机械控制技术、计算机科学和仿真技术集成到舞台的设计和制作中。这些新技术和装备在为舞台艺术呈现注入新的活力的同时，也为舞台装备的集成应用和监管的智能化、网络化和数字化增加新的内涵，进而需要规范对这些异种数据的导入、信息提取、挖掘、应用和管理。
本文在演艺装备融合技术延展的基础上，给出智能舞台异网融合架构，介绍智能舞台异网融合关键技术“异种协议集成网络接口规范”的研究内容，并给出接口的技术实现案例。文中“异种协议集成网络接口”、“异网融合接口”也可称为“LAVMNET接口”（其中，“LAVMNET”是Lighting， Audio， Video， and Mechnical Networks的缩写）。
1 智能舞台的概念及应用的关键问题
智能舞台是指应用人工智能等先进技术，有效融合舞台装备和创意作品，为演员提供表演的设施或平台。以数据挖掘、信息应用、知识推理和模型规则等为技术特征的人工智能技术是智能舞台实现的灵魂。
国际上，现代化的智能舞台采用全新的系统设计方法和理念，通过普适计算（Pervasive Computing）、物联网、虚拟现实（Virtual Reality，简称VR）、增强现实（Augmented Reality，简称AR）等智能技术综合应用，融入艺术创作[2]，拓展舞台的时空展现效果，营造出身临其境的效果。由此，对舞台音视频制作、灯光控制、舞台机械控制、舞台表演协作等多方面提出了更高层次的融合要求。
在中国，随着剧场、影剧院、音乐厅、歌舞厅、演播厅、迪斯科厅、多功能厅、俱乐部、体育场馆、电教馆、会议厅、宴会厅、礼堂、露天广场等舞台相关工程的建设，对于舞台艺术智能呈现技术应用及研究已很活跃。文化部已牵头组织研发舞台系统集成技术，随着国务院积极推进“互联网+”行动[3]，演出业必然走向网络化、信息化和智能化。《中华人民共和国公共文化服务保障法》的出台[4]，弥补了中国文化立法的短板，进一步完善了中国文化法律体系，对推进公共文化服务的法治化、规范化具有重要意义。
智能技术、信息技术与舞台技术的交汇融合将引发智能舞台的深入研究和应用。智能舞台应用的关键问题是实现异种协议集成网络接口规范研究，涉及融合机械、音视频、灯光、特效等异种系统接口的数据汇聚、安全监测、设备和内容控制、剧院信息传递等，还要解决数据、信息、知识和模型等人工智能处理，并应用于演艺呈现的智能决策支撑系统，以达到提升和扩展各种装备技术性能和功能的便捷性和高效性，为观众呈现更佳的演出效果。因此，建立面向智能舞台异网融合应用的异种协议接口规范具有关键的基础性意义[5]。
2 智能舞台异网融合架构
一种智能舞台系统包括两大系统和四种接口，结构模型为递阶开放的异网融合，见图1。
其中，两大系统包括舞台装备系统和智能演艺呈现系统；四种接口包括数据汇聚、控制、安全监测和智能剧院接口。
（1）舞台装备系统包括声、光、视、械和舞美特效等呈现子系统和各类环境和位置等信息传感器。这些呈现子系统也是舞台异网融合的重要目标，其内部构成包括呈现信息源、调节/处理设备、传输/交换网络、呈现终端设备和管控处理单元。
（2）智能演艺呈现系统是智能舞台的技术核心。该系统以智能决策支撑系统（Decision Supporting System，简称DSS）[6]为核心，通过数据、信息、知识和模型库，与场馆信息处理、演艺呈现控制和设备/环境监测、报警/预警和应急预案处理等信息呈现单元相关联。其中，演艺呈现控制是智能舞台实现现场控制管理的关键部分，包括舞台总监等现场指挥人员使用的演出控制单元、智能舞台装备互联互通的集成控制以及用于演艺信息（如场景、节目和剧目等）的协调和同步呈现控制。
（3）智能演艺呈现系统通过智能剧院接口与智能剧院/剧场的演艺场所管理信息系统（如场地使用的行事历、票务和物业信息等）、建筑物联动设施和设备（如安防、消防、空调通风、配电等）、云平台等接口连接通信。
（4）智能演艺呈现系统的演艺信息控制和设备控制通过控制接口与舞台装备各呈现子系统管控单元连接通信，以此实现异网设备现场总线的数据集成、同步和冗余等，以及演出场景（Cue）、节目（Sequence）和剧目（Show）的内容呈现的同步和统一协调的演出控制（Show Control）。
（5）各呈現子系统的数据信息（如运行环境信息、设备操作维护O&M信息和演艺信息等）以及各类传感器数据，通过数据汇聚接口存入智能演艺呈现系统的数据库。 通过智能舞台异网融合的开放结构模型可知，智能舞台异网融合接口包括数据汇聚、控制、安全监测和智能剧院四类接口。
3 智能舞台实现的关键技术
智能舞台实现的关键技术，包括人工智能技术、设备控制的现场总线技术、演艺呈现控制技术等。
3.1 人工智能技术
人工智能是计算机科学、控制论、信息论、神经生理学、心理学、语言学等多种学科互相渗透的一门综合性学科。在智能舞台，虚拟现实（VR）和增强现实（AR）的不同应用，都或多或少地采用了人工智能技术。利用人工智能技术VR和AR，通过虚拟画面表现故事情节。真实与虚拟集合，在艺术表演中融入科技，打造一种全新的视觉感受和情感体验，还可以使情感体验进行延伸，通过特定技术，营造一种更加真实的虚拟境界。大部分VR/AR的应用采用以时间码（TC）为同步信号的信息控制方式，没有脱离演员按照时间码配合虚拟视频内容的技术效果。
然而，僅仅引进人工智能技术不是最终目的，智能舞台是为演员服务的平台。应用物联网技术，采用基于模式识别和普适计算等技术，可以营造出舞台装备作为资源配合演出呈现的智能演艺技术效果。普适计算是一种把技术和装备变成为演员服务的资源的智能算法，其显著目标之一是使得舞台设备可以感知周围的环境变化，从而根据环境的变化做出自动的基于演出内容需要或者设定的行为，如灯光、音响和视频设备感知现在演员正在某特定演出场景的运动轨迹和表演姿态，自动切换表演场景的呈现效果模式等。Jeff Burke等人建立了用于演艺的普适计算模型，这种人工智能技术代表智能决策支撑系统的发展方向[2]。
智能体（Agent）既是人工智能最初的目标，也是人工智能最终的目标（Hayes-Roth，1995）[1]，因此采用多智能体系统（MAS）的决策支撑系统（DSS）（即MAS-DSS）成为智能舞台重要的技术实现方式。MAS[7]是指由多个自治智能主体组成的合作系统，是一个松散耦合的问题求解器网络，其目标是为了解决那些超出每个问题求解器的单独能力或知识的问题。应用MAS可以解决智能舞台应用LAVMNET接口获取数据的挖掘、分析和决策等支撑问题。应用MAS-DSS可解决智能舞台的数据、信息、知识和模型的智能处理和综合运用问题，具体功能架构见图2。
MAS-DSS实现数据挖掘、知识推理机制和基于模型和知识的学习机制，产生用于演艺呈现的控制信息、安全监测信息和报警/预警等信息。具有学习机制的智能舞台也可称为智慧舞台。
3.2 现场总线技术
智能舞台的设备控制要解决数据集成、冗余和时钟同步等问题，应用现场总线技术可有效解决这些问题。目前，由国际电工委员会IEC（International Electrotechnical Commission）制定的IEC61158现场总线标准收录了20种现场总线技术规范[8]。
由于以太网具有普适性和便捷性，随着冗余及时钟同步应用研究进展[9-11]，基于以太网的现场总线技术已开始显现优势，也进入舞台装备集成应用领域，图3所示为实时以太网现场总线的控制及时钟同步原理示意图。
时钟统一是以太网现场总线设计需要解决的一个关键问题，控制时钟模块在物理层直接对实时以太网报文发送时间戳和接收时间戳进行捕获。分布时钟管理模块通过对各结点之间的传输延迟测量、参考时钟偏移误差的补偿、本地时钟与参考时钟的漂移补偿来实现整个系统的时钟同步。
3.3 演艺呈现控制技术
演艺呈现控制技术，包括演出控制、演艺信息控制和设备控制等实现技术。其中，演出控制（Show Control）是演艺呈现控制信息协调和监管的核心技术。演出控制由电影与电视工程师协会（Society of Motion Picture and Television Engineers，SMPTE）提出[12]，是一个应用于娱乐产业的计算机系统，将异种设备和软件控制的灯光、音响和视觉效果等结合进统一的同步演出系统。演出控制系统可集成通用的技术和标准，如DMX512、MediaLink、MIDI、MIDI Show Control以及其他SMPTE标准。
演艺呈现控制技术实现包括专业音视频处理、播放、控制和用户界面等部分，一般可实现以下功能：
（1）用于智能舞台的声、光、视、械、图片和多媒体文件等剧目、节目和场景的专业演出控制和播放功能；
（2）用于排演的剧目、节目和场景的存储、备份和恢复功能；
（3）场景和音视频多轨混合和播放功能；
（4）按照时间码自动播放功能；
（5）剧目行事历的编辑和自动提醒播放功能；
（6）场景现场指挥和插入等功能；
（7）应用MIDI控制其他设备等。
4 异网融合接口协议架构
智能舞台的异网融合（LAVMNET）接口协议架构，涉及到的接口包括数据汇聚、控制、安全监测和智能剧院四类，按照统一的TCP/IP协议规范，在舞台装备、管理界面和智能剧院设备和设施之间，通过Agent实现数据、信息的传递、汇聚和控制，如图4所示。
异网融合接口协议架构，包括呈现单元、管控单元和协议转换接口三个协议栈抽象部分，应用IP通道传递LAVMNET接口协议包，并完成处理。异网融合接口协议具有开放融合特征，可与Dante、ARTNET、RDM、Fieldbus等协议共用IP通道。
（1）呈现单元包括表示层、专业音视频处理、LAVMNET智能处理、数据存储和LAVMNET接口协议处理等部分。表示层包括演艺呈现、设备管理、环境安全管理和开放系统配置管理，演艺呈现通过演出控制模块与专业的音视频处理和投影机等演艺呈现设备连接，演艺呈现的设备控制和演艺信息控制则通过LAVMNET智能处理的各种Agent实现。LAVMNET智能处理是MAS-DSS的技术实现，包括协调、组织、安全、管理接口、推理、数据挖掘、协议服务等Agent，实现异网融合的数据汇聚、控制、安全监测和与智能剧院接口的功能。