论文部分内容阅读
摘 要： 中国民航飞行品质监控基站汇集了大量快速存取记录器（ QAR，Quick Access Record）数据，虽然QAR数据具有很高的应用价值，但仅仅基于QAR数据进行分析，维度不够丰富，而QAR数据包含敏感信息，因此不能利用传统的拷贝方式，与其他数据进行融合。为解决此问题，本文提出利用虚拟融合技术，经过元数据仓库构建和元数据关联等过程，构建QAR数据与其他数据集的融合，以此作为底层数据源，在数据不做物理搬迁条件下，进行多源数据综合分析，深度挖掘QAR等飞行数据的价值。经过实例验证，在不复制拷贝的条件下，通过融合基站数据与不安全事件库，进行关联匹配分析，匹配结果正确。
关键词： QAR；虚拟融合；飞行品质监控；元数据
1.引言
目前我国要求各运输航空公司按照民航局《飞行品质监控（FOQA）实施与管理》咨询通告开展本公司的飞行品质监控工作。[1]2017年，中国民航飞行品质监控基站正式运行，每日收集中國民航三千余架飞机的快速存取记录器（ QAR，Quick Access Record）数据，数据量巨大。QAR数据记录了整个航段的各类飞行参数的数值，为航空器操作、维修和设计以及民航领域的安全管理提供数据和信息支持。
拥有如此庞大有价值的数据样本，科研工作者以此为基础，开展了民航安全、民航运行等各个领域的数据分析工作。目前，QAR数据的利用主要集中在三个方面： 一、飞机性能监控与机务维修。如利用QAR 数据进行航空器性能风险评估。[2]二、利用QAR 数据对飞行品质进行分析。局方基站工程师利用QAR数据开展了各类飞行品质统计分析，如地面滑行时间统计、起降机场风速风向分析、冲偏出跑道风险分析。三、事故调查中，利用QAR数据进行飞行仿真，更直观的展现事故情形。虽然，QAR数据价值广阔，利用QAR数据也已经开展了很多相关分析，但是限于QAR数据的特殊性，以上的应用分析研究仅仅依靠QAR单一数据源，数据分析维度单一。若想利用QAR数据进行更深层次的分析，势必要融合多源数据，比如机组资源数据，运行数据、气象数据、地质数据等等，而QAR数据相对敏感，不允许采用传统拷贝复制的方式，与其他数据进行集成融合。
虚拟融合技术能够很好的解决传统数据融合物理迁移的问题。本研究引入元数据理念，经过仓库构建和元数据关联等过程，构建QAR数据与其他数据集的融合，以此作为底层数据源，在数据不做物理搬迁条件下，进行多源数据综合分析，深度挖掘QAR等飞行数据的价值。
2.虚拟融合流程
122.1QAR工程值结构
QAR原始数据为二进制文件，经过译码软件译码后，可以生成工程值文件，目前比较通用的译码软件如AGS、AirFase，都可将QAR工程值存储为CSV格式的文件，下图所示为某架B737飞机的部分译码参数的CSV文件：
2.2虚拟融合
元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（data about data），主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。[3]元数据主要应用在数据仓库的建立过程中，数据仓库管理系统的重要组成部分，它描述哪些数据在数据仓库中，帮助决策分析者对数据仓库的内容定位；同时定义数据进入数据仓库的方式，作为数据汇总、映射和清洗的指南。[4]而这些特性可以应用到虚拟融合场景。虚拟融合技术基于元数据理念，通过元数据仓库构建、元数据关联，构建数据的虚拟整合。
虚拟融合框架负责建立和存储元数据模型和模型之间的关联关系，在数据的分析应用过程中，根据元数据信息将查询和计算分解，分解后的子查询和计算下发到各个原始数据库或文件管理服务器，利用原始本地资源进行计算和查询，最后将计算和查询结果在返回到虚拟融合框架，进行业务整合，最终将结果返回应用。整个流程数据始终没有离开原始存储位置，返回的中间值为计算结果而非原始记录，从而保证数据安全的同时，进行了联合查询计算。
3.应用案例
1233.1案例概述
局方基站按照《运输航空承运人飞行品质监控（FOQA）实施与管理》咨询通告的要求，已经建立了飞行品质监控信息上报的工作程序[5]。每日收集的QAR数据，经过基站事件程序处理，触发超限事件告警，理论上这些超限事件已经被各航空公司或机场经航安网上报，但实际存在漏报、瞒报的情况。因此局方基站触发的5级超限事件需要和航安网上报事件进行对比匹配，如果匹配成功，则说明该事件已正常上报，如果匹配失败，则表明可能存在漏报情况，应启动事件核查程序。
选取局方基站触发超限事件与航安网不安全事件库进行匹配。同时，与CSV文件进行关联，将超限时间前后5秒的监控参数值输出。
3.2融合机理
实验总共涉及三个数据源，如下：
1、QAR工程值文件：实验选取全量参数CSV文件作为数据源之一。
2、局方基站超限事件库：该事件库为AGS系统采用的Sybase数据库，存储了AGS处理QAR原始数据生成的超限事件。
3、航安网不安全事件库：该事件库为Oracle数据库，存储了全民航上报的不安全事件。
QAR工程值文件命名规则为：飞机号 + FileNo + 译码日期，FileNo为AGS译码软件译码后生产的唯一标识。因此与局方基站超限事件库可通过飞机号与FileNo号关联；局方基站超限事件库与航安网不安全事件库匹配原则为：飞机号相同，事件触发时间与事件上报时间相差小于48小时。如满足匹配原则，则视为匹配成功。
3.3结果展示
利用上述逻辑，对三个数据源数据进行融合，在此基础上匹配查询了2018年7月的接地俯仰角超限事件，查询结果如下图所示：
比对结果列表显示8条数据，其中前4列显示信息为局方基站超限事件库，后三列为航安网不安全事件库，根据飞机号和发生事件核对，匹配结果正确，但是存在两条超限事件关联同一条航安网事件的情况，这是由于两个系统监控事件关注点不同，超限事件同一航班监控到两条事件，而事件发生原因属于文字描述，如果需要进一步精准对比则需利用文本挖掘进行匹配，但不属于本课题关注点，在此不进行详述。
点击结果中某条数据，可以查看当前事件前后10分钟的CSV明细数据，如下图所示，显示了无线电高度、垂直加速度、低速、空速等信息。
4.结束语
本文主要讨论了一种基于虚拟融合技术的QAR应用分析模式，指出了在数据不做物理迁移的情况下，进行QAR数据与多源数据融合的思路，进而多维度的挖掘QAR数据的应用价值。通过事件对比案例，展示了融合后分析结果，验证了虚拟融合框架对简单数据运算的处理。但对于复杂模型的数据分析，算法可能存在无法有效拆分的情况，因此利用运算分解替代数据拷贝复制，无论从运算正确率还是运算效率上都需进一步验证，可作为下一步研究的方向。
参考文献
[1] 俞力玲. 中国民航飞行品质监控回顾与展望[J].航空安全，2012，8（140）：51-53.
[2] 祁明亮、邵雪焱、池宏. QAR超限事件飞行操作风险诊断方法[J]北京航空航天大学学报 2011，10 （37）：1207-1210.
[3] 吉文杰、夏小玲. 基于元数据的电子政务发布系统的设计与实现[J].计算机应用与软件，2011，12（28）：175-178.
[4] 余叶兰. 基于银行数据仓库的元数据管理体系研究[J]. 湖北第二师范学院学报，2017，2（34），38-40.
[5] 中国民用航空局.飞行运行品质监控（FOQA）实施与管理（AC-121/135-FS-2012-45）.2012.
关键词： QAR；虚拟融合；飞行品质监控；元数据
1.引言
目前我国要求各运输航空公司按照民航局《飞行品质监控（FOQA）实施与管理》咨询通告开展本公司的飞行品质监控工作。[1]2017年，中国民航飞行品质监控基站正式运行，每日收集中國民航三千余架飞机的快速存取记录器（ QAR，Quick Access Record）数据，数据量巨大。QAR数据记录了整个航段的各类飞行参数的数值，为航空器操作、维修和设计以及民航领域的安全管理提供数据和信息支持。
拥有如此庞大有价值的数据样本，科研工作者以此为基础，开展了民航安全、民航运行等各个领域的数据分析工作。目前，QAR数据的利用主要集中在三个方面： 一、飞机性能监控与机务维修。如利用QAR 数据进行航空器性能风险评估。[2]二、利用QAR 数据对飞行品质进行分析。局方基站工程师利用QAR数据开展了各类飞行品质统计分析，如地面滑行时间统计、起降机场风速风向分析、冲偏出跑道风险分析。三、事故调查中，利用QAR数据进行飞行仿真，更直观的展现事故情形。虽然，QAR数据价值广阔，利用QAR数据也已经开展了很多相关分析，但是限于QAR数据的特殊性，以上的应用分析研究仅仅依靠QAR单一数据源，数据分析维度单一。若想利用QAR数据进行更深层次的分析，势必要融合多源数据，比如机组资源数据，运行数据、气象数据、地质数据等等，而QAR数据相对敏感，不允许采用传统拷贝复制的方式，与其他数据进行集成融合。
虚拟融合技术能够很好的解决传统数据融合物理迁移的问题。本研究引入元数据理念，经过仓库构建和元数据关联等过程，构建QAR数据与其他数据集的融合，以此作为底层数据源，在数据不做物理搬迁条件下，进行多源数据综合分析，深度挖掘QAR等飞行数据的价值。
2.虚拟融合流程
122.1QAR工程值结构
QAR原始数据为二进制文件，经过译码软件译码后，可以生成工程值文件，目前比较通用的译码软件如AGS、AirFase，都可将QAR工程值存储为CSV格式的文件，下图所示为某架B737飞机的部分译码参数的CSV文件：
2.2虚拟融合
元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（data about data），主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。[3]元数据主要应用在数据仓库的建立过程中，数据仓库管理系统的重要组成部分，它描述哪些数据在数据仓库中，帮助决策分析者对数据仓库的内容定位；同时定义数据进入数据仓库的方式，作为数据汇总、映射和清洗的指南。[4]而这些特性可以应用到虚拟融合场景。虚拟融合技术基于元数据理念，通过元数据仓库构建、元数据关联，构建数据的虚拟整合。
虚拟融合框架负责建立和存储元数据模型和模型之间的关联关系，在数据的分析应用过程中，根据元数据信息将查询和计算分解，分解后的子查询和计算下发到各个原始数据库或文件管理服务器，利用原始本地资源进行计算和查询，最后将计算和查询结果在返回到虚拟融合框架，进行业务整合，最终将结果返回应用。整个流程数据始终没有离开原始存储位置，返回的中间值为计算结果而非原始记录，从而保证数据安全的同时，进行了联合查询计算。
3.应用案例
1233.1案例概述
局方基站按照《运输航空承运人飞行品质监控（FOQA）实施与管理》咨询通告的要求，已经建立了飞行品质监控信息上报的工作程序[5]。每日收集的QAR数据，经过基站事件程序处理，触发超限事件告警，理论上这些超限事件已经被各航空公司或机场经航安网上报，但实际存在漏报、瞒报的情况。因此局方基站触发的5级超限事件需要和航安网上报事件进行对比匹配，如果匹配成功，则说明该事件已正常上报，如果匹配失败，则表明可能存在漏报情况，应启动事件核查程序。
选取局方基站触发超限事件与航安网不安全事件库进行匹配。同时，与CSV文件进行关联，将超限时间前后5秒的监控参数值输出。
3.2融合机理
实验总共涉及三个数据源，如下：
1、QAR工程值文件：实验选取全量参数CSV文件作为数据源之一。
2、局方基站超限事件库：该事件库为AGS系统采用的Sybase数据库，存储了AGS处理QAR原始数据生成的超限事件。
3、航安网不安全事件库：该事件库为Oracle数据库，存储了全民航上报的不安全事件。
QAR工程值文件命名规则为：飞机号 + FileNo + 译码日期，FileNo为AGS译码软件译码后生产的唯一标识。因此与局方基站超限事件库可通过飞机号与FileNo号关联；局方基站超限事件库与航安网不安全事件库匹配原则为：飞机号相同，事件触发时间与事件上报时间相差小于48小时。如满足匹配原则，则视为匹配成功。
3.3结果展示
利用上述逻辑，对三个数据源数据进行融合，在此基础上匹配查询了2018年7月的接地俯仰角超限事件，查询结果如下图所示：
比对结果列表显示8条数据，其中前4列显示信息为局方基站超限事件库，后三列为航安网不安全事件库，根据飞机号和发生事件核对，匹配结果正确，但是存在两条超限事件关联同一条航安网事件的情况，这是由于两个系统监控事件关注点不同，超限事件同一航班监控到两条事件，而事件发生原因属于文字描述，如果需要进一步精准对比则需利用文本挖掘进行匹配，但不属于本课题关注点，在此不进行详述。
点击结果中某条数据，可以查看当前事件前后10分钟的CSV明细数据，如下图所示，显示了无线电高度、垂直加速度、低速、空速等信息。
4.结束语
本文主要讨论了一种基于虚拟融合技术的QAR应用分析模式，指出了在数据不做物理迁移的情况下，进行QAR数据与多源数据融合的思路，进而多维度的挖掘QAR数据的应用价值。通过事件对比案例，展示了融合后分析结果，验证了虚拟融合框架对简单数据运算的处理。但对于复杂模型的数据分析，算法可能存在无法有效拆分的情况，因此利用运算分解替代数据拷贝复制，无论从运算正确率还是运算效率上都需进一步验证，可作为下一步研究的方向。
参考文献
[1] 俞力玲. 中国民航飞行品质监控回顾与展望[J].航空安全，2012，8（140）：51-53.
[2] 祁明亮、邵雪焱、池宏. QAR超限事件飞行操作风险诊断方法[J]北京航空航天大学学报 2011，10 （37）：1207-1210.
[3] 吉文杰、夏小玲. 基于元数据的电子政务发布系统的设计与实现[J].计算机应用与软件，2011，12（28）：175-178.
[4] 余叶兰. 基于银行数据仓库的元数据管理体系研究[J]. 湖北第二师范学院学报，2017，2（34），38-40.
[5] 中国民用航空局.飞行运行品质监控（FOQA）实施与管理（AC-121/135-FS-2012-45）.2012.