论文部分内容阅读
带有计算机控制系统的智能采伐机在作业过程中,采伐头控制系统及数据采集设备实时记录了大量定位、采伐及造材数据。这些采伐作业数据对精准林业以及基于大数据的森林经营管理相关研究具有很高的利用价值。本文根据基于采伐机数据进行森林建模相关研究的实际需要,分析了采伐机数据集的数据结构特征和数据噪声来源。根据噪声数据形成原因,总结出了满足一致性、唯一性、合理性的数据清洗原则,结合数据清洗规则梳理处理采伐机数据预处理流程。并在此基础上设计并实现了采伐机数据预处理平台。该平台具有依据规则自动过滤数据,标记问题数据,填充缺失数据,自动计算采伐木胸径和树高,模拟切割,生成干形数据,数据可视化,元数据管理,以及数据查询和导入导出等功能。平台可为后续研究提供整洁的可用数据集。根据系统分析与用户需求,采伐机数据预处理平台采用B/S系统架构,选择Django作为服务端框架,Layui为前端页面,MYSQL与Redis作为数据库,采用pandas处理数据。针对大量数据清洗过程的耗时问题,选用多线程与矩阵运算的方式,提高系统运算效率。选用Celery进行任务管理,以任务队列管理方式处理异步任务,避免阻塞问题。经运行测试,该系统支持线上数据预处理、模拟切割、干形数据生成等功能,并具有较好的用户体验。本研究实现了采伐机数据预处理、数据集加工共享的设计目标,提高了研究人员工作效率。