在"互联网+"和"中国制造2025"的推动下,传统制造业正面临着销售与制造模式发生重大变化的严峻挑战。本文针对大数据处理技术存在的问题开展研究工作,提出了基于高维数据降维的半结构化数据清洗方法和基于图论最短路径求解的决策方法,并在此基础上开发了机械零部件采购系统。本文的主要内容如下:第一章,绪论。首先介绍了大数据技术在不同行业中的应用及潜在价值,概述了数据清洗技术和基于图论的最短路径问题的国内外研究现状;针对大数据应用过程中存在的数据质量问题和海量数据下的决策问题,提出了相应的解决方案;最后简要说明了本文的研究内容和组织架构。第二章提出了基于高维数据降维的半结构化数据清洗方法。根据半结构化数据和XML文档特点建立了树模型,并提出了相似路径。将相似路径与向量空间模型结合,提出了XML文档向量化表示方法;在主成分分析法与XML文档向量化表示方法的综合基础上,提出了半结构化数据降维方法,并以淘宝网上的梅花联轴器为例,验证了方法的可行性。第三章提出了基于图论最短路径求解的决策方法。在介绍图论基础知识的基础上,建立了基于邻接矩阵表示法的图模型;分析比较三种经典的最短路径算法优缺点,提出了基于限制函数的最短路径算法,并将其应用于决策问题解决方案之中。第四章为系统开发与测试验证。使用Java语言编程实现了基于最短路径求解的机械零部件采购决策系统,并运用黑盒测试方法验证了决策系统的有效性。第五章对全文的研究工作进行总结,并针对研究的不足之处提出了未来的工作方向。