Word2Vec对海关报关商品文本特征降维效果分析

来源 :数据分析与知识发现 | 被引量 : 0次 | 上传用户:yadnlf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
[目的]对海关平台的高维报关商品特征实现有效降维,提高海关平台的工作效率.[方法]以国内某海关4个月的商品文本作为语料,从词语相似度与相关度两个微观层面评估生成词向量的质量,并结合SVM算法将传统0-1矩阵、频次降维、信息增益方法与Word2Vec词向量进行对比,以探究其对海关商品文本特征的降维效果.[结果]对于海关报关商品文本,Word2Vec词向量是一种较为理想的降维方法,且词向量维度为500时,分类效率最高,准确率为93.01%.[局限]主要针对数据量最多的5大类别进行研究,尚未对其他类别的分类效果进一步探讨.[结论]Word2Vec用于海关商品文本的降维效果较为理想,能够保证较高的准确率与数据的完整性,并显著降低特征维度.
其他文献
[目的]从网络舆情数据流中获取潜在热点主题,帮助政府与企业进行重点舆情监测与正确舆论引导.[方法]对微博实时数据流进行增量式舆情主题检测,选取并量化能够区分主题热门与
[目的]从文本中抽取脆弱生态治理技术、实施地、实施时间等命名实体,并分析相关态势.[方法]利用Bi-LSTM+CRF结合基于特征的命名实体知识库对脆弱生态治理领域CNKI数据库中的