目前,随着手机普及率的提高,加之社交网站、购物网站的普遍应用,手机注册的普遍性,用户手机号已成为商家广为利用的营销工具。随之而来的垃圾短信,不仅占用网络资源,干扰用户正常生活,也给传统的垃圾短信过滤带来了巨大的挑战。海量短信文本的过滤需要很大的存储空间以及更强的计算能力,如何对海量的数据进行有效的过滤是一个亟待解决的问题。随着云计算分布式系统Hadoop平台的出现,提出了新型的分布式并行编程模型,为垃圾短信过滤提供了新的思路。垃圾短信过滤的本质是短信文本分类问题(垃圾短信/合法短信)。本课题首先对短信文本分类过程涉及到的文本预处理、特征选择、文本分类算法等相关技术进行深入研究。通过对当前垃圾短信过滤算法的对比研究,选取朴素贝叶斯垃圾短信过滤算法,再结合Hadoop分布式平台在海量数据处理方面的核心技术,提出一种基于MapReduce模型的朴素贝叶斯的垃圾短信过滤方法。本文的研究工作特点表现在下面几个方面:一、在特征提取阶段,利用信息增益和CHI相结合的方法对特征选择算法进行改进,减少特征向量空间维度,优化运算时间和存储空间;二、对朴素贝叶斯垃圾短信过滤算法进行改进,在分类决策阶段引入阈值,减少将合法短信判断为垃圾短信误判概率,提高分类的准确性;三、针对短信过滤的效率问题,提出基于Hadoop分布式框架,采用并行计算模型MapReduce对短信文本预处理、特征词选择、文本分类训练和测试进行处理,在处理海量短信时具有明显的优势;最后实验结果表明:本文提出的分布式架构下基于MapReduce模型的海量垃圾短信过滤方法,在提高短信过滤准确率、召回率,综合效率的同时,过滤效率也随着集群规模的扩增而提高。