随着网络技术和信息技术迅猛发展,社交网络、电子商务、资讯信息流、网络游戏以及多媒体视听内容空前繁荣,其中以文本为载体的信息呈现出爆炸式的增长,人们逐步被淹没在数据汪洋里。如何在数据汪洋中快速的检索到所需的有用是亟待解决的难题,因此信息检索已成为当下最热研究领域之一。全文索引是检索引擎、信息过滤等信息检索领域中的关键技术,它是实现快速信息检索的关键数据结构,然而存储索引本身所需的磁盘空间开销为原始语料库的数倍,这不但会造成巨大的磁盘空间浪费,而且也是影响检索性能优劣的重要原因之一。因此,研究全文索引压缩算法具有重要的意义,因为压缩全文索引不仅可以降低索引的磁盘空间开销,同时也可以在检索时减少磁盘I/O开销以提高检索性能。本课题对全文索引中目前应用最广泛的倒排索引的压缩算法进行了深入研究,主要工作如下:从理论上分析了目前典型的倒排索引压缩算法磁盘空间占用情况;基于文本聚类思想提出了一种文档标识符分配算法;提出了自适应分段压缩ASCS算法的四种改进方案,即针对ASCS算法中的分段方式并非最优分段问题,提出了以人工蜂群算法优化分段方式,改进了蜜源的适应度计算公式,使用压缩性能更好的DGap序列进行压缩,对分段参数使用Golomb Rice编码压缩;由于在引入人工蜂群优化算法对ASCS算法优化时存在一个相对耗时的迭代寻优过程,在大数据背景下,使用Hadoop分布式云框架对算法进行并行化。本文对改进后的算法使用Java语言进行了实现,通过9个不同的整数序列验证了算法改进的有效性;通过引入Hadoop分布式云框架对算法实施并行化,在两个标准TREC语料库GOV2和ClueWeb09下验证了并行化的有效性。