随着数据量的爆炸式增长,为了应对海量数据的处理需求,Google提出了MapReduce框架。Hadoop作为其开源实现,因其稳定性、可扩展性等诸多优点逐渐受到越来越多人的青睐。在传统关系型数据库中我们可以通过创建索引的方式来提高检索的效率,但Hadoop并没有原生支持索引结构来提高MapReduce的效率。实验室在之前的研究中,已经提出了一种基于BloomFilter的、轻量级的、多维索引结构BF-MapReduce。BF-MapReduce工作于Map过程之前,可以过滤掉不必要的输入分片,进而减少Mapper的数量来达到提高MapReduce整体效率的目的。但因为Bloom Filter空间高效的同时,随着数据的插入,会有越来越高的假阳率。在此基础上,设计了一种Bloom Filter的变种—Ordinal Bloom Filter,通过哈希函数的序号和相应的插入/查找算法,保证假阳率相对较小。本文将Ordinal Bloom Filter做为索引底层的存储结构,提出OBF-Index。与BF-MapReduce相比,本文重点研究索引结构与Hadoop的整合机制,详细设计并实现了有关索引构建、更新、使用和优化的多个服务。并且提出了索引环境Profile的概念,对索引工作环境、创建参数和期望性能等进行形式化描述。索引分析器以索引环境Profile为分析对象,构建机器学习模型,实现索引的自动化分析和优化。最后通过多组对比实验,比较OBF-Index与原始MapReduce、Hive、BF-MapReduce 的性能。实验结果表明 OBF-Index 保留了 BF-MapReduce 轻量级、高效率的特点,可在大规模数据集下,对MapReduce程序(尤其是检索程序)的性能有较大提升。同时因为索引环境Profile的灵活性,可为不同应用场景构建不同的、有效的索引,进而提升整个集群的利用率。