机器问答是自然语言处理中最具有挑战的任务之一。该任务的技术挑战性和巨大的应用价值使其成为了当前的热点研究。本论文主要研究基于深度学习的机器问答,结合当前自然语言处理中的前沿神经网络模型,构建一套端到端的智能开放域问答系统。本论文提出的开放域问答系统以阅读理解为核心推理模块,论文中对机器阅读理解进行了全面细致的研究。我们分析了在多个自然语言处理任务中取得突破成果的BERT中存在的注意力偏差问题。我们提出了用于机器问答推理的创新模型ForceReader,它包含了注意力分离表征、多模式阅读理解、条件背景注意力和深度交互推理多个改进提升方案,在多个数据集上表现优秀。我们也对阅读理解在机器问答应用中存在的问题进行了探索,提出了多元信息交互和分类阅读联合学习的改进方案。受益于这些改进,推理模块能捕获更丰富的语言信息,并实现了端到端自动处理多文档问答的功能。在问答的推理模块得到有效提升的基础上,我们以维基百科知识和搜索引擎配合的方式作为问答系统的信息源,结合段落选择和阅读推理模型构建了一套智能开放域问答系统。我们在系统中添加了问答对库设计,采用深度语义匹配模型进行问题匹配,作为快速响应既有问题的方式。我们的系统结合了远程监督和可持续学习,能在问答反馈过程中不断自我进化。对于问答系统推理模块ForceReader中包含的所有改进方案,我们在论文中设计了详细的对照实验并采用SQuAD等高质量的公开数据进行测试验证。实验结果证明我们提出的方案在SQuAD数据上都有明显的提高,并且模型在中文数据上也有优秀的表现。我们在CuratedTREC、WebQuestions等数据上对我们的开放域问答系统进行了验证,系统在这些数据上相比基线系统都有明显的提高。为了测试系统在不同语言下的问答能力,我们将其迁移到中文问答中。结果显示,在极小的迁移开销下,我们的系统在中文数据中也有理想的表现。额外地,本论文开展了神经网络可解释性相关的探索。我们通过注意力可视化的方式解释模型学习到的知识,除了希望以一种非常直观的方式来展示了多个改进点的真实贡献外,也力求突破黑盒限制。这项工作极大地增添了模型的可解释性。