当今电子商务发展非常迅速，已经逐步形成了一个潜力巨大的市场。随着Internet上信息量和商务量爆炸式增长、网络环境日益复杂，以及产品供应商和销售商关系的日益复杂，都迫切地需要一种能够更好的协调商务关系的新技术来满足人们对电子商务日趋完善的要求。另一方面随着电子商务的全球化、及时性的发展要求，在线交易行为也变得越来越复杂，商务谈判也十分的频繁，对自治协商的要求也越来越高。自治协商模型是实现双边Agent进行多议题自治协商的基础，然而实际中，双边多议题自治协商过程中经常会发生由于某个协商议题没有达到平衡点而导致协商陷入僵局的情形。为了提高协商成功率和协商效用，开展协商僵局消解机制的研究是很有必要的，对于推动智能电子商务真正实用化具有非常重要的意义，协商僵局的消解已经成为优化自治协商模型的重要研究课题。针对双方Agent在协商过程中出现的僵局，利用向量的等效置换，在保证双方的整合效用都不降低的条件下，分别用Q-学习方法和分层强化学习方法进行消解。通过动态的学习卖方Agent的议题保留值向量，对僵局进行消解，促使协商向成功的方向变化，提高协商成功率和协商效用，从而达到优化双边多议题自治协商模型的目的。论文针对以上分析开展工作，共分为七个部分：(1)阐述了本文的研究背景与意义，概述了自治协商、协商中的僵局消解及分层强化学习的研究现状。(2)介绍了Agent技术、MAS技术的定义与相关概念，以及多Agent协商中的一些知识。(3)阐述了Q-学习和分层强化学习的理论知识，以及关于分层强化学习中的自动分层问题。(4)给出采用的双边多议题自治协商模型，简述采用的提议策略及协商协议。(5)将Q-学习和分层强化学习两种方法分别引入前一章所描述的自治协商模型中，对出现的僵局进行消解，以实现对协商模型的优化。(6)将Q-学习方法用于双边多议题协商模型的僵局消解过程，用C++语言进行编程，并用Visual studio 6.0软件对其进行仿真，来检验方法的有效性。(7)对本文所作的工作进行全面总结，并且提出本文的不足之处，以及今后可能的研究方向。