公钥密码系统是现代安全通信系统的一个重要组成部分.目前广泛使用的公钥密码系统是基于数论问题的公钥密码系统(如RSA、ECC等).然而Shor的算法和量子计算机的发展对这些基于数论问题的公钥密码系统构成了极大的威胁.因此,我们需要设计能够抵御量子计算攻击的公钥密码系统,即后量子密码系统.多变量公钥密码系统是主要的后量子密码系统.多变量公钥密码系统不但能够抵御量子计算攻击,而且运算速度快,可以应用到计算和存储能力有限的设备(如智能卡、无线传感器网络、RFID标签等)上.所以,我们有必要对多变量公钥密码系统进行深入的研究.本文对多变量公钥密码系统进行了研究,取得了以下进展：1.在过去的三十年中,密码学者试图利用有限域上的多变量多项式来构造公钥加密系统.然而,这些多变量公钥加密系统大多数是不安全的.它们的共同缺点是中心映射多项式对应的矩阵的秩很小,从而容易受到极小秩攻击.因此,一些密码学者认为多变量公钥密码系统只适用于签名和认证,而不适用于加密.设计一个安全、高效的多变量公钥加密方案是多变量公钥密码学领域的重要挑战.本文的第一个进展就是利用矩阵乘法,设计了一个安全、高效的多变量公钥加密方案.我们称这个公钥加密方案为简单矩阵加密方案.简单矩阵加密方案的中心映射多项式对应的矩阵没有低秩的特点,因此能够抵抗秩攻击.此外,我们还说明简单矩阵加密方案能够抵御其他主要的攻击方法,并给出了几组安全参数以供开发人员参考.2.在过去的三十年中,密码学者设计了许多多变量公钥签名方案.然而,除了基于UOV限门和HFE限门的签名方案外,其他的签名方案已经全部被破解.此外,在原始的UOV签名方案中,为了保证UOV签名方案的安全性,签名长度至少要比文档长度长3倍.因此,UOV签名方案的效率很低.在基于HFE限门的签名方案中,因为在签名生成的过程中,需要求大域上的高次单变量多项式方程的解,所以,目前基于HFE限门的签名方案的签名速度较慢.设计一个安全、高效的多变量公钥签名方案是多变量公钥密码学领域的另一个重要挑战.本文的第二个进展是提出了一种双层结构的签名方案.假设在相同的安全级别下,对同一份文档进行签名,那么我们的签名方案的签名长度比UOV签名方案的签名长度短很多,我们的签名方案的签名速度比其他基于HFE限门的签名方案的签名速度快很多.3.本文的第三个进展是利用嵌入曲面攻击方法攻破了基于丢番图方程的多变量公钥加密系统.设x=(x1,..,xn)和Y=(y1,...,ym)分别是该加密系统的明文和对应的密文,通过大量的计算机实验,我们发现X,Y满足以下形式的嵌入曲面方程：于是,可以利用这些嵌入曲面方程攻破该加密系统.4.本文第四个进展是提出了一个求小域上的多变量二次方程组的解的算法,我们称之为XLE算法.它是XL算法的一个变种算法.我们证明XLE算法的时间复杂度为其中m是方程的个数,n是变量的个数,q是有限域的元素的个数,r和D是给定的正整数,2.3766≤ω≤3.