前向神经网络一直是人们研究的神经网络重要模型之一。目前前向神经网络的学习算法主要分为两类：梯度下降算法和逐层优化算法。不过目前的两类算法都还有很多缺陷和不足，如梯度下降算法收敛速度有时很慢、有时容易陷入局部极小值点、有时网络模型太复杂和计算量太大等等。而现有的逐层优化算法中构造目标函数(特别是隐层目标函数)方法也很多，有的要引入惩罚项、有的要引入泰勒展开式，但线性化的过程都难免引入误差。粒子群优化算法(Particle Swarm Optimization，PSO算法)源于鸟群和鱼群群体运动行为的研究，是一种基于群体智能方法的演化计算技术，是演化计算领域中的一个重要的新的分支。本文系统地论述了PSO算法及其研究进展，并且针对粒子群优化算法的易于丧失多样性、搜索精度不高等缺点，在算法改进方面提出了基于数值优化方法的混合粒子群算法。 本论文重点在于对PSO算法的改进，并且将改进算法应用于前馈神经网络的训练中，主要内容包括： (1) 本文应用PSO算法对单峰以及多峰函数进行寻优，在算法收敛速度以及收敛的精度方面，本文将PSO算法与遗传算法进行了比较。 (2) 将PSO算法应用到前馈神经网络的训练中，并且总结了PSO算法的几种编码方法。通常来说，用PSO算法训练神经网络的缺点是在全局最优值附近，PSO算法训练精度不高。为了提高PSO算法的训练精度，基于BP算法的混合PSO算法被提出来用于训练前馈神经网络。对于如函数逼近、分类等实际问题的仿真试验证实了新的算法比基本PSO算法、经典PSO算法收敛速度更快、收敛精度更高。 (3) 本文还提出了另外一种基于数值优化算法(最速下降算法、共轭梯度算法、拟牛顿算法以及Leverlberg-Marquardt算法)的混合PSO算法，该算法改进了经典PSO算法易于丧失多样性的缺点，并且在收敛到全局最优点的基础上，提高了算法的收敛精度。实验结果表明，这类改进算法取得了令人满意的结果。