本文从这两大类中各选出一种有代表性的算法进行研究，这两种算法分别是粒子群优化算法和Hopfield神经网络。 粒子群优化算法已经成功用于解决连续优化问题，但是一直未能有效地解决组合优化问题。为此，本文基于分布估计算法的思想，提出了两种离散粒子群优化算法：一种是基于分布估计的离散粒子群优化算法，一种是基于分布估计的离散量子行为粒子群优化算法。此外，还在基于分布估计的离散粒子群优化算法中引入混沌离散Hopfield神经网络，来进一步提高算法的性能。提出的新算法被用于解决理论上的经典组合优化问题，如二分图问题、无约束二进制二次规划问题，并设计了应用于特征选择问题的框架。仿真结果显示了新算法的良好性能。 随着实际优化问题的复杂度越来越大，对优化算法的性能要求越来越高。最优化理论领域的“无免费午餐”定理说明算法的混合是提高性能的有效手段，因此有机地结合各种算法的优点提出高效的优化算法是值得重视的有价值的课题。本文提出了三种不同混合策略的粒子群优化算法：具有通用局部搜索的量子行为粒子群优化算法、量子协同进化粒子群优化算法和基于多智能体的遗传粒子群优化算法。用这三种混合算法分别解决连续函数优化问题、背包问题和二分图问题，来验证算法的优化性能。 Hopfield神经网络采用的梯度下降法本质上是一种局部搜索方法，网络常常陷入局部最小值，所以网络的稳定状态并不一定对应于问题的最优解。本文为了更好地解决聚类划分问题，提出了一种随机竞争Hopfield神经网络。提出的算法其网络能量不仅能依据梯度下降的方法从整体上保证减小的趋势，而且由于引入的随机动态，使得网络能量也有增加的可能性，从而使网络有能力跳出局部最小值。本文详细分析了引入的随机动态性对算法性能的影响，通过有效地控制随机动态的运行机制使算法获得了良好的性能。在聚类划分问题上的应用结果，显示了提出算法的良好性能。本文还提出了一种混合随机竞争H0pfield神经网络应用于解决系统工程领域中的可靠性优化问题，实验结果证明了算法的良好性能。此外本文还分析了前人提出的正自反馈Hopfield神经网络，指正了其理论与实验结果解释不一致的错误,并在Crossbar互连问题上验证了我们的分析结论。