随机优化问题是指带有随机因素的最优化问题,需要利用概率统计、随机过程以及随机分析等工具,是数学主要形式之一.目前,随着大规模学习和大数据相关优化算法的巨大需求,随机优化算法已成为机器学习中备受关注的领域之一,而算法的收敛速度是研究的核心.本论文对随机优化算法的收敛速度等问题进行深入、系统的研究,具体内容如下:首先,考虑两个经典监督学习问题（即最小二乘和logistic回归）,提出了两种加速随机梯度算法.一方面,基于函数的凸性,研究了学习算法的收敛性理论结果,得到最优的收敛速度O（1/n²）,其中n是样本数量.另一方面,通过对合成数据和一些标准数据集进行了数值实验,验证了所获得的理论结果。其次,考虑目标函数由L₁正则项组成的最小二乘回归问题,提出一个有效的加速随机逼近算法.基于一个非强凸性的条件和利用一个光滑函数近似L₁正则项,研究了学习算法的收敛速度,得到算法的收敛速度为O（ln n/n）.最后,考虑了一类特殊函数|x|^α的Newman型有理插值问题,讨论了Newman-α算子在结点组X={tan_4n^2kπ}ⁿ_k=1下逼近|x|^α的收敛速度,得到确切的逼近阶为O(¹_n2α).该结果不仅包含了α=1时的逼近结果,而且优于结点组取作第一、二类Chebyshev结点组、等距结点组等情形时的结论。