本文中，我们通过引入高阶Parzen windows的方法研究学习理论问题中的一些算法，并应用到多变量的随机采样问题中。最初的想法主要来源于Parzen windows估计密度函数和采样理论。 首先，我们定义出基窗口函数，由基窗口函数构造出高阶Parzen windows函数。当边缘分布函数在采样的定义域附近满足一定的衰减性条件，我们给出了最小平方形式下的回归函数和密度估计函数的学习率。并且当边缘分布函数衰减很快，以及高阶Parzen windows的阶足够大的情况下，我们给出的学习率能达到理论最优。与标准的Parzen windows不一样的是，当高阶Parzen windows的阶J大于2时，高阶Parzen windows函数本身不再是密度函数。 对于平移不变空间的随机采样问题，我们给出了在全空间Rn中的逼近阶。当样本点不是独立同分布，而是受规则网格hZn上的噪音干扰(这里h>0是一个常量)。同时，我们还假设噪音的密度函数，以及要逼近的目标函数满足一定的衰减和规则性条件。选择合适的窗口宽度，得到的逼近阶仅与逼近函数本身的性质，噪音的密度函数以及Parzen windows的阶有关。 接下来，我们继续讨论高阶Parzen windows方法在多元逼近论问题中的应用。不同的是这里的函数空间是Sobolev空间，并且样本点不再是一致采样，而是受到均匀网格附近有微小平移的噪音函数影响。采样点对应的函数值的期望值等于要逼近的目标函数的值。我们给出了在Sobolev空间逼近目标函数的误差界。 最后，我们应用高阶Parzen windows解决一个实际应用问题。考虑的算法的效率以及实际问题的需求，我们仅采用一个二阶Parzen windows函数估计密度函数。无论是对实验数据还是真实数据，算法都非常有效。