现实生活中有许多问题无法用具体数学形式表示,我们很难分析问题本身来为寻找最优解提供线索。Bayesian优化是一种适合解决此类未知黑箱模型的方法,并且能很好地优化目标函数非常昂贵(比如运行时间长、计算成本高等)的问题。目前许多优化方法是基于单个问题来进行研究的,即单任务学习和优化,但是忽略了其他相似任务的相关信息来深入研究数据特征。单任务学习单独地从零开始学习,并且经常会遇到噪声大、数据维度较高和数据量偏小等对结果影响较大的问题。多任务学习则是将相似的单任务组合在一起,可以有效地增加训练样本使模型消除干扰,并且任务之间通过共享学习信息来提高每个任务的泛化性能。本文旨在研究多任务Bayesian优化,主要工作及成果包括以下几个方面:(1)将多任务高斯过程应用于Bayesian框架中,多任务高斯过程通过学习基于输入相关特性的共享协方差函数和任务相关性协方差矩阵来同时优化多个问题,并通过协方差矩阵对任务之间的相似性进行建模来共享任务间信息,然后提升每个任务的优化性能。(2)多任务高斯过程在数据量增加的情况下其计算复杂度呈指数增长,针对这一问题本文提出了两种多任务条件神经网络模型。多任务条件神经网络并不依赖于对任务间相似性协方差矩阵进行数学建模,而是通过特殊的神经网络结构来构建任务间相似程度,我们还将多任务条件神经网络应用于Bayesian框架中。根据训练数据形式的不同,多任务条件神经网络分为单输入多输出模型和多输入多输出模型,前者利用了基于输入相关特性的信息,后者则主要利用任务之间共享信息的特点,并且在多输入多输出模型中提出了两种不同的训练机制。(3)在实验中把多个复杂的多峰函数模拟成现实生活中的昂贵优化问题,并同时将本文提出的多任务Bayesian优化算法和单任务Bayesian优化算法对这些问题进行测试。除此之外还将这些函数加上高斯噪声,再通过我们的算法模型优化测试问题以验证算法的鲁棒性。结果证明提出的多任务Bayesian优化算法在近似最优解和收敛速度上更优于单任务模型。(4)随着深度学习的不断发展,超参数优化问题的研究变得非常迫切。我们将本文提出的多任务模型应用于复杂网络的超参数优化中,通过设置不同的超参数维度测试多任务模型的有效性。实验结果表明,相比于单任务Bayesian模型,多任务Bayesian模型可以找到使网络准确率更高的超参数组合。