U-过程集中不等式及其在学习理论中的应用

被引量 : 0次 | 上传用户:charset
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
偏序学习和排序学习在机器学习、信息检索领域受到广泛的关注,在统计学习理论的框架下,我们基于U-过程的理论,对偏序学习和排序学习进行推广性的分析。本文面向两个紧密相连的研究领域:一是U-过程的最大值集中不等式,二是学习算法的推广性能的界。集中不等式描述一个随机变量是否集中在某个数值(如数学期望)附近。在统计学习理论中,一个主要的数学工具就是集中不等式,经验过程的集中不等式广泛的应用在学习算法的收敛速率的研究中。而一些学习问题又可以归结到U-统计的表达形式。这样促使我们研究U-过程最大值的集中不等式。U-过程与经验过程紧既有区别又有联系,这种紧密的联系使我们自然地想到用来证明经验过程的熵方法也能够用来证明U-过程。区别是U-过程具有弱的相关结构,所以我们使用退耦的技巧来分解这种复杂的结构。在本文中我们的主要贡献和创新点如下:首先,我们给出了三种类型的集中不等式:·关于非退化核的集中不等式,·关于退化核的集中不等式,·关于相关随机变量的集中不等式。前两个是关于U-过程的,其实当我们把这种弱相关整体看成一个泛函时,这样仍然可以当做独立同分布的情形来证明,只是在证明过程中使用退耦不等式来分解这种非独立的结构。在证明第一个不等式时,我们分成了两步,先是证明非负核的U-过程的集中不等式,然后证明有界的核。我们使用非退化的不等式的研究了逐对损失的学习问题。第二个不等式的证明更复杂一些,我们证明的结果和经验过程有相同的结构。第三个是非独立的随机变量的泛函,可以看作是图上的数据,每一个随机变量是图的顶点,我们借助于分数覆盖的理论,把非独立的随机变量,分解成一些块的和,而每一块是独立同分布的随机变量之和,结合已有的结果和染色数的概念,我们就得到了非独立的集中不等式。此外,我们还推广了自有界函数的结构,定义了推广的自有界函数,并且给出了一个集中不等式。第二个是学习算法的推广性能的界。集中不等式和统计学习紧密的相连,二阶的U-过程是适用于逐对的损失的学习问题。在本文中我们主要集中于偏序学习和排序学习,采用两种分割假设空问的方法,一是基于相对风险的分割,二是基于方差的分割。采用我们新证明的不等式,应用到逐点损失学习,不同于已有的文献。在已有的结果中,作者采用了先把U-过程进行分解,然后分别用经验过程理论和退化的U-过程来界定。而我们的方法是统一的进行处理,然后再分解然后分别用Rademacher复杂度和Rademacher chaos复杂度来界定。这样做的好处是,对于基于U-过程的不同的经验风险最小化的学习问题,我们主要研究其损失函数的不同。我们分别提供了偏序学习的样本误差的上界和带惩罚的MP排序的风险的界。
其他文献
《北大荒的秋天》是一篇写景的文章,课文以极其优美的语言描绘了北大荒秋天的自然风光和丰收景象,字里行间流露出作者对北大荒无比的热爱之情。文章所写的景美,蕴含的情美,文字
文章对岱山县个体理发美容业的卫生状况进行了调查分析,认为理发美容业的卫生管理在抓好两证管理的同时,应抓好日常性卫生管理,以切切实实提高理发美容业的卫生质量,保障众的身体
军人血性的培养是保持军队战斗力的重要途径之一。以实战格斗对抗为出发点,通过在实战格斗训练中对勇气、杀气、豪气、风气等军人血性的培养,来提升我军的战斗力。
采用雌性二倍体鲤鲫杂交分别与雄性鲤鱼和雄性鲫鱼回交,获得了鲤鲫杂交两种回交子代鱼,并对其1龄鱼的形态特征和内部器官结构进行了测定。回交鲤的主要性状为侧线鳞31~38;下咽
反渗透除盐计算软件的编制曹培刚李国良姚继贤李长久(东北电力学院研究生部,吉林132012)(华北电力设计院,北京100011)(东北电力学院应用化学系,吉林132012)国内反渗透(RO)工艺由90年代末、80年代初的引进消化阶段
信息技术企业属于知识密集型企业。当代,以专业知识、信息系统和关系资源为代表的智力资本正日益取代传统物质资本的生产地位,成为知识代表型企业资本总量的主要组成部分,也
随着经济社会的快速发展,我国医疗服务供给状态也发生了巨大变化,有限医疗卫生资源无法满足社会公众旺盛的医疗健康服务需求的矛盾日益凸显。信息技术会明显提高医院服务质量
<正>人民币是我国的唯一法定货币,它在我国社会主义建设和人民生活中发挥着重要作用,人民币的整洁与否关系着国家货币的声誉。为了保证和提高人民币整洁度,央行自2001年度公
后危机时代,现行国际会计准则暴露了诸多弊端。本文从我国金融企业会计制度发展30年来四次改革变迁着手,结合国际会计准则在公允价值计量、金融资产分类、减值模型选择等方面