腾讯优图25篇论文入选寰球顶级打算机视觉会议
更新时间:2019-03-08

  Underexposed Photo Enhancement using Deep Illumination Estimation

  作为计算机视觉领域级别最高的研究会议,CVPR2019录取论文代表了计算机视觉领域在2019年最新和最高的科技水平以及未来发展潮流。CVPR官网显示,今年有超过5165篇的大会论文投稿,最终录取1299篇。这些录取的最新科研结果,涵盖了计算机视觉领域各项前沿工作。2019年腾讯公司有超过58篇论文被本届CVPR大会吸收 ,其中腾讯AI Lab33篇、腾讯优图实验室25篇。而2018年总计被收录31篇,2017年被收录18篇。2019年的录取数目相比前两年都有大幅提高,成就斐然。

  X2CT-GAN: Reconstructing CT from Biplanar X-Rays with Generative Adversarial Networks

  作为计算机视觉领域级别最高的研究会议,CVPR2019录取论文代表了计算机视觉领域在2019年最新和最高的科技程度以及将来发展潮流。CVPR官网显示,今年有超过5165篇的大会论文投稿,终极录取1299篇。这些录取的最新科研成果,涵盖了计算机视觉领域各项前沿工作。2019年腾讯公司有超过58篇论文被本届CVPR大会接收 ,其中腾讯AI Lab33篇、腾讯优图实验室25篇。而2018年总计被收录31篇,2017年被收录18篇。2019年的录取数目相比前两年都有大幅进步,成绩斐然。

  近年来,深度神经网络在行人检索义务中获得了较大的胜利。然而这些方式往往只基于单人的外观信息,其在处置跨摄像头下行人外观呈现姿势变化、光照变更、遮挡等情形时仍然比拟艰苦。本文提出了一种新的基于上下文信息的行人检索模型。所提出的模型将场景中同时涌现的其余行人作为高低文信息,并应用卷积图模型建模这些上下文信息对目的行人的影响。咱们在两个有名的行人检索数据集CUHK-SYSU跟PRW的两个评测维度上刷新了当时的世界纪录,取得了top1的行人检索成果。

  基于上下文图网络的行人检索模型

  Adversarial Attacks Beyond the Image Space

  基于生成对抗网络的双平面X光至CT生成体系

  

  生成对抗实例是懂得深度神经网络工作机理的重要途径。大多数现有的方法都会在图像空间中产生扰动,即独破修改图像中的每个像素。在本文中,我们更为关注与三维物理性质(如旋转和平移、照明前提等)有意义的变化相对应的对抗性示例子集。可以说,这些对抗方法提出了一个更值得关注的问题,因为他们证明简单地干扰事实世界中的三维物体和场景也有可能导致神经网络错分实例。

  寰球计算机视觉顶级会议 IEEE CVPR 2019(Computer Vision and Pattern Recognition,即IEEE国际计算机视觉与模式识别会议) 即将于6月在美国长滩召开。本届大会总共录取来自全球论文1299篇。中国团队表示不俗,此次,腾讯公司有超过58篇论文被本届CVPR大会接收,其中腾讯优图实验室25篇、腾讯AI Lab33篇,相比从前两年成绩大幅提升。

  当下CT成像可以提供三维全景视角辅助医生懂得病人体内的组织器官的情况,来协助疾病的诊断。然而CT成像与X光成像比较,给病人带来的辐射剂量较大,并且费用成本较高。 传统CT影像的三维重建过程中围绕物体核心旋转采集并应用了大量的X光投影,这在传统的X光机中也是不能实现的。在这篇文章中,我们翻新性的提出了一种基于对抗生成网络的措施,只使用两张正交的二维X光图片来重建逼真的三维CT影像。核心的创新点包括增维生成网络,多视角特色融合算法等。我们通过实验与量化分析,展现了该方法在二维X光到三维CT重建上大大优于其余对比方法。通过可视化CT重建成果,我们也可以直观的看到该方式供应的细节更加逼真。在实际应用中, 我们的方法在不改变现有X光成像流程的条件下,可以给医生提供额外的类CT的三维影像,来辅助他们更好的诊断。

  超越图像空间的对抗攻击

  当下CT成像可以提供三维全景视角援助医生懂得病人体内的组织器官的情况,来协助疾病的诊断。但是CT成像与X光成像比拟,给病人带来的辐射剂量较大,并且用度本钱较高。 传统CT影像的三维重建进程中围绕物体中心旋转采集并使用了大批的X光投影,这在传统的X光机中也是不能实现的。在这篇文章中,我们翻新性的提出了一种基于对抗生成网络的方法,只使用两张正交的二维X光图片来重建真切的三维CT影像。中心的立异点包含增维天生网络,多视角特点融会算法等。我们通过试验与量化剖析,展示了该方法在二维X光到三维CT重建上大大优于其他对比喻法。通过可视化CT重建结果,我们也可以直观的看到该方法供给的细节更加逼真。在实际利用中, 我们的方法在不转变现有X光成像流程的条件下,可以给医生提供额定的类CT的三维影像,来帮助他们更好的诊断。

  软多标签学习的无监督行人重识别

  Underexposed Photo Enhancement using Deep Illumination Estimation

  超越图像空间的对抗攻击

  基于生成对抗网络的双平面X光至CT生成系统

  Visual Tracking via Adaptive Spatially-Regularized Correlation Filters

  Homomorphic Latent Space Interpolation for Unpaired Image-to-image Translation

  以下介绍部分腾讯优图入选CVPR2019的论文:

  本文先容了一种新的端到端网络,用于增强曝光不足的照片。我们不是像以前的工作那样直接学习图像到图像的映射,而是在我们的网络中引入中间照明,将输入与预期的增强结果相干系,这增强了网络从专家修饰的输入/输出图像学习复杂的摄影调剂的才能。基于该模型,我们制定了一个损失函数,该函数采用束缚和先验在中间的照明上,我们准备了一个3000个曝光不足的图像对的新数据集,并训练网络有效地学习各种照明前提的丰富多样的调解。通过这些方法,我们的网络可能在增强结果中恢复明白的细节,赫然的对比度和自然色彩。我们对基准MIT-Adobe FiveK数据集和我们的新数据集进行了大量实验,并表明我们的网络可以有效地处理以前的困难图像。

  Unsupervised Person Re-identification by Soft Multilabel Learning

  相对于有监督行人重识别(RE-ID)方法,无监督RE-ID因其更佳的可扩展性受到越来越多的研究关注,然而在非交叠的多相机视图下,标签对(pairwise label)的缺失导致学习分辨性的信息仍旧是无比领有挑战性的工作。为了克服这个问题,我们提出了一个用于无监督RE-ID的软多标签学习深度模型。该主张通过将未标注的人与赞助域里的一组已知参考者进行比较,为未标注者标记软标签(相似实值标签的似然向量)。基于视觉特征以及未标凝视标对的软性标签的类似度一致性,我们提出了软多标签引导的hard negative mining方法去学习一种鉴别性嵌入表现(discriminative embedding)。因为大多数量标对来自交叉视角,我们提出了交叉视角下的软性多标签一致性学习方法,以保障不同视角下标签的一致性。为实现高效的软标签学习,引入了参考代理学习(reference agent learning)。我们的方法在Market-1501和DukeMTMC-reID上进行了评估,显明优于当前最好的无监督RE-ID方法。

  基于自适应空间加权相关滤波的视觉跟踪研究

  Adversarial Attacks Beyond the Image Space

  生成对抗网络在不成对的图像到图像转换中取得了巨大成功。循环一致性允许对不配对数据的两个不同域之间的关联建模。在本文中,咱们提出了一个调换框架,作为潜在空间插值的扩展,在图像转换中考虑两个域之间的中间局部。该框架基于以下事实:在平坦且光滑的潜在空间中,存在连接两个采样点的多条门路。正确决定插值的路径允许更改某些图像属性,而这对在两个域之间生成旁边图像是非常有用的。我们还表明该框架可能应用于多域跟多模态转换。普遍的实验表明该框架对各种任务存在广泛性和适用性。

  腾讯此次被收录的论文涵盖深度学习优化原理、视觉对抗学习、人脸建模与识别、视频深度理解、行人重识别、人脸检测等热门及前沿范畴。寰球当先的科研结果,展示了腾讯在盘算机视觉范围富强的人才储备、科研底蕴和创新才干。这些新颖的打算机视觉算法不仅有着丰富的应用途景,使得更多的计算机视觉算法能应用于日常生活之中,还为后续研究提供了可贵的教训和方向。

  本文提出自适应空间约束相关滤波算法来同时优化滤波器权重及空间约束矩阵。首先,本文所提出的自适应空间约束机制可以高效地学习得到一个空间权重以适应目标外观变化,因而可以得到更加鲁棒的目标跟踪结果。其次,本文提出的算法可以通过交替迭代算法来高效进行求解,基于此,每个子问题都可以得到闭合的解情势。再次,本文所提出的跟踪器使用两种相关滤波模型来分别估量目标的地位及标准,可以在得到较高定位精度的同时有效减少计算量。大量的在综合数据集上的实验结果证明了本文所提出的算法可以与现有的进步算法取得相称的跟踪结果,并且到达了实时的跟踪速度。

  Visual Tracking via Adaptive Spatially-Regularized Correlation Filters

  软多标签学习的无监督行人重识别

  以下介绍部分腾讯优图入选CVPR2019的论文:

  全球计算机视觉顶级会议 IEEE CVPR 2019(Computer Vision and Pattern Recognition,即IEEE国际计算机视觉与模式识别会议) 行将于6月在美国长滩召开。本届大会总共录取来自全球论文1299篇。中国团队表示不俗,此次,腾讯公司有超过58篇论文被本届CVPR大会接收,其中腾讯优图实验室25篇、腾讯AI Lab33篇,相比从前两年成绩大幅晋升。

  基于深度学习优化光照的暗光下的图像加强

  在分类和视觉问答问题的任务中,我们在接受2D输入的神经网络前边增加一个渲染模块来拓展示有的神经网络。我们的方法的流程是:先将3D场景(物理空间)渲染成2D图片(图片空间),而后经由神经网络把他们映射到一个猜测值(输出空间)。这种对抗性干扰方法可以超出图像空间。在三维物理世界中有明白的意思。虽然图像空间的对抗攻击可以依据像素反照率的变化来解释,但是我们证明它们不能在物理空间给出很好的解释,这样通常会拥有非部分效应。但是在物理空间的攻击是有可能超过图像空间的攻击的,虽然这个比图像空间的攻击更难,体当初物理世界的攻击有更低的成功率和须要更大的干扰。

  生成对抗网络在不成对的图像到图像转换中取得了巨大成功。轮回一致性容许对不配对数据的两个不同域之间的关联建模。在本文中,我们提出了一个替换框架,作为潜在空间插值的扩大,在图像转换中斟酌两个域之间的中间部门。该框架基于以下事实:在平坦且润滑的潜在空间中,存在衔接两个采样点的多条路径。准确取舍插值的门路许可更改某些图像属性,而这对在两个域之间生成旁边图像是异样有用的。我们还表明该框架可以运用于多域和多模态转换。普遍的实验表明该框架对各种任务存在广泛性和实用性。

  腾讯此次被收录的论文涵盖深度学习优化原理、视觉对抗学习、人脸建模与识别、视频深度理解、行人重识别、人脸检测等热点及前沿领域。全球当先的科研成果,展示了腾讯在计算机视觉领域强大的人才贮备、科研底蕴和创新能力。这些离奇的计算机视觉算法不仅有着丰硕的应用处景,使得更多的计算机视觉算法能应用于日常生涯之中,还为后续研究提供了宝贵的教训和方向。

  本文提出自适应空间约束相关滤波算法来同时优化滤波器权重及空间约束矩阵。首先,本文所提出的自适应空间约束机制可以高效地学习得到一个空间权重以适应目标外观变化,因此可以得到更加鲁棒的目标跟踪结果。其次,本文提出的算法可以通过交替迭代算法来高效进行求解,基于此,每个子问题都可以得到闭合的解形式。再次,本文所提出的跟踪器使用两种相关滤波模型来分辩估计目标的位置及尺度,可以在得到较高定位精度的同时有效减少计算量。大量的在综合数据集上的实验结果证明了本文所提出的算法可以与现有的先进算法取得相当的跟踪结果,并且达到了实时的跟踪速度。

  基于自适应空间加权相关滤波的视觉跟踪研究

  生成对抗实例是理解深度神经网络工作机理的主要途径。大多数现有的方法都会在图像空间中发生扰动,即独破修正图像中的每个像素。在本文中,我们更为关注与三维物感性质(如旋转和平移、照明条件等)有意义的变化相对应的对抗性示例子集。可以说,这些对抗方法提出了一个更值得关注的问题,因为他们证明简略地干扰事实世界中的三维物体和场景也有可能导致神经网络错分实例。

  Learning Context Graph for Person Search

  基于同态隐空间插值的不成对图片到图片转换

本文由腾讯优图实验室与上海交通大学主导实现。

  近年来,深度神经网络在行人检索任务中取得了较大的成功。但是这些方法往往只基于单人的外观信息,其在处理跨摄像头下行人外观出现姿态变化、光照变化、遮挡等情况时仍然相比艰难。本文提出了一种新的基于上下文信息的行人检索模型。所提出的模型将场景中同时浮现的其他行人作为上下文信息,并使用卷积图模型建模这些高下文信息对目标行人的影响。我们在两个著名的行人检索数据集CUHK-SYSU和PRW的两个评测维度上刷新了当时的世界纪录,取得了top1的行人检索结果。

  在分类和视觉问答问题的任务中,我们在接收2D输入的神经网络前边增加一个渲染模块来拓展现有的神经网络。我们的方法的流程是:先将3D场景(物理空间)渲染成2D图片(图片空间),而后经过神经网络把他们映射到一个猜想值(输出空间)。这种反抗性搅扰办法可以超越图像空间。在三维物理世界中有清楚的意思。诚然图像空间的抗衡袭击能够根据像素反照率的变革来阐明,但是我们证实它们不能在物理空间给出很好的说明,这样通常会具备非局部效应。但是在物理空间的攻打是有可能超过图像空间的攻击的,固然这个比图像空间的攻打更难,体当初物理世界的袭击有更低的成功率和需要更大的烦扰。

  基于同态隐空间插值的不成对图片到图片转换

  Unsupervised Person Re-identification by Soft Multilabel Learning

  Learning Context Graph for Person Search

  X2CT-GAN: Reconstructing CT from Biplanar X-Rays with Generative Adversarial Networks

  本文介绍了一种新的端到端网络,用于增强曝光不足的照片。我们不是像以前的工作那样直接学习图像到图像的映射,而是在我们的网络中引入中间照明,将输入与预期的增强结果相关系,这增强了网络从专家润饰的输入/输出图像学习庞杂的摄影调整的能力。基于该模型,我们制订了一个丧失函数,该函数采取约束和先验在中间的照明上,我们准备了一个3000个曝光不足的图像对的新数据集,并练习网络有效地学习各种照明条件的丰盛多样的调整。通过这些方法,我们的网络可以在增强结果中恢复清楚的细节,鲜亮的比较度和造作颜色。我们对基准MIT-Adobe FiveK数据集和我们的新数据集进行了大量实验,并表明我们的网络可以有效地处理以前的难题图像。

  基于深度学习优化光照的暗光下的图像增强

  Homomorphic Latent Space Interpolation for Unpaired Image-to-image Translation

  绝对于有监督行人重辨认(RE-ID)方法,无监督RE-ID因其更佳的可扩展性受到越来越多的研讨关注,然而在非交叠的多相机视图下,标签对(pairwise label)的缺失导致学习辨别性的信息依然是非常具备挑衅性的工作。为了战胜这个问题,我们提出了一个用于无监视RE-ID的软多标签学习深度模型。该想法通过将未标注的人与帮助域里的一组已知参考者进行比较,为未标注者标志软标签(相似实值标签的似然向量)。基于视觉特征以及未标注视标对的软性标签的类似度一致性,我们提出了软多标签勾引的hard negative mining方法去学习一种辨别性嵌入表现(discriminative embedding)。由于大多数量标对来自交叉视角,我们提出了穿插视角下的软性多标签一致性学习方法,以保障不同视角下标签的一致性。为实现高效的软标签学习,引入了参考代理学习(reference agent learning)。我们的方法在Market-1501和DukeMTMC-reID长进行了评估,明显优于当前最好的无监督RE-ID方法。

本文由腾讯优图实验室与上海交通大学主导实现。

  基于上下文图网络的行人检索模型