华为视觉研究路线图:三大挑战,六项计划

摘要:北京时间20200330关于【华为视觉研究路线图:三大挑战,六项计划】的具体情况和说明,让www.hefenlei.cn新闻频道的以图文形式为您慢慢道来。

作者 | 贾伟

昨天在华为开发者大会上,华为首席科学家陈雷发布的全场景AI计算框架MindSpore开源框架,引起业界广泛关注,毕竟在短短一周之内,国内相继涌现出计图(Jittor,清华)、天元(MegEngine,旷视)、MindSpore(华为)三个深度学习开源框架,可谓“2020年是深度学习框架井喷的一年”。

但在昨天的大会中,华为发布的另一项重要计划却似乎受到了忽视,这是由田奇博士主导的 “华为计算视觉基础研究进展暨华为视觉计划发布” 。

田奇博士,计算机视觉领域的人士应该都不陌生,毕业于清华电工系,后赴伊利诺伊大学香槟分校,师从计算视觉之父 Thomas S.Huang 教授。在2018年加入华为之前,一直在德克萨斯大学圣安东尼奥分校任教,是2016年多媒体领域 10 大最具影响力的学者,并于当年入选IEEE Fellow。

田奇博士加入之后,华为诺亚方舟在计算机视觉领域的研究突飞猛进。以论文来讲,ICCV 2019、CVPR 2019 分别有 19篇和29篇入选论文,CVPR 2020上更是多达 33 篇,且不论他们在类似ICLR、ICML这类篇算法的顶会上发表的论文。

在这次“研究进展&计划发布”上,田奇博士将他们的研究内容梳理为三大方向,即数据:如何从数据中挖掘有效信息?模型:怎样设计高效的视觉识别模型?知识:如何表达并存储知识?

在此基础上,他提出了华为诺亚的六大视觉计划:数据冰山计划、数据魔方计划、模型摸高计划、模型瘦身计划、万物预视计划、虚实合一计划。每个计划听着都很带感,其中逻辑是什么?各自代表了什么?

一、计算机视觉的三大挑战及华为的视觉研究

田奇博士在演讲中,将当下计算机视觉面临的挑战分为三大方向,分别为数据、模型和知识表达。(为什么没有算力?毕竟这不是做视觉的人所能决定的,对算力的考虑其实包含在模型里面)

1、如何从数据中挖掘有效信息?

在信息时代,做计算机视觉其实面临一个尴尬的事情,即互联网上存在着海量的视觉数据,甚至已经远远超过了人类处理的极限;标注数据,无论规模多大,都只是视觉大数据中的“沧海一粟”。如何从海量数据中挖掘出有效的信息,依旧是一个很大的挑战。

华为在这方面提出了两个典型的场景,一是如何利用生成数据训练模型;二是如何对齐多模态数据。

首先是生成数据,华为在这方面投入了大量的研究。具体来说,分为三部分。

第一,自动数据扩充。这个以发表在ICLR 2020 上的 「Adversarial AutoAugment」为代表,这篇文章针对以前NAS(例如 AutoAugment)做数据增强计算开销大、policy是静态的问题,借用 GAN 的“对抗”思想,引入了 adversarial loss,这样一方面大大减少了训练所需的时间;另一方面,可以认为policy generator 在不断产生难样本,从而能帮助分类器学到 robust features,从而学的更好。(ICLR 2020 | 巧妙思想,NAS与「对抗」结合,速率提高11倍 )

第二,利用GAN来模拟更多的数据。这个以发表在CVPR 2018 上的PTGAN 和 CSGAN 为代表。前者(「Person Transfer GAN to Bridge Domain Gap for Person Re-Identification」)是针对行人重识别问题的生成对抗网络,使用GAN将一个数据集的行人迁移到另一个数据集当中。后者(「Compressed sensing using generative models」)是针对感知的GAN压缩,换句话来说,即利用GAN来重构出“原始数据”,相比于其他的重构算法来讲,CSGAN在更少的测量(可理解为采样后的数据)情况下能够重构出很好的原始数据。

第三,利用计算机图形学技术来生成虚拟数据。这个以发表在CVPR 2019 上的「CRAVES: Controlling Robotic Arm with a Vision-based, Economic System」为代表。在CRAVES这篇工作中,他们设计了一套基于虚拟数据生成和域迁移的训练流程,机械臂只需要借助一个额外的摄像头,便可以完成抓取骰子并放置在指定位置的任务。注意,这里的数据是基于CG技术生成的,对机械臂的训练完全不需要提供额外的监督数据。

田奇也介绍了他们在数据生成方面最近的一项工作,这是一项基于知识蒸馏与自动数据扩增结合的方法。我们知道,自动数据扩充(AutoAugment,以下简写为 AA)来源于对数据集的全局优化。对每个图片,AA可能带来图像语义的混淆。

如左边的图所示,原图是一只狐狸;如果对它进行亮度变化,它看起来会更像一只狗;如果对它进行反转,这个时候看起来像一只猫。因此在训练模型的时候,如果仍然使用原来的硬标签(“fox”)显然是不合适的。

为了解决这个问题,华为提出了知识蒸馏的办法,通过预训练的模型,对AA的图片,产生软标签,再用软标签指导图形的训练。上图便是知识蒸馏后产生的软标签。

从结果上来看,这种知识蒸馏与自动数据扩增相结合的方法,在ImageNet上能够取得85.8%的效果。

针对第二个场景,多模态数据,田奇博士认为多模态学习将成为未来计算机视觉领域的主流学习模式,因此非常重要,他们也将在这个领域进行重点布局。当前多模态学习面临的挑战包括:多模态信息表示,模态间的联合映射,模态对齐,模态融合,多模态协同学习。

针对这方面的工作,即如何对齐多模态数据,田奇重点介绍了他们在ACM MM 2019 上获得最佳论文提名的论文「Multimodal Dialog System: Generating Responses via Adaptive Decoders」。他们称之为“魔术模型”,论文本身是针对电子商务场景,用户在与机器克服对话过程中存在输入文本或图片的需求。他们针对这一问题,使用了一个统一的模型来编码不同模态的信息,从而能够根据上下文来反馈文字或图片。

2、怎样设计高效的视觉识别模型?

田奇博士提出,华为诺亚在视觉模型方面的主要研究在于如何设计出高效的神经网络模型以及如何加速/小型化神经网络计算。换句话来说,即模型如何更快、更小、更高效。

神经网络模型的设计,最初都是手工设计,但现阶段手工网络模型设计已经进入了瓶颈期。而作为对应,从2017年开始,自动网络架构搜索(NAS)迅猛发展,尽管只有三年时间,却已经取得了可喜的进展。

田奇博士认为,NAS目前存在三大挑战,分别为:1)搜索空间仍需人工经验定义;2)待搜算子需要人工设计;3)相较手工设计网络,可迁移性较差。

田奇博士在这方面仅举了他们的一个工作,发表在ICLR 2020 上的「PC-DARTS: Partial Channel Connections for Memory-Efficient Architecture Search」。PC-DARTS针对现有DARTS模型训练时需要 large memory and computing 问题,提出了局部连接和边正则化的技术,分别解决了网络冗余问题和局部连接带来的不稳定性。这个模型能够在性能无损的情况下,做到更快(与同类相比快一倍)。

针对如何加速神经网络及模型小型化,田奇博士是这样思考的。目前大的网络模型发展如火如荼,但这样的模型更适合配置在云侧,而无法适配端侧。从2016年起,业界便开始探索模型加速和小型化的研究,也提出了大量小型化方案。但这些方案在实际中面临着诸多问题,包括:1)低比特量化使得精度受限;2)混合比特网络对硬件却并不友好;3)新型算子并没有得到充分的验证。

田奇博士同样举了他们最近的一项工作,是CVPR 2020 上的一篇 Oral:「AdderNet: Do We Really Need Multiplications in Deep Learning?」。在计算机中,浮点运算复杂度相比加法要高很多,但神经网络中存在大量的乘法运算,这就限制了模型在移动设备上大规模使用的可能性。那么是否能设计一种基于加法的网络呢?华为的这篇文章正是对这一问题的回答,他们将卷积网络中的乘法规则变成加法,并对网络中的多种规则进行修改:1)使用曼哈顿距离(取代夹角距离)作为各层卷积核与输入特征之间输出的计算方法;2)为AdderNet设计了一种改进的带正则梯度的反向传播算法;3)提出一种针对神经网络每一层数量级不同的适应性学习率调整策略。实验结果上表明,AdderNet能够取得媲美于乘法网络的效果,且在计算功耗上具有明显的优势。

3、如何表达并存储知识?

田奇表示,华为的目标是打造下一代视觉感知的通用视觉模型,并把该算法迁移到下游任务进行模型复用。

那么,何为“通用视觉模型”?其核心思想事实上就是如何表达并存储知识。

田奇博士提出两种场景。首先是目前比较热的预训练的方式,通过预训练获得的模型来表达和存储知识;其次是通过虚拟环境,在基本不需要标注数据的情况下来学习知识。

针对预训练模型,田奇博士提到了他们在CVPR 2019上发表的工作:「Iterative Reorganization with Weak Spatial Constraints: Solving Arbitrary Jigsaw Puzzles for Unsupervised Representation Learning」。这篇文章提出了一种适用于处理任意维度拼图问题的自监督学习方法。

拼图问题将无标签图像按网格分割为图像块,并打乱它们的顺序,通过网络恢复正确的图像块布局,来达到从无标签图像数据中学习语义信息的目的。这篇文章提出,以迭代的方式逐步调整图像块的顺序直到收敛。在ImageNet上能够取得非常好的性能。

深度学习大量依赖于可标注的数据,但是很多场景下,数据标注成本很高。同时,标注数据也存在一个致命的问题,即知识表达不准确——比如在自动驾驶中,我们有大量的标注信息,但这些标注数据是否真的“最适合”自动驾驶任务呢?此外,人类对外界的感知依赖于常识,而依赖于标注数据来训练的模型则存在缺乏常识的问题。

针对这一问题,田奇博士提出了用虚拟场景构建虚拟场景来学习常识的方法。田奇博士举了他们发表在CVPR 2019 的文章(CRAVES),主要是通过虚拟场景来训练机械臂抓骰子。我们在前面已经提到,这里就不再赘述。

二、华为视觉研究计划

延续以上提到的研究内容,田奇在随后发布了「华为视觉计划」。简单来说包括六个子计划:

与数据相关的:数据冰山计划、数据魔方计划;

与模型相关的:模型摸高计划、模型瘦身计划;

与知识相关的:万物预视计划、虚实合一计划。

1、数据冰山计划

该计划是为了解决数据标注瓶颈问题,让数据生成真正代替手工标注。这里包含三个子课题,分别为:

子课题一:数据生成质量拔高。即通过一到两年时间,解决生成数据质量差和不真实的问题;

子课题二:数据生成点石成金。即设计数据自动挑选的算法,在海量的生成数据中,挑选高质量的数据;

子课题三:通用自动数据生成。即对不同的子任务设计不同的生成数据方式,让数据生成具备普惠能力。

2、数据魔方计划

该计划主要解决多模态数据量化、对齐和融合的问题,从而构建下一代智能视觉。包括构建多模态数据量化指标,从而全面评估性能;多模态数据对应策略研究;多模态数据融合方案等。

3、模型摸高计划

该计划主要是构建云侧大模型,来刷新各类视觉任务的性能上限。同样包括三个子课题:

子课题一:全空间网络架构搜索。即突破神经网络架构搜索空间受限的约束,搜索更多的范式、更多网络空间结构的变化,让神经网络架构真正实现自动搜索;

子课题二:新型算子搜索。即让算子的设计从手工复用到创造新的算子;


查看更多

实时推荐

超77万辆汽车被召回,涉飞度、雅阁、思域等
推荐 2020-05-29 18:02 440 5550
建材社区开展铁路护路宣传及安全巡查活动
推荐 2020-05-29 18:02 629 790
苏州“四位一体”规范公车管理
推荐 2020-05-29 18:02 183 932
脑梗患者怎么吃身体恢复快?专家给出7条原则,要牢记
推荐 2020-05-29 18:02 291 5713
穆萨-迪亚比:我的成长要归功于图赫尔,会考虑未来回巴黎
推荐 2020-05-29 18:01 223 7819
巴斯克斯:回归皇马5年了,我想为皇马效力更长时间
推荐 2020-05-29 18:01 566 9780
《创3》学员微博晒自拍,其小姐姐很真实,陈卓璇却有些不一样
推荐 2020-05-29 18:01 674 2936
“值得熬夜追”的几部古装剧,部部都是“视觉盛宴”
推荐 2020-05-29 18:01 876 8480
六一特辑丨新时代江苏好少年视频展播活动(三)
推荐 2020-05-29 18:01 309 8715
赵丽颖久违晒自拍福利,看到的手臂,大家直呼不是以前的颖宝了
推荐 2020-05-29 18:01 214 7398
杨丞琳发照李荣浩评论好久不见,近来可好,都忘了俩已经结婚
推荐 2020-05-29 18:01 652 1184
小学英语形容词比较级大全,快快为孩子收藏!
推荐 2020-05-29 18:01 444 1978
CFML丨固执的KZ执意进攻A大被梓佟四杀
推荐 2020-05-29 18:01 614 8103
大心脏的利拉德,竟然被“它”逼急了
推荐 2020-05-29 18:01 912 1980
信阳市浉河区:文明新风擦亮城乡底色
推荐 2020-05-29 18:01 547 6274
新资讯丨别样“六一” 学生进铁路
推荐 2020-05-29 18:01 853 4704
危险!核载7人,装了12人!商洛交警查获一辆超员面包车
推荐 2020-05-29 18:01 219 3175
国产家轿车,看日产轩逸和长安逸动PLUS就够了
推荐 2020-05-29 18:01 203 550
LOL季中杯:Theshy上头葬送好局 Chovy盲视野单杀肉鸡助DRX击败iG
推荐 2020-05-29 18:01 621 929
央行开展3000亿元逆回购操作 本周净投放6700亿元
推荐 2020-05-29 18:01 597 2414
karsa是大场面选手,leyan只是个合格的首发队员,难以相比
推荐 2020-05-29 18:01 154 1878
韩国才艺模特,财富之痣冰清玉润,多元素穿搭以钻为美
推荐 2020-05-29 18:01 502 8774
同注新人的SN与SV 本周能否如愿以偿获胜?
推荐 2020-05-29 18:01 273 5019
邵玉龙许开成共同参加中信重工开诚(漳州)智能装备产业基地特种智能消防机器人投产列装演练和新厂奠基仪式
推荐 2020-05-29 18:01 661 9847
卫辉护城河里的鱼疯了?跳出水面1米高!工作人员称:缺氧所致
推荐 2020-05-29 18:01 658 4645
河南汝阳:暖心六一,法院志愿服务队携手爱心团队走进山村小学
推荐 2020-05-29 18:01 813 2398
俄罗斯80岁老太走红,优雅活了一辈子,精致到每一根头发丝
推荐 2020-05-29 18:01 118 9841
吴彦祖怼脸自拍意外曝光头发已稀疏,“颜值天花板”很任性
推荐 2020-05-29 18:01 621 7863
荔枝维生素C丰富 养颜又抗癌 但这时吃会低血糖
推荐 2020-05-29 18:01 123 1026
NBA历史难题:新秀怎么能够成为詹姆斯,乔治、巴特勒给出答案
推荐 2020-05-29 18:01 926 4788
比亚迪又为国产车争光了!在海外卖30多万,而国内不到26W
推荐 2020-05-29 18:01 646 9543
从小写作文就没谱,长大后再纠正很难,语文老师:苦练“童子功”
推荐 2020-05-29 18:01 949 6412
原江苏省委副书记任彦申、省人大副主任曲福田一行莅临天加视察
推荐 2020-05-29 18:01 529 1080
“一枚印章管审批”太原公安启用行政审批专用章
推荐 2020-05-29 18:01 385 9096
西安市中医医院:战疫前线铿锵玫瑰 守望相助使命担当
推荐 2020-05-29 18:01 342 5982
6月打算和朋友去三亚玩,时间只有3天,求推荐游玩攻略?
推荐 2020-05-29 18:01 355 1737
多国解封后疫情反弹 世卫组织再鸣防控警钟
推荐 2020-05-29 18:01 148 3255
中国移动发布5G医疗边缘云1.0产品
推荐 2020-05-29 18:01 448 5073
磐石开花?酉阳叠石花谷拥有距今5亿年前的石中花,专家称:稀罕
推荐 2020-05-29 18:01 703 8237
娄星区团员青年变身反电信诈骗宣传“骑士”
推荐 2020-05-29 18:01 237 9026
车载红外夜视研究:应对极端场景,红外热成像可期
推荐 2020-05-29 18:01 990 2432
白俄超 左迪诺鱼雷vs斯莫列维奇
推荐 2020-05-29 18:01 563 2771
人生最难的是什么?(此文已火)
推荐 2020-05-29 18:00 202 7941
离婚后还能做朋友?白百何陈羽凡接儿子放学,两人轻松热聊无隔阂
推荐 2020-05-29 18:00 100 3354
【以画说案】虚增出勤天数冒领工资岂能瞒天过海
推荐 2020-05-29 18:00 654 6138
梅雨季来了,东永高速进行一次特殊体检,机器人都用上了
推荐 2020-05-29 18:00 312 7853
梧州:“两网一小项”纵横联动 持续深化专项整治
推荐 2020-05-29 18:00 916 5119
魔兽怀旧服灭团小侦探 奈法里安刚落地的时候是没有仇恨的
推荐 2020-05-29 18:00 736 6619
有一种惬意,叫夏日的窑湾古镇
推荐 2020-05-29 18:00 809 2102
网友说早上猫摆了个笑脸给她,走近一看
推荐 2020-05-29 18:00 397 6696
图片·故事|昔日穷山沟 今朝幸福村
推荐 2020-05-29 18:00 227 7553
原创 最美还不够,操控最好的B级车,只要17.58万起
推荐 2020-05-29 18:00 841 7942
武穴小伙刷单被骗1.7万,警方帮忙追回
推荐 2020-05-29 18:00 268 1177
石榴这个部位,千万别再扔了!护血管抗衰老还防中风
推荐 2020-05-29 18:00 424 1419
水果之王猕猴桃的功效你知道多少?快来接受科普!
推荐 2020-05-29 18:00 121 7164
南宁:严查快结问题线索 提升监督质效
推荐 2020-05-29 18:00 996 3235
美使馆:中国计划将国际航班限制延长至6月30日
推荐 2020-05-29 18:00 152 8500
「社区矫正」开展心理辅导、实践活动,云安、罗定社区矫正不停顿
推荐 2020-05-29 18:00 379 7063
河南又一市发布限行通告
推荐 2020-05-29 18:00 900 2843
卢克.肖:博格巴足球技术是令人敬佩的
推荐 2020-05-29 18:00 530 5828
刚装修完工的新房,家具进场晾着通风中,家人都非常满意,晒晒
推荐 2020-05-29 18:00 242 7670
原创 文明就餐,从使用公筷开始!
推荐 2020-05-29 18:00 296 5612
五菱首款“全球银标”MPV疑似谍照曝光 造型修长尾灯精致
推荐 2020-05-29 18:00 540 9901
饮食抗癌是真的吗?远离癌症的五种抗癌食物
推荐 2020-05-29 18:00 515 7790
46岁出演李敏镐“妈妈”,52岁却成“情侣”:论不老女神的养成
推荐 2020-05-29 18:00 950 9732
国乒头号劲敌再放豪言:能赢任何人!预测20岁天才或参加奥运
推荐 2020-05-29 18:00 278 2641
依图发布离线“会议超极本”强悍AI攻破语音识别难题
推荐 2020-05-29 18:00 339 5142
事发龙岩永定,一分钟五车碰撞,一条生命就此陨落,肇事司机被判刑
推荐 2020-05-29 18:00 837 9620
英菲尼迪放下尊严!从27万跌至21.38万,比A4L有面子,却没人懂
推荐 2020-05-29 18:00 857 5183
警惕!女白领一个动作,9小时后竟瘫痪
推荐 2020-05-29 18:00 595 1448
苏轼:作世间闲客,不负今生,诗酒趁年华!
推荐 2020-05-29 18:00 364 5169
本地| 连江县市场监管局推进小作坊升级整治!
推荐 2020-05-29 18:00 410 8691
又一部真香视频手机?娜比上手Reno4 Pro,这评价拉满期待值!
推荐 2020-05-29 18:00 389 9227
急性喉炎的治疗与护理方法
推荐 2020-05-29 18:00 919 2925
上汽大众途岳EV将于年内推出 定位紧凑型纯电SUV/搭100kW电机
推荐 2020-05-29 18:00 528 9833
天玑1000Plus助力144Hz高刷生态,iQOO Z1树立5G手机流畅新高度
推荐 2020-05-29 18:00 816 1058
六安一男子独自漂流被困 获救后直呼“我真是大难不死”
推荐 2020-05-29 18:00 671 4216
江西最不该被忽视的山,山中有99座奇峰,可与湖北武当山相媲美
推荐 2020-05-29 18:00 806 846
你发现了么?苹果黄蚜近几日大量发生,怎么对付?
推荐 2020-05-29 18:00 725 1124
高低功率的发动机,真的差距那么大?带你解密2.0T的高低功率
推荐 2020-05-29 18:00 684 9015
对待恶婆婆最好的方式不是争吵、也不是老死不相往来,而是这样
推荐 2020-05-29 18:00 148 8521
CBA联赛有望最快于6月15日重启 中超联赛啥时候才能开赛?
推荐 2020-05-29 18:00 730 8983
如果不想“头发去无踪,头屑更出众”,那就得这样做!
推荐 2020-05-29 18:00 552 5132
《月上重火》是偶像剧?男女主初次见面就有BGM,意图明显
推荐 2020-05-29 18:00 558 6135
这4种方法,让你在家也能减掉赘肉!
推荐 2020-05-29 18:00 304 4437
巴神的世界你不懂,天赋异禀的巴洛特利,为何沦为如此地步
推荐 2020-05-29 18:00 142 6772
內娱第一千面男星,这张脸要给顶流鲜肉换血了!
推荐 2020-05-29 18:00 989 792
田园犬被送养后逃跑,97天流浪64公里瘦成皮包骨,只为回来见她
推荐 2020-05-29 18:00 742 7704
深夜!安徽一男子直播自杀!网友报警……
推荐 2020-05-29 18:00 498 8553
2020“丝绸之路周”文物海报接力 | 明郑和木雕像
推荐 2020-05-29 18:00 935 1594
《三生三世枕上书》凤九追帝君终得圆满,现实佳人追男神今生成全
推荐 2020-05-29 17:59 310 1483
马思纯晒照表情忧伤,和欧豪分手后的她,越来越有女人味
推荐 2020-05-29 17:59 634 9627
OPPO Reno4系列手机将发布:轻薄5G+65W快充 李易峰代言
推荐 2020-05-29 17:59 563 1179
80㎡老破小变身"真我世界",收纳与艺术并存,实用美学的完美演绎!
推荐 2020-05-29 17:59 450 1750
TCL正式宣布 拟42.2亿元收购武汉华星39.95%股权
推荐 2020-05-29 17:59 776 9451
乡村旅游:罗平县长底乡长底居委会补笼村
推荐 2020-05-29 17:59 497 4792
长发的阚清子太仙了,穿白色连体裤人美气质佳,眼神温柔好撩人
推荐 2020-05-29 17:59 140 9432
乌前旗大队指挥中心工作人员到各驾校对驾考工作使用电脑安全进行大检查
推荐 2020-05-29 17:59 272 7907
车圈圈丨售28.68万起 上汽大众首款中大型MPV威然“云端”上市
推荐 2020-05-29 17:59 132 2487
定了!一所全新规划的南昌西高安学校刚刚奠基,预计明年9月开学
推荐 2020-05-29 17:59 459 4013