┊   首页   ┊ 硅谷新闻 | 硅谷科技 | 硅谷知产 | 硅谷学院 | 硅谷新报 | 硅谷专题 |
您现在的位置:硅谷网> 硅谷新闻> 硬件设备>

衣+科学家提出三值神经网络:让AI无处不在

2016-05-27 15:45 作者:www.guigu.org 来源:硅谷网 HV: 编辑:何睿 【搜索试试

    世界领先的创新

  人工智能已经成为最重要的技术革命,目前市场所关心的IT领域几乎所有热点,诸如智能硬件、O2O、机器人、无人机、工业4.0等,其发展突破的关键环节都是人工智能。近年来,深度神经网络模型在图像识别、语音识别、自然语言处理、智力游戏挑战(AlphaGo)等领域取得了飞快的进展。尤其是在图像识别领域,深度卷积神经网络取得了前所未有的成功,目前深度学习已然成为各大科技公司的战略核武器,得到了大力发展。

  

  不久之前深度学习的领军人物之一Yoshua Bengio所在蒙特利尔大学的研究小组提出了基于二值的神经网络优化方法,该技术大幅提高了二值神经网络的预测准确率并接近实用水平,在业界引起了很大的轰动,人工智能技术可能会因此向前推进若干年。

  

  北京陌上花科技有限公司(衣+)在人工智能领域有着多年的技术积累,衣+的深度学习专家针对二值神经网络的缺陷,经过数学上的理论论证,提出三值神经网络模型(Ternary Weight Networks),继承了二值神经网络的优点同时模型的表达能力上大大提升,三值神经网络各方面指标达到了世界领先的水平。

  

  在“智能硬件”火热的今天,很多硬件水平还无法完全达到产品号称的“智能”,其中计算功耗是制约硬件智能化的一个很大的障碍。比如智能手机、嵌入式平台如虚拟现实产品Oculus、增强现实产品HoloLens等很多基于人工智能的应用还只能放在云端,非常不灵活。

  深度学习技术做为人工智能一大热点,模型参数都是使用浮点数来存储数据和进行运算,要求非常大的存储空间和非常大的浮点数计算量,占用很多资源。例如经典的深度卷积网络AlexNet具有200多Mb左右的参数量、VGG-19有500多Mb的参数量,最小的用于ImageNet分类的Residual Network (18 layers)也有50多Mb的参数等。即使是最小的Residual-18网络,处理一张长宽为224的彩色图片也需要18亿次的浮点数运算。为了进一步提升深度学习模型的能力甚至催生了ResNet-1001这种层数达到上千量级的网络。

  

  现在主流的GPU显卡,例如GTX Titan X,单卡功耗就有250W,相当于三分钟内耗尽一部iPhone 6手机的电池。这种高功耗还对散热有着苛刻的要求。因此,功耗、计算能力等因素瓶颈制约了AlexNet为代表的传统深度神经网络被应用到更多的设备里,比如Apple Watch和Google Glass等可穿戴设备上。虽然云计算可以将一部分计算转移到云端,但在需要处理高流量输入信号和要求高实时性的场合中,云计算的带宽、延迟和全时可用性都受到挑战,而无法完全替代本地计算。设计既能节省存储空间和计算资源,又具有高精度的模型,对于激活手机移动端、可穿戴设备等智能产品的性能具有迫切的需求。很多大公司和科研机构都将深度学习模型压缩作为追逐的目标。

  三值神经网络解析

  二值神经网络通过把浮点单精度的系数变成正1或负1,系数的二值化(Binary Connect Network)能达成存储大小变为原来的1/32。进一步如果中间结果也变为二值,可以将浮点计算替换成整数位运算。在支持64位运算的CPU和GPU上,这意味着64倍的理论加速比。相当于允许把一个此前只能在高性能服务器上运行的深度学习模型放在智能手表上运行。然而,二值神经网络损失的信息相对于浮点精度是非常大的。

  

  因此,对于同样结构的网络模型,二值权重的效果相对于全精度的效果会有不同程度的下降,尤其是面对大规模的真实环境的数据比如ImageNet(http://image-net.org/),二值神经网络模型表达能力会出现严重的不足。例如,用全精度的ResNet-18网络模型在ImageNet2012 数据集上精度可以达到68%左右,然而同样时间复杂度下,用二值化的Residual 18层网络模型只能达到60%左右的精度,用更快的XNOR网络则只能达到50%左右的精度。因此,二值化的神经网络模型在追求速度的同时极大的降低了精度。另外,这种粗糙的二值化近似导致训练时模型收敛速度非常慢,往往需要比平常多3倍以上的训练时间才有可能达到比较近似于全精度的结果。这对于训练大规模的神经网络是不可接受的。

  

  相对于二值神经网络,三值神经网络(Ternary Weight Networks)在同样的模型结构下可以达到成百上千倍的表达能力提升;并且,在计算时间复杂度上,三元网络和二元网络的计算复杂度是一样的。

  例如,对于ResNet-18层网络中最常出现的卷积核(3x3大小),二值神经网络模型最多可以表达2的3x3次方(=512)种结构,而三元神经网络则可以表达3的3x3次方(=19683)种卷积核结构。在表达能力上,三元神经网络相对要高19683/512 = 38倍。因此,三元神经网络模型能够在保证计算复杂度很低的情况下大幅的提高网络的表达能力,进而可以在精度上相对于二值神经网络有质的飞跃。另外,由于对中间信息的保存更多,三元神经网络可以极大的加快网络训练时的收敛速度,从而更快、更稳定的达到最优的结果。

  

  二值、三值神经网络和全精度神经网络性能对比测试

  在ImageNet百万量级的真实数据库上,三值神经网络相较于全精度的精度只降低2到3个百分点,大大优于二值化神经网络。在模型压缩上,三值神经网络可以做到16倍的压缩率,从而将ResNet-18网络从45Mb压缩到2.9Mb。该技术已经成功的应用到了手机端的图像识别服务,并且以SDK的方式提供给第三方厂商在嵌入式设备中进行应用。

  三值神经网络能带来什么革命?

  三值神经网络,将在可穿戴设备、机器人、无人机、无人车、智能摄像头等领域获得巨大的应用。

  智能眼镜/VR头盔,可以打造AR/VR购物、导航、游戏的完美体验。

  

  智能手表,可以语音识别聊天,成为更好的智能助手。

  

  机器人可以进行人脸核实、物体识别、场景识别、动作识别等等,更好地与人进行交互。

  监控摄像头可以扫描人群,进行人脸识别,同时进行异常行为检测和暴力场景检测等等。

  无人机航拍,则可以从鸟瞰的视角进行移动物体的动态检测和实时监控。

  

  智能汽车可以通过车载摄像头获取街景信息,经过智能分析平台,实现场景文字识别,路况分析,建筑物交通标志识别等。进一步融合其它传感器的信息实现无人驾驶。

  这一切,都是在智能设备中实时计算完成。

  告别断网即不灵的云设备,精准度高、性能好、省电、对硬件要求很低。

  三值神经网络的问世,使智能设备的科幻魅力与现实零距离无缝对接。

  这将是历史上最激动人心的篇章之一,一次伟大的技术革新。

  看,世界正在被改变。

上一篇:中国闪存联盟三百大行动的成果发布(组图)
下一篇:只为玩家!三星SSD 950PRO 256G京东预售开启
【对“衣+科学家提出三值神经网络:让AI无处不在”发布评论】
版权及免责声明:
① 本网站部分投稿来源于“网友”,涉及投资、理财、消费等内容,请亲们反复甄别,切勿轻信。本网站部分由赞助商提供的内容属于【广告】性质,仅供阅读,不构成具体实施建议,请谨慎对待。据此操作,风险自担。
② 内容来源注明“硅谷网”及其相关称谓的文字、图片和音视频,版权均属本网站所有,任何媒体、网站或个人需经本网站许可方可复制或转载,并在使用时必须注明来源【硅谷网】或对应来源,违者本网站将依法追究责任。
③ 注明来源为各大报纸、杂志、网站及其他媒体的文章,文章原作者享有著作权,本网站转载其他媒体稿件是为传播更多的信息,并不代表赞同其观点和对其真实性负责,本网站不承担此类稿件侵权行为的连带责任。
④ 本网站不对非自身发布内容的真实性、合法性、准确性作担保。若硅谷网因为自身和转载内容,涉及到侵权、违法等问题,请有关单位或个人速与本网站取得联系(联系电话:01057255600),我们将第一时间核实处理。
相关推荐
·中国女科学家有望攻克世界性难题自闭症治疗
·智能家居为路由器“提出”全新标准(图)
·牵手天籁K歌,智我科技提出新型家庭K歌概念
广告推荐
头条推荐
连自己都惊讶:亚马逊是怎样搞出Echo的? 连自己都惊讶:亚马逊是怎样搞出Echo的?
当亚马逊高管Dave Limp第一次听说Echo这个产品的策划时,他的第一反应是:这事能成吗……
·又一个职业要消失!有了它验光配镜在家搞定
·瓶颈突破:中国智能硬件产值2019年将达5000亿
·连自己都惊讶:亚马逊是怎样搞出Echo的?
·小熊尼奥春季新品发布会 打造AR儿童领域新生
·智能硬件公司估值集体缩水 资本疯狂涌入VR
图文推荐
Windows 10年底全球PC市场份额有望达到24%
Windows 10年底全球PC市场份额有望达到24%
影院级观影体验 惠科HYINGDA V40震撼视觉
影院级观影体验 惠科HYINGDA V40震撼视觉
评测:小度WiFi信号完胜 用户吐槽360太差
评测:小度WiFi信号完胜 用户吐槽360太差
六款2000-3000元级随身HIFI音乐播放器大横评
六款2000-3000元级随身HIFI音乐播放器大横
最新推荐
·Windows 10年底全球PC市场份额有望达到24%
·科帕手机嘀嘀支架内置二维码名片 全新社交体验
·影院级观影体验 惠科HYINGDA V40震撼视觉
·柯达重现经典,柯达照片打印机全球首发(图)
·魅族手环成本曝光 499元亮相1206魅蓝note发布会
热点推荐
·原车中控屏可下岗 试用嘟嘟智能AIO后视镜
·网费轻松就可以打平 迅雷赚钱宝Pro评测(图)
·评测:小度WiFi信号完胜 用户吐槽360太差
·媲美千元耳机?酷狗M1蓝牙耳机天猫开卖
·六款2000-3000元级随身HIFI音乐播放器大横评
广告推荐
旧闻推荐
·Apple Watch只对预定顾客开放出售 土豪除外!
·小青心索尼C3携新丝路百模 潮流自拍PK(图)
·果壳智能圆表设计赛落幕 40万大奖花落各家
·万万没想到 自动锁螺丝机和螺丝是这样的关系
·InWatch载TencentOS推智能手表布局可穿戴市场
广告推荐
硅谷影像
Windows 10年底全球PC市场份额有望达到24%
Windows 10年底全球PC市场份额有望达到24%
影院级观影体验 惠科HYINGDA V40震撼视觉
影院级观影体验 惠科HYINGDA V40震撼视觉
大疆无人机Mavic Pro & GoPro HERO 5对比(图)
大疆无人机Mavic Pro & GoPro HERO 5对比(
2016中国智能硬件风云榜线下分享会成功举行
2016中国智能硬件风云榜线下分享会成功举行
小米无人机还卖不卖?发布仅半年就已经放弃?
小米无人机还卖不卖?发布仅半年就已经放弃?
充电宝能让特斯拉跑起来?还能给Mate9快充
充电宝能让特斯拉跑起来?还能给Mate9快充
关于我们 | 联系我们 | 加入我们 | 赞助我们 | 投稿爆料 | 广告投放 | 商务合作 | 网站地图 | TAGS标签 | RSS订阅
Copyright © 2012-2016 硅谷网 版权所有 网站热线:(+86)010-57255600
电脑版 移动版 WAP版 WWW.GUIGU.ORG All rights reserved. 工信部备案号:京ICP备12003855号-2