|  首页  |  资讯  |  评测  |  活动  |  学院  |  访谈  |  专题  |  杂志  |  产服  |  
您现在的位置:硅谷网> 资讯> 软件>

AlphaGo Zero启示:监督学习和无监督学习的利弊

2017-10-24 10:40 作者:佚名 来源:网易 HV: 编辑:何睿 【搜索试试

2016年,作为世界上最好的围棋选手之一,李世石在首尔的比赛中,以四比一的成绩输给了AlphaGo。无论是在围棋历史上,还是在人工智能(AI)的历史上,这都是一件大事。围棋在中国、韩国和日本的文化中具有的地位就像西方文化中的象棋一样重要。

在击败李明博后,AlphaGo在网上的一系列匿名游戏中击败了数十名知名人类选手,随后在5月重新出现,应对来自中国乌镇围棋选手的柯洁。但是柯先生的表现并不比李先生的好,最终以3-0的比分输给了计算机。

对于人工智能研究人员来说,围棋同样是被尊崇的。国际象棋在1997年出现在计算机上,Garry Kasparov与IBM的一台名为深蓝的计算机进行对抗,最后输掉了比赛。但是,在李明博失败之前,围棋的复杂性让其很难在机器上表现。AlphaGo的胜利十分引人,它充分展示了一种名为“机器学习”的人工智能力量,目标是让计算机教会自己一些复杂的任务。

AlphaGo通过研究人类专家棋手之间的数千场对抗,进而从这些游戏中学习规则和策略,然后在数百万场比赛中不断改进,从而学会围棋。这足以让它比任何人类都更强大。但是AlphaGo的公司,DeepMind的研究人员相信,他们可以改进这一技术。在刚刚发表在《自然》杂志上的一篇论文中,他们公布了最新版本的“AlphaGo Zero”。它在游戏中表现得更好,学得更快,需要更少的计算硬件便可以做得好。不过,最重要的是,与原版不同的是,AlphaGo Zero在没有向人类专家求助的情况下,成功地自学了这款游戏。

这一技术立刻吸引了很多关注。像很多游戏一样,学习围棋虽然容易,却很难玩好。两名持黑子与白子选手轮流在一个由19条垂直线和19条水平线组成的棋盘交叉处放置棋子。目标是占领比对手更多的领土。被对手包围的棋子将从棋盘上移除。玩家继续前进,直到双方都不愿继续。然后,每个人都将他的棋子数目加到所环绕空网格的交叉点上。最后,数量多的将成为赢家。

困难来自于多种可能的走法。19x19的棋盘上有361个不同的地方,黑色的一方可以最先放置棋子。随后,白子有360种可能的走法。在棋盘上的走法总数有10170种,这个数字实在是太大了,因此无法进行任何物理类比(例如,可观测宇宙中大约有1080个原子)。

而人类专家则致力于在更高的层面上去理解这个游戏。围棋规则简单却会涌现出大量不同情况。玩家会谈论诸如“眼睛”和“梯子”之类的棋局,以及诸如“威胁”和“生与死”之类的概念。但是,尽管人类棋手理解这些概念,但用一种超文字的方式解释计算机程序要困难得多。相反,最初的Alpha Go研究了数千个人类游戏的例子,这个过程被称为“监督学习”。由于人类的游戏反映了人类对这类概念的理解,一个接触到棋局足够多的计算机也能理解这些概念。一旦AlphaGo在人类教师的帮助下,熟练掌握了战术和策略,便克服了重重障碍,开始参加到百万场无人监督的训练游戏,每一场比赛都提升了它的技巧。

受监督的学习比围棋更有用。这是最近人工智能领域取得进步背后的基本理念,它帮助计算机学会做一些事情,比如识别照片中的人脸,可靠地识别人类语音,有效地过滤电子邮件中的垃圾邮件。但是,正如Deepmind老板Demis Hassabis所言,监督学习是有限度的。它依赖于训练数据的可用性,以及向计算机提供数据,从而向机器显示它应该做什么。这些数据必须经过人类专家的过滤。例如,面部识别的训练数据由成千上万张图片组成,有些照片上有人脸,有些则没有,每一张照片都需要人为的标注。这使得这类数据的成本很高,前提是它们是可以获取到的。而且,正如论文指出的那样,这里可能会存在一些更细微的问题。依靠人类专家的指导,可能会限制人类对计算机能力的限制。

“AlphaGo Zero”的设计初衷是为了避免所有这些问题,从而完全跳过“火车车轮”阶段。这个项目的开展利用游戏规则和“奖励功能”,即当它赢得比赛便奖励一点,输掉则扣除一点。然后不断进行实验,反复通过游戏来对抗其他版本的自己,并受限于奖励机制,即必须尽可能多地赢得奖励,从而使奖励最大化。

这个项目是从随机放置棋子开始的,机器完全不知道自己在做什么。但它取得了快速的进步。一天之后,它的棋艺便上升到了高级专家级别。两天之后,它的表现就超过了2016年击败李明博的版本。

DeepMind的研究人员能够观察到他们的自我革新,重新发现人类几千年来积累起来的围棋知识。有时候,它看起来像人类一样诡异。经过大约三个小时,专注于“捕捉棋子”的训练,这是大多数人类初学者也必须经历的阶段。在另一些人看来,这显然是外星人。例如,“梯子”是一种棋子的排列模式,当一个玩家试图捕获一群对手的棋子时,他会在棋盘上的对角线上放置。它们是围棋游戏的常见局面。因为梯子由一个简单的重复模式组成,人类新手很快就会学会并去推断它们,对梯子“搭建”的成功与否进行评估。但AlphaGo Zero——它无法推断,而是半随机地尝试新动作——这花了比预期时间更长的时间来掌握这个技巧。

然而,自己学习而不是依靠人类的暗示,总的来说是一个很大的进步。例如,josek是表述棋盘边缘附近发生的一系列动作的特殊序列。(他们的剧本自然让他们有点像国际象棋的开场。)AlphaGo Zero发现了josek教给人类棋手的准则。但它也发现了一些完全属于自己的方法,并最终成为了自己的下棋的首选。负责AlphaGo项目的David Silver表示,这台机器似乎具有一种明显非人类的风格。

其结果是一个不仅是超人的项目,而且是令人难以接受的。围棋(和国际象棋,以及其他许多游戏)都可以用一种叫做“Elo评级”的东西来量化,它根据过去的表现给出了一个玩家可以打败另一个玩家的概率。一个球员有50:50的几率击败对手,但只有25%的几率比对手高出200分。柯先生获胜的支持率为3661。李先生的是3526。在经过40天的训练后,AlphaGo Zero的得分超过了5,000——这一数字远远领先超强选手柯洁先生,同时暗指包括柯洁在内的任何一个人类选手都没有可能打败它。当它与AlphaGo的第一个击败李斯基的版本对战时,它以100比0获胜。

当然,比起围棋,生活中还有很多别的事情。它的创造者希望,像那些为AlphaGo的不同迭代提供动力的算法,理论上可以应用于相似的任务的中。(DeepMind已经利用了AlphaGo背后的技术,帮助谷歌大幅削减其数据中心的能耗。)但是,一种无需他人指导就能学习的算法,意味着机器可以在人们不知道如何解决的问题上放手。Hassabis表示,任何可以归结为通过大量可能性进行智能搜索的事情,都可以从AlphaGo的方法中受益。他列举了一些经典的棘手问题,比如研究蛋白质如何折叠成最终的功能形状,预测哪些分子可能作为药物,或者准确地模拟化学反应。

人工智能的进步常常引发人们对人类退化的担忧。DeepMind希望这类机器最终能成为生物大脑的助手,而不是取代它们,就像从搜索引擎到纸张一样。毕竟,一台机器发明新的解决问题的方法,能够推动人们走上新的、高效的道路。Silver先生表示,AlphaGo的一个好处是,在一个充满历史和传统的游戏中,它鼓励人类棋手对古老的智慧提出质疑,并进行实验。在输给了AlphaGo之后,柯洁研究了计算机阵法,寻找灵感。之后,他又以22连胜的成绩打败了人类对手,这是一个令人印象深刻的壮举,即使对于他的对手来说也是如此。毕竟,监督学习是双向的。

【对“AlphaGo Zero启示:监督学习和无监督学习的利弊”发布评论】

版权及免责声明:
① 本网站部分投稿来源于“网友”,涉及投资、理财、消费等内容,请亲们反复甄别,切勿轻信。本网站部分由赞助商提供的内容属于【广告】性质,仅供阅读,不构成具体实施建议,请谨慎对待。据此操作,风险自担。
② 内容来源注明“硅谷网”及其相关称谓的文字、图片和音视频,版权均属本网站所有,任何媒体、网站或个人需经本网站许可方可复制或转载,并在使用时必须注明来源【硅谷网】或对应来源,违者本网站将依法追究责任。
③ 注明来源为各大报纸、杂志、网站及其他媒体的文章,文章原作者享有著作权,本网站转载其他媒体稿件是为传播更多的信息,并不代表赞同其观点和对其真实性负责,本网站不承担此类稿件侵权行为的连带责任。
④ 本网站不对非自身发布内容的真实性、合法性、准确性作担保。若硅谷网因为自身和转载内容,涉及到侵权、违法等问题,请有关单位或个人速与本网站取得联系(联系电话:01057255600),我们将第一时间核实处理。
广告
相关
·新版AlphaGo:自学3天完胜前代,还会自创招式
·“人工智能”系统在中国的另类崛起(组图)
·“人工智能” 系统在中国的另类崛起(组图)
·微软警告Windows XP用户:不升级遭zero day攻击
头条
“魔搜”软件开发者张某被判刑1年2个月缓刑1年10个月 “魔搜”软件开发者张某被判刑1年2个月缓刑1
一个取名魔搜的软件篡改消费者在电商平台的购物浏览记录,企图通过数据造假制造爆款。……
·“魔搜”软件开发者张某被判刑1年2个月缓刑1
·45款应用程序遭谷歌下架 猎豹移动股价惨跌16.
·腾讯会议一星好评,如何占得线上视频会议市场
·高仿APP捞钱套路:蹭官方、发广告、索取隐私
·报告称APP的支出和使用率在2019年达到创纪录
图文
“远程办公”战线拉长,如何确保“私有化”办公?
“远程办公”战线拉长,如何确保“私有化”
友盟+智能认证:用户增长始于头,体验提升只需1.3秒
友盟+智能认证:用户增长始于头,体验提升
知米背单词APP那些不为人知的小细节(图)
知米背单词APP那些不为人知的小细节(图)
Realme引入广告什么情况 Realme广告怎么设置关闭?
Realme引入广告什么情况 Realme广告怎么设
最新
·“远程办公”战线拉长,如何确保“私有化”办公?
·友盟+智能认证:用户增长始于头,体验提升只需1.3
·“魔搜”软件开发者张某被判刑1年2个月缓刑1年10
·字节跳动称旗下办公产品飞书被微信全面封禁
·疫情下的危机,如何通过“信源豆豆”实现企业安全
热点
·群控、云控时代即将终结,智控时代已到来
·106短信群发平台APP,致力于成为领域内佼佼者
·DT小听App:防偷拍,还是用这款国产app(图)
·软件技术行业发展变化非常快,软件人才要按需
·嗨学网一级消防可靠吗?新手妈妈亲生经历告诉
旧闻
·社会“抢票软件”存隐患随时有可能被屏蔽
·微软发布2013年首批补丁 暂未修复IE漏洞
·漂亮有创意的思维导图怎么画?办公也有小技巧
·全国多地上线电子社保卡 微信10秒即可申领
·喜推人工智能名片:看懂客户心,销售才能更欢
广告
硅谷影像
“远程办公”战线拉长,如何确保“私有化”办公?
“远程办公”战线拉长,如何确保“私有化”办公?
友盟+智能认证:用户增长始于头,体验提升只需1.3秒
友盟+智能认证:用户增长始于头,体验提升只需1.3
“魔搜”软件开发者张某被判刑1年2个月缓刑1年10个月
“魔搜”软件开发者张某被判刑1年2个月缓刑1年10
打响“科技防疫战” 中软国际解放号在行动
打响“科技防疫战” 中软国际解放号在行动
钉钉5.0新增在线办公室、圈子,满足用户个性化需求
钉钉5.0新增在线办公室、圈子,满足用户个性化需
钉钉5.0产品见面会 彩蛋Real如我曝光号召无压力分享
钉钉5.0产品见面会 彩蛋Real如我曝光号召无压力分
关于我们·About | 联系我们·contact | 加入我们·Join | 关注我们·Invest | Site Map | Tags | RSS Map
电脑版·PC版 移动版·MD版 网站热线:(+86)010-57255600
Copyright © 2007-2020 硅谷网. 版权所有. All Rights Reserved. <京ICP备12003855号-2>