由于您的浏览器禁用了javascript，无法正常使用本网站功能，
其它关键字
作 者 推 文
[收藏此章节]　[下载]&&
那是无人理解的灵魂之痛
作者有话要说：停更，休养，找感觉……　　幽黑的街道角落里，间桐雁夜一手捂住隐隐作痛的右手，靠在潮湿生苔藓的墙壁上，不住的喘息着，从那被刻印虫折磨得不堪入目的面容，就能够看出来他到底付出了多大的代价成为了这一次圣战的七位Master之一。　　　　比起有侍从去除身体里的间桐樱，间桐雁夜为了控制住Berserker，拒绝了Rider替他清除伤害身体的存在。　　　　间桐雁夜很清楚，就算小樱这一次召唤出了英灵，只要没有拿到圣杯的话，那么她的下场还是不会有所改变。间桐脏砚不会改变他的初衷，只要这一次的圣杯战争他们输了，间桐樱就会回到那个昏暗的爬满了让人恶心作呕的地下室，再次重复她遇到英灵之前的生活。　　　　为此，他就算是付出了生命的代价，也要替葵救出小樱。　　　　手上的令咒带着血一般的色彩，在时间的流逝下消失了一部分，还剩下两道令咒。就算是间桐雁夜到现在都不能够理解，本该是对外界没有任何反应，只剩下狂暴气息的英灵，到底是为什么会突然间脱离他的控制，没有他的命令，莫名其妙的跑去袭向Saber？　　　　在不清楚敌人情况的现在，间桐雁夜还不能在明面上出现，因此他付出了一道令咒的代价，将私自和其他英灵对战的Berserker给强行召唤了回来。　　　　“雁夜叔叔？”　　　　一道声音唤回了间桐雁夜的思绪，他站直了身体，见小女孩朝他跑过来，不由得温和的笑了笑，伸手摸了摸对方的头。　　　　“小樱，怎么了？”　　　　“雁夜叔叔，刚刚有让Berserker离开过吗？”　　　　间桐樱的问题，令雁夜苦笑了下，才开口道：“他失控了，我才把他弄回来。”　　　　听到这个回答，间桐樱低垂下头，声音略显沉闷：“Rider也是，他刚刚就像是疯了一样攻击看不见的存在。我不明白啊，到底是什么人能够让他这样动容？”　　　　间桐雁夜怔然片刻，略有所思。　　　　能够同时让己方英灵失控的存在，那么对方应该也是和他们有关系的英灵了。说起来，他到现在都没有弄清楚召唤了狂战士的触媒到底来自于什么时代，而其身份又到底是什么。这些，原本间桐雁夜并不打算弄清楚，对他来说，侍从只是达成目的的一样东西。　　　　可是现在看来，有必要去了解一下了。　　　　想到这里，他对小樱说道：“小樱，你自己小心点，我有点事先离开。”　　　　小樱点头道：“我一个人没有关系的，Rider在暗处，遇到了事情他会保护我的。”　　　　“嗯，那就好。”　　　　**　　　　作为英灵是不需要睡觉的，而作为神魂实体化的存在，艾俄洛斯早就从一开始的疲倦状态中渐渐的缓过神来。　　　　对于白天的遭遇，她只觉唏嘘不已。　　　　也许，只是神魂的雅典娜比她更适合引领这些战士。作为雅典娜本尊，她承认她的心是冷的，除了她亲自选择的初代黄金圣斗士，其他几届并非她命定的战士们，她是向来不怎么关心的。而这点，体现在她回到过去却什么都不做上特别明显。　　　　坐在沙发上，面对着没有开灯的黑暗世界，艾俄洛斯仰起头，望着与黑暗融为一体的天花板，像是在思考什么，又像是纯粹的发呆，那双深邃的祖母绿眼眸中空荡荡一片，什么都无法映射出。　　　　“啪嗒”一声，墙上的灯被人毫无征兆的打开了，强烈的光线让艾俄洛斯不适应的用手去遮挡。　　　　“Master，您并不是普通的魔术师吧？”　　　　金发的少女眼神一瞬不瞬的盯着沙发上的人，只见其不发一语的用手遮住了脸，像是睡着了一样，完全没有搭理她。　　　　“您白天用的魔术，已经接近于英灵的召唤了。”没有得到回应，Saber并没有就此放弃，而是有理有据道，“对此，您没有要对我解释的吗？”　　　　艾俄洛斯的大脑还是一片空白，不过此刻还是能够缓慢转动下，她嘟囔了一声：“啊……就知道瞒不过去。”　　　　“Master——？”　　　　对于自己主人的话，Saber听得并不清楚。　　　　将手从脸上给挪开，艾俄洛斯从沙发上站起来，直面一脸正直的少女，微微弯起嘴角：“我确实是隐瞒了你不少事，可是——”说到这里，她的话锋瞬间转变，语气尖锐而刻薄，“我又有什么必要一定要告诉你？”　　　　闻言，Saber难掩脸上的震惊。　　她以为，她和她的主人是应该毫无芥蒂的相信着彼此的。　　她以为，为了圣杯的力量，她们应该是坦言相告的。　　没想到——　　　　“不，我并没有这么说。”少女的声音逐渐的低沉了下去，浑然不似一开始那般坚定和有力。　　　　艾俄洛斯目光微微闪烁，一字未言的离开了客厅。　　　　“这么说有些过分了，艾俄洛斯。”门口，爱丽斯菲尔双手环胸，穿戴整齐的靠在门口的墙壁上。“再怎么说，她好歹也是……”　　　　爱丽斯菲尔的话并没来得及说完，就被艾俄洛斯用眼神阻止了。　　　　交换了一部分信息，艾俄洛斯自然能够明白对方想说什么。　　　　是啊，同为亚瑟王，这么对另外一个自己实在是太过残忍了。确实，里面站着的那个维持着少女模样的英灵，就是平行世界的自己。只是，那又怎样？从遵从了世界的意志那刻起，他们都不再是彼此，只是单纯用来战斗的工具。　　　　哪怕是再华丽的辞藻，也是无法改变杀戮的本质。　　守护也好，为了战斗而战斗也罢，究其根本都是付出他人的性命获得一个结果，谁都没有比谁高尚多少，无非是战斗的理由不同。　　　　可是就在她死前和世界缔结契约，经历了两次英灵召唤后，她的灵魂就已经离开了那个束缚了她一辈子的古不列颠，成为了其他世界新的存在。　　　　所以，艾俄洛斯既是曾经的亚瑟王，又不是“他”。此刻的她，就和奈姬一样，有着那段记忆，却像是看着其他人的一生，就好像那并不存在于她的记忆里一样。　　　　这样的真相，她不会告诉任何人，说到底这也是她自己的问题，和他人无关，是她自己坚持要这么做的。　　　　想了想，她转了个身。　　　　见她离开的方向是大门，爱丽斯菲尔皱眉道：“这么晚了你要去哪里？”　　　　艾俄洛斯头也不回，背对着对方挥手道：“随便走走，房间里有些闷，我想去外面的话或许会好些。”　　　　说着，就径直离开了。　　　　最后听到的是爱丽斯菲尔担忧的声音：“万一遇到了那两个英灵，你打算怎么办？”　　　　关上门，艾俄洛斯望了眼明亮没有尘垢的月亮，摇头，自言自语道：“真的遇上了也不会怎样啊，爱丽斯菲尔。”　　　　也许是没有了曾经那样需要时时刻刻提防谁，艾俄洛斯并未察觉，在她不远处的角落里，有一个冒着黑烟的影子悄然跟随着她。　　　　“就是这个人？”　　　　“说她是人就有些过了，就算外表再怎么像人类，她确实是来自于英灵王座上的存在。”无人知晓的空间里，有着及肩短发的少女如此说道。由于光线太暗，让人看不清她的发色和面容。唯一可以让人看到的，就只有那双带着些许光芒的双眸，和其中闪动着的危险光芒。　　　　“看不出来啊，Master，你居然喜欢同性。”一个隐匿起身影的人，从黑暗中走了出来，站在了月光下。　　　　明明是少年的模样，却拥有一头不自然的白发，以及左眼下面犹如诅咒一样的血色符号，衬得他原本还算白皙的肌肤多了几分病态。　　　　“Lancer。”少女的声音中带着几分不悦，“我应该和你说过了，她的另外一个身份。”　　　　“那么真的按照我所希望的那样做没关系？”被称作Lancer的白发少年伸出手，微弱的光芒闪烁后，一个雕刻精细的金属瓶出现在了他的手掌中，那泛着黑色雾气，隐约夹杂着不详红色之物，很难让人相信这是什么好东西。　　　　“就算她曾经是‘他’，可是我一旦用这个东西……”将视线转移至仿若不存在眼前的少女，白发少年勾起嘴角，眼中嘲讽之色渐浓，“她也只是她，而不会变成你所希望的‘他’，Master。”　　　　“够了，你到底要试探我到什么地步？Lancer！”　　　　一阵红光亮起，白发少年猛的收起了手中的东西，脸色微变的捂住心脏的地方，就算身体莫名的疼痛，也无法让他在某些事情上有所妥协。　　　　他轻笑一声，忍痛道：“怎么……被我戳中了痛点，生气了？”　　　　就在他开口没多久，痛彻心扉的痛苦瞬间消失，速度之快让他以为只是个错觉。只是，额头上沁出的冷汗，还有身体的发颤，令他意识到这是确实发生过的事情。　　　　“不要试图惹恼我，Lancer。”少女的声音阴沉，令人毛骨悚然。　　　　见情报收集得差不多了，白发英灵也就没有继续刺激那个和少女一样的存在。就像她自己说另外一个英灵的情况一样，这个少女就算再像人类，也并非表面那样。　　　　他走出了巷子，隐去了身形和气息，追上了刚刚离开没多久的棕发少女。　　　　艾俄洛斯现在有些后悔，不该没事找事的离开有英灵在的房子，一个人跑出来的。原本想着趁着夜深人静出来散心的，没想到刚出门没多久，就遇到了不想见的人之一。　　　　“雅典娜。”黑发英灵收敛了白天时候的狂暴和愤怒，对着他所效忠和挚爱的信仰缓缓的跪了下来。不是黄金圣斗士对于女神的那种单膝下跪，而是认错被责罚时候的双腿都跪在了地上。他低垂着头，神情平静。　　　　艾俄洛斯盯着来人许久，叹了口气：“起来吧，希绪弗斯。”　　　　而就在对方刚刚站起身，艾俄洛斯又道：“我不是你要找的那个人。”　　　　尽管听了女神的话从地上站了起来，他依旧坚持：“只要您是雅典娜，就是我要见的人。”　　　　“我是雅典娜没错，可是那又如何？”艾俄洛斯走近了这个陌生的战士，其他世界的希绪弗斯，于她来说只有无尽的陌生。“我所在的世界，希绪弗斯是胜利女神奈姬转世，那么你呢？你自己很清楚，你不是。”　　　　希绪弗斯急忙道：“雅典娜，我——”　　　　“你不用多说，你亏欠的、后悔的，以及……”似是有些难以启齿，艾俄洛斯深深吸了口气，才说道，“深爱着的那个雅典娜……并不是我。”　　　　像是嫌给人的打击还不够，她再接再厉道：“你比任何人都要清楚，失去了神格的神明，会比普通人类还要脆弱，她甚至不会拥有投影，更加不可能和世界签订意志。我会出现在这里，就是对你说法的最大否定。”　　　　像是失去了全部的力量一样，希绪弗斯撞在了路边的墙上，双眸无神，他……无法否认艾俄洛斯的话。　　　　失去的一切不会回来，神明没了神格就只剩下毁灭一条路，他明明是知道这一切的，明明知道……　　　　沉浸于悲伤中，希绪弗斯连艾俄洛斯什么时候消失的都不知道。　　　　走了一段路，艾俄洛斯唏嘘不已：“无论是哪个世界，射手座和双子座的命运都是如此悲哀，这算是神明的诅咒吗？”　　　　“也许是哦……”　　　　没等艾俄洛斯听清声音来自什么地方、什么人，她的嘴巴被人给堵住，身体更是被一股强大的力量给拖着走。　　　　她睁大了双眸，不敢置信的看着眼前的一切。　　　　她居然被人给强吻了？！　　　　而在那之后，她感到了不安。　　　　这并不是吻，而是借着吻的名义给她喂下了东西。带着血腥味和充满负面力量的东西，正在顺着她的喉咙进入体内。　　　　而就在同时，那个人松开了嘴。　　　　“咳咳咳——”弯下腰，她脸色惨白，无论怎么做，都无法吐出刚刚被喂下的东西。　　　　“没用的，那是进入身体就会起反应的东西，就算是你也是无法改变这点的，我亲爱的女神。”　　　　艾俄洛斯蹙眉，抬头看到了掳走她的人。　　　　这是一个有着清秀面容的少年，只是那双过于深邃的紫色眼眸，以及浑身上下的负面力量，从而让人无法将他与无害联系到一起。　　　　“你是谁？”　　　　“真是无情啊，这么快就忘了我啊，雅典娜。”　　　　对于身份被人知晓，艾俄洛斯早就已经麻木，不知道是不是错觉，她总觉得对方称呼她名字的时候，那口气有些诡异。　　　　就在这时，她身体剧烈的疼痛着。　　　　她现在满脑子只有四个字：怎么可能！　　　　神魂实体化的身体，不可能被普通的人类所伤到，可是这样的痛楚分明就是……等等，身体的疼痛？身体？！　　　　她错愕于身上衣物的消失，一下子明白了刚刚被迫吞咽的是什么东西了。　　　　第三次被召唤到世间，她知道被污染的圣杯可以让英灵拥有人类肉、身，只是她怎么都想不到她居然也会有这么一天。　　　　神格可以幻化出新的神之躯，那是在没有身体的情况下。　　　　几乎是立刻，艾俄洛斯就知道了自己的处境。失去了遮蔽身体的衣物，她几乎卷缩进了黑暗中，打量着周围，除了白发少年外……周围只剩下死物，而按照她刚刚转世成人类的状态来看，现在失去一切力量的她连门都撞不开。　　　　而后，她发现她犯了个很严重的错误。　　　　被少年被压住，听见其用冰冷的声音道：“你是我的。”　　　　之后的一切，只是单纯的暴力，和对于温情的厮杀。　　　　被封闭的仓库里，透过些微的月光，隐约可见两个纠缠在一起的人影，相互缠绕的发色融为一体，分不清谁是谁的。　　　　寂静中，轻重不一的喘息声，痛苦而欢愉的呻、吟交织在一起，拉开了黑夜的序幕。
插入书签　
《》圣母之路走到底《》努力升级，干掉篡位者才是真理！《》暴躁帝王和淡定小白的PK！《》战火中的爱情，是否能够浴火重生翱翔于天际？《》幻想现言，金手指全开【喂】~
支持手机扫描二维码阅读
wap读点击：
晋江APP→右上角人头→右上角小框
↑返回顶部
第46章 那是无人理解的灵魂之
作 者 推 文
更多动态>>
地雷（100点）
手榴弹（地雷×5）
火箭炮（地雷×10）
浅水炸弹（地雷×50）
深水鱼雷（地雷×100）
个深水鱼雷（自行填写数量）
作者加精评论
本文相关话题
以上显示的是最新的二十条评论，要看本章所有评论，&img src=&/50/v2-4fb7a36a24ea847da0c224_b.jpg& data-rawwidth=&1272& data-rawheight=&710& class=&origin_image zh-lightbox-thumb& width=&1272& data-original=&/50/v2-4fb7a36a24ea847da0c224_r.jpg&&&blockquote&夏乙 编译整理&br&量子位 出品 | 公众号 QbitAI&/blockquote&&p&&br&&/p&&img src=&/v2-aefc51baa71cd8b68ec7cec2_b.jpg& data-rawwidth=&640& data-rawheight=&356& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&/v2-aefc51baa71cd8b68ec7cec2_r.jpg&&&p&&br&&/p&&p&给吴恩达三块白板和一支马克笔，听他讲一节精彩的课。&/p&&p&刚刚，在O’reilly举办的AI Conference上，吴恩达做了个25分钟的演讲，主题依然是“AI is the new electricity”，但内容可以说是充满诚意非常干货了。&/p&&p&吴恩达老师这节课，主要讲了这四部分内容：&/p&&ul&&li&AI能做什么？各种算法有多大商业价值？&/li&&li&做AI产品要注意什么？&/li&&li&怎样成为真正的AI公司？&/li&&li&给AI领导者的建议&/li&&/ul&&p&&br&&/p&&img src=&/v2-ffe92eb3aabdb08cc48af24d2eef9bda_b.jpg& data-rawwidth=&640& data-rawheight=&357& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&/v2-ffe92eb3aabdb08cc48af24d2eef9bda_r.jpg&&&p&&br&&/p&&p&&b&△&/b& 现场视频截图，主要看字&/p&&p&量子位看着视频写了一份笔记，将其中的干货摘录如下：&br&&/p&&p&吴恩达的老师的开场白，依然是AI像当年的电力一样，正开始改变所有行业。&/p&&p&要理解AI，就要先进入我们的第一部分：&/p&&h2&AI能做什么？&/h2&&p&目前，AI技术做出的经济贡献几乎都来自&b&监督学习&/b&，也就是学习从A到B，从输入到输出的映射。&/p&&p&&br&&/p&&img src=&/v2-fef1f3b4cfadc_b.jpg& data-rawwidth=&640& data-rawheight=&358& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&/v2-fef1f3b4cfadc_r.jpg&&&p&&br&&/p&&p&比如说，输入一张照片，让机器学会判断这张照片是不是你，输出0或1。&/p&&p&现在最赚钱的机器学习应用，应该说是在线广告。在这个例子中，输入是广告和用户信息，输出是用户会不会点击这个广告（还是0或1）。&/p&&p&监督学习还可以应用在消费金融领域，输入贷款申请信息，输出用户是否会还款。&/p&&p&过去几年里，机器学习经历了迅速的发展，越来越擅长学习这类A到B的映射，创造了大规模的经济效益。&/p&&p&同时，AI的进步也体现在监督学习的输出不再限于0或1的数字。&/p&&p&&br&&/p&&img src=&/v2-7e5b269c9a24fb5960ec89_b.jpg& data-rawwidth=&640& data-rawheight=&357& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&/v2-7e5b269c9a24fb5960ec89_r.jpg&&&p&&br&&/p&&p&比如说语音识别的任务，也是一种端到端的学习，输入音频，输出文本。只要有足够的数据，语音识别就能达到很好的效果。&/p&&p&这类算法为语音搜索、亚马逊Alexa、苹果Siri、百度DuerOS等等提供了基础。&/p&&p&还有输入英语输出法语的机器翻译，输入文本输出音频的TTS（Text to Speech）等等，都是监督学习的应用。&/p&&p&&b&监督学习的缺点是它需要大量的标注数据&/b&，这影响了它的普及。&/p&&p&经常有人问我，为什么神经网络已经存在了这么多年，AI却近年来才开始快速发展？&/p&&p&很多人可能见过我画这张图：&/p&&p&&br&&/p&&img src=&/v2-81eefbb82911daa59c2da42_b.jpg& data-rawwidth=&640& data-rawheight=&357& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&/v2-81eefbb82911daa59c2da42_r.jpg&&&p&&br&&/p&&p&横轴是数据量，纵轴是算法的性能。&/p&&p&随着数据量的增加，传统机器学习算法的性能并没有明显提升，而神经网络的性能，会有比较明显的提升，神经网络越大，性能的提升就越明显。&/p&&p&为了达到最佳的性能，你需要两样东西：一是大量的数据，二是大型的神经网络。&/p&&p&&br&&/p&&img src=&/v2-9bd057a6d_b.jpg& data-rawwidth=&640& data-rawheight=&356& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&/v2-9bd057a6d_r.jpg&&&p&&br&&/p&&p&&b&△&/b& 擦干净白板继续讲~&/p&&p&还有一个问题，有很多人问我：机器学习中最大的趋势是什么？算法如何创造价值？&/p&&p&现在来看，创造最多价值的还是监督学习。&/p&&p&如果你问我监督学习之后是什么，我认为&b&迁移学习&/b&现在也开始创造不少经济效益。可能因为这个概念不够性感，所以人们谈论得不多。&/p&&p&比如说你的算法从一个像ImageNet那样的大数据集学到了图像识别，然后用迁移学习，用到医学影像诊断上。&/p&&p&而&b&非监督学习&/b&，我认为是非常好的长期研究项目。它也创造了一些经济价值，特别是在自然语言处理上。&/p&&p&&b&强化学习&/b&也很有意思，我研究了很多年，现在也还在这方面做一些微小的工作。但是我认为，强化学习的舆论热度和经济效益有点不成比例。&/p&&p&强化学习对数据的饥渴程度甚至比监督学习更严重，要为强化学习算法获取到足够的数据非常难。&/p&&p&在打游戏这个领域，强化学习表现很好，这是因为在电子游戏中，算法可以重复玩无限次，获取无限的数据。&/p&&p&在机器人领域，我们也可以建立一个模拟器，相当于能让强化学习agent在其中模拟无人车、人形机器人，重复无限次“游戏”。&/p&&p&&b&除了游戏和机器人领域之外，要把强化学习应用到商业和实践中还有很长的路要走。&/b&&/p&&p&&br&&/p&&img src=&/v2-169bfc0069ac_b.jpg& data-rawwidth=&640& data-rawheight=&358& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&/v2-169bfc0069ac_r.jpg&&&p&&br&&/p&&p&现在，监督学习、迁移学习、非监督学习、强化学习这四类算法所创造的经济效益是递减的。&/p&&p&当然，这只是目前的情况。计算机学科不断有新突破，每隔几年就变个天。这四个领域中的任何一个都可能发生突破，几年内这个顺序就可能要重排。&/p&&p&&br&&/p&&img src=&/v2-593c88d79fc9ab2f7653_b.jpg& data-rawwidth=&640& data-rawheight=&358& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&/v2-593c88d79fc9ab2f7653_r.jpg&&&p&&br&&/p&&p&我注意到的另一件事情是，&b&机器学习依靠结构化数据，比非结构化数据创造了更多的经济效益。&/b&&/p&&p&举个结构化数据的例子，比如说你的数据库记录了用户的交易情况，谁什么时候买了什么东西，谁什么时间给谁发了信息，这就是结构化数据。&/p&&p&而像图像、音频、自然语言等等，就是非结构化数据。&/p&&p&虽然非结构化数据听起来更吸引人，舆论热度更高，但结构化数据的价值在于它通常专属于你的公司，比如说只有你的打车公司才有用户什么时候叫车、等了多长时间这样一个数据集。&/p&&p&所以，不要低估结构化数据结合深度学习所能创造的经济价值。&/p&&p&在前面谈到的几类学习算法中，单是监督学习就已经为公司、创业者创造了大量的经济价值和机会。&/p&&p&&br&&/p&&img src=&/v2-68b5adc0f7_b.jpg& data-rawwidth=&640& data-rawheight=&358& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&/v2-68b5adc0f7_r.jpg&&&p&&br&&/p&&p&&b&△&/b& 再擦一块白板（×2），继续~&/p&&h2&做AI产品要注意什么？&/h2&&p&有一个很有意思的趋势，是AI的崛起正改变着公司间竞争的基础。&/p&&p&&b&公司的壁垒不再是算法，而是数据。&/b&&/p&&p&当我建立一家新公司，会特地设计一个循环：&/p&&p&&br&&/p&&img src=&/v2-31cfcd914_b.jpg& data-rawwidth=&640& data-rawheight=&357& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&/v2-31cfcd914_r.jpg&&&p&&br&&/p&&p&先为算法收集足够的数据，这样就能推出产品，然后通过这个产品来获取用户，用户会提供更多的数据……&/p&&p&有了这个循环之后，对手就很难追赶你。&/p&&p&这方面有一个很明显的例子：搜索公司。搜索公司有着大量的数据，显示如果用户搜了这个词，就会倾向于点哪个链接。&/p&&p&我很清楚该如何构建搜索算法，但是如果没有大型搜索公司那样的数据集，简直难以想象一个小团队如何构建一个同样优秀的搜索引擎。这些数据资产就是最好的壁垒。&/p&&p&&br&&/p&&img src=&/v2-30dd24d3ac15b17a4c554b3b1e66e4a4_b.jpg& data-rawwidth=&640& data-rawheight=&356& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&/v2-30dd24d3ac15b17a4c554b3b1e66e4a4_r.jpg&&&p&&br&&/p&&p&工程师们还需要清楚这一点：&/p&&p&AI的范围，比监督学习广泛得多。我认为人们平时所说的AI，其实包含了好几类工具：比如机器学习、图模型、规划算法、知识表示（知识图谱）。&/p&&p&人们的关注点集中在机器学习和深度学习，很大程度上是因为其他工具的发展速度很平稳。&/p&&p&如果我现在建立一个AI团队，做AI项目，很多时候应该用图模型，有时应该用知识图谱，但是最大的机遇还是在于机器学习，这才是几年来发展最快、出现突破的领域。&/p&&p&接下来我要和大家分享一下我看问题的框架。&/p&&p&&br&&/p&&img src=&/v2-ddfb1cf3425ff70ffbd1_b.jpg& data-rawwidth=&640& data-rawheight=&358& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&/v2-ddfb1cf3425ff70ffbd1_r.jpg&&&p&&br&&/p&&p&计算机，或者说算法是怎样知道该做什么的呢？它有两个知识来源，一是数据，二是人工（human engineering）。&/p&&p&要解决不同的问题，该用的方法也不同。&/p&&p&比如说在线广告，我们有那么多的数据，不需要太多的人工，深度学习算法就能学得很好。&/p&&p&但是在医疗领域，数据量就很少，可能只有几百个样例，这时就需要大量的人工，比如说用图模型来引入人类知识。&/p&&p&也有一些领域，我们有一定数量的数据，但同时也需要人工来做特征工程。&/p&&p&&br&&/p&&img src=&/v2-32a8e4b5ffdf74e5a8635f_b.jpg& data-rawwidth=&640& data-rawheight=&357& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&/v2-32a8e4b5ffdf74e5a8635f_r.jpg&&&p&&br&&/p&&p&当然，还要谈一谈工程师如何学习。&/p&&p&很多工程师想要进入AI领域，很多人会去上在线课程，但是有一个学习途径被严重忽视了：读论文，重现其中的研究。&/p&&p&当你读了足够多的论文，实现了足够多的算法，它们都会内化成你的知识和想法。&/p&&p&要培养机器学习工程师，我推荐的流程是：上（deeplearning.ai的）机器学习课程来打基础，然后读论文并复现其中的结果，另外，还要通过参加人工智能的会议来巩固自己的基础。&/p&&p&&br&&/p&&img src=&/v2-1dbc8ce68c060e8d509c1_b.jpg& data-rawwidth=&640& data-rawheight=&358& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&/v2-1dbc8ce68c060e8d509c1_r.jpg&&&p&&br&&/p&&p&&b&△&/b& 再擦一块白板（×3）&/p&&h2&怎样成为真正的AI公司？&/h2&&p&我接下来要分享的这个观点，可能是我今天所讲的最重要的一件事。&/p&&p&从大约20年、25年前开始，我们开始看见互联网时代崛起，互联网成为一个重要的东西。&/p&&p&我从那个时代学到了一件重要的事：&/p&&p&&b&商场 + 网站 ≠ 互联网公司&/b&&/p&&p&我认识一家大型零售公司的CIO，有一次CEO对他说：我们在网上卖东西，亚马逊也在网上卖东西，我们是一样的。&/p&&p&不是的。&/p&&p&&br&&/p&&img src=&/v2-60bd4ddfeac491_b.jpg& data-rawwidth=&640& data-rawheight=&357& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&/v2-60bd4ddfeac491_r.jpg&&&p&&br&&/p&&p&互联网公司是如何定义的呢？不是看你有没有网站，而是看做不做A/B测试、能不能快速迭代、是否由工程师和产品经理来做决策。&/p&&p&这才是互联网公司的精髓。&/p&&p&现在我们经常听人说“AI公司”。在AI时代，我们同样要知道：&/p&&p&&b&传统科技公司 + 机器学习/神经网络 ≠ AI公司&/b&（全场笑）&/p&&p&公司里有几个人在用神经网络，并不能让你们成为一家AI公司，要有更深层的变化。&/p&&p&20年前，我并不知道A/B测试对互联网公司来说有多重要。现在，我在想AI公司的核心是什么。&/p&&p&我认为，AI公司倾向于&b&策略性地获取数据&/b&。我曾经用过这样一种做法：在一个地区发布产品，为了在另一个地区发布产品而获取数据，这个产品又是为了在下一个地区发布产品来获取数据用的，如此循环。而所有产品加起来，都是为了获取数据驱动一个更大的目标。&/p&&p&像Google和百度这样的大型AI公司，都有着非常复杂的策略，为几年后做好了准备。&/p&&p&第二点是比较战术性的，你可能现在就可以开始施行：AI公司通常有&b&统一的数据仓库&/b&。&/p&&p&很多公司有很多数据仓库，很分散，如果工程师想把这些数据放在一起来做点什么，可能需要和50个不同的人来沟通。&/p&&p&所以我认为建立一个统一的数据仓库，所有的数据都存储在一起是一种很好的策略。&/p&&p&另外，&b&普遍的自动化&/b&和&b&新的职位描述&/b&也是AI公司的重要特征。&/p&&p&比如说在移动互联网时代，产品经理在设计交互App的时候可能会画个线框图：&/p&&p&&br&&/p&&img src=&/v2-b82e56ddfbef2_b.jpg& data-rawwidth=&640& data-rawheight=&358& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&/v2-b82e56ddfbef2_r.jpg&&&p&&br&&/p&&p&然后工程师去实现它，整个流程很容易理清楚。&/p&&p&但是假设在AI时代，我们要做一个聊天机器人，这时候如果产品经理画个线框图说：这是头像，这是聊天气泡，并不能解决问题。&/p&&p&聊天气泡长什么样不重要，我需要知道的是，这个聊天机器人要说什么话。线框图对聊天机器人项目来说没什么用。&/p&&p&&br&&/p&&img src=&/v2-88e4ec41cd_b.jpg& data-rawwidth=&640& data-rawheight=&357& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&/v2-88e4ec41cd_r.jpg&&&p&&br&&/p&&p&如果一个产品经理画了个无人车的线框图，说“我们要做个这个”，更是没什么用。（全场笑）&/p&&p&在AI公司里，产品经理在和工程师沟通的时候，需要学会运用数据，要求精确的反馈。&/p&&h2&给AI领导者的建议&/h2&&p&时间好像不够了，给高管的建议嘛，欢迎阅读我给《哈佛商业评论》写的文章&/p&&p&&b&互动时间&/b&&/p&&p&如果你对吴恩达最后提到的那篇文章感兴趣，可以在量子位微信公众号（QbitAI）对话界面，回复：“&b&hbr&/b&”三个字母，即可获得地址。&/p&&p&— &b&完&/b& —&/p&&p&欢迎大家关注我们的专栏：&a href=&/qbitai& class=&internal&&量子位 - 知乎专栏&/a&&/p&&p&诚挚招聘&/p&&p&量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。&/p&&p&&a href=&/qbitai& class=&internal&&量子位 QbitAI&/a&&/p&&p&?'?' ? 追踪AI技术和产品新动态&/p&
夏乙 编译整理 量子位 出品 | 公众号 QbitAI 给吴恩达三块白板和一支马克笔，听他讲一节精彩的课。刚刚，在O’reilly举办的AI Conference上，吴恩达做了个25分钟的演讲，主题依然是“AI is the new electricity”，但内容可以说是充满诚意非常干货了。吴恩…
&p&谢学弟邀:) &b&既然已经身在工业界，那么我就谈谈工业界未来几年需要什么样的机器学习人才。不谈学术界主要还是因为大部分人最终不会从事研究，而会奋斗在应用领域&/b&。相较而言，工业界对人才的需求更加保守，这和学术界不同。这受限于很多客观因素，如硬件运算能力、数据安全、算法稳定性、人力成本开支等。&/p&&p&&b&这个答案可能更适合两类人: 1. 在读的学生朋友 2. 工作不久想要转行机器学习的朋友&/b&。特别厉害的技术大牛建议探索适合自己的路线，而我只能谈一谈适合大部分人的路线。但在回答前，我还是忍不住吐槽一下那种简单回答“深度学习”，“大数据”，“NLP”，“机器视觉”的人。这每一个领域的小方向都多如牛毛，以自然语言处理(NLP)为例，细分有自然语言生成、自然语言理解，还有不同语言的语言模型。任何一个方向花几十年研究也不为过，只给出几个字的答案和买彩票有什么区别...&/p&&p&&b&因此大部分机器学习实践者还是该脚踏实地。盲目追逐热点很容易跌进陷阱，而巩固基础、寻找自己擅长的领域和机器学习交叉点可以帮助你在未来的就业市场变得炙手可热，成为工业界最紧缺的人才。&/b&&/p&&h2&&b&0. 背景&/b&&/h2&&p&&b&工业界未来需要什么样的机器学习人才？老生常谈，能将模型应用于专业领域的人，也就是跨领域让机器学习落地的人&/b&。有人会问现在我们不就需要这样的人吗？答案是肯定的，我们需要并将长期需要这样的人才，现阶段的机器学习落地还存在各种各样的困难。&b&这样的需求不会是昙花一现，这就跟web开发是一个道理，从火热到降温也经过了十年的周期。一个领域的发展有特定的周期，机器学习的门槛比web开发高而且正属于朝阳期，所以大家致力于成为“专精特定领域”的机器学习专家不会过时。&/b&&/p&&p&什么是特定领域的机器学习专家？举个例子，我以前曾回答“人工智能是否会替代财务工作者”时提到我曾在某个公司研究如何用机器学习自动化一部分审计工作，但遇到的最大困难是我自己对审计的了解有限，而其他审计师对我的工作不是非常支持导致进展缓慢。&b&所以如果你有足够的机器学习知识，并对特定领域有良好的理解，在职场供求中你肯定可以站在优势的那一边&/b&。以我的另一个回答为例「&a href=&/question//answer/& class=&internal&&阿萨姆：反欺诈(Fraud Detection)中所用到的机器学习模型有哪些？」&/a&，特定领域的知识帮助我们更好的解释机器学习模型的结果，得到老板和客户的认可，这才是算法落了地。&b&能写代码、构建模型的人千千万，但理解自己在做什么，并从中结合自己的领域知识提供商业价值的人少之又少。&/b&所以调侃一句，哪个方向的机器学习人才最紧缺？答：每个领域都需要专精的机器学习人才，你对特定领域的理解就是你的武器。&/p&&p&当然，给喂鸡汤不给勺很不厚道，所以我也会给出一些具体建议。&b&再次申明，我的建议仅给以就业为目的的朋友，走研究路线我有不同的建议，本文不再赘述。&/b&&/p&&h2&&b&1. 基本功&/b&&/h2&&p&说到底机器学习还是需要一定的专业知识，这可以通过学校学习或者自学完成。&b&但有没有必要通晓数学，擅长优化呢？我的看法是不需要的，大前提是需要了解基本的数学统计知识即可&/b&，更多的讨论可以看我这个答案「&a href=&/question//answer/& class=&internal&&阿萨姆：如何看待「机器学习不需要数学，很多算法封装好了，调个包就行」这种说法？」&/a&。最低程度下我建议掌握五个小方向，对于现在和未来几年内的工业界够用了。&b&再一次重申，我对于算法的看法是大部分人不要造轮子，不要造轮子，不要造轮子！只要理解自己在做什么，知道选择什么模型，直接调用API和现成的工具包就好了。&/b&&/p&&ul&&li&&b&回归模型(Regression)&/b&。学校的课程中其实讲得更多的都是分类，但事实上回归才是工业届最常见的模型。比如产品定价或者预测产品的销量都需要回归模型。现阶段比较流行的回归方法是以数为模型的xgboost，预测效果很好还可以对变量重要性进行自动排序。而传统的线性回归(一元和多元)也还会继续流行下去，因为其良好的可解释性和低运算成本。如何掌握回归模型？建议阅读Introduction to Statistical Learning的2-7章，并看一下R里面的xgboost的package介绍。&/li&&li&&b&分类模型(Classification)&/b&。这个属于老生常谈了，但应该对现在流行并将继续流行下去的模型有深刻的了解。举例，随机森林(Random Forests)和支持向量机(SVM)都还属于现在常用于工业界的算法。可能很多人想不到的是，逻辑回归(Logistic Regression)这个常见于大街小巷每一本教科书的经典老算法依然占据了工业界大半壁江山。这个部分推荐看李航《统计学习算法》，挑着看相对应的那几章即可。&/li&&li&&b&神经网络(Neural Networks)&/b&。我没有把神经网络归结到分类算法还是因为现在太火了，有必要学习了解一下。随着硬件能力的持续增长和数据集愈发丰富，神经网络的在中小企业的发挥之处肯定会有。三五年内，这个可能会发生。但有人会问了，神经网络包含内容那么丰富，比如结构，比如正则化，比如权重初始化技巧和激活函数选择，我们该学到什么程度呢？我的建议还是抓住经典，掌握基本的三套网络: a. 普通的ANN b. 处理图像的CNN c. 处理文字和语音的RNN(LSTM)。对于每个基本的网络只要了解经典的处理方式即可，具体可以参考《深度学习》的6-10章和吴恩达的Deep Learning网课(已经在网易云课堂上线)。&/li&&li&&b&数据压缩/可视化(Data Compression & Visualization)&/b&。在工业界常见的就是先对数据进行可视化，比如这两年很火的流形学习(manifold learning)就和可视化有很大的关系。工业界认为做可视化是磨刀不误砍柴工，把高维数据压缩到2维或者3维可以很快看到一些有意思的事情，可能能节省大量的时间。学习可视化可以使用现成的工具，如Qlik Sense和Tableau，也可以使用Python的Sklearn和Matplotlib。&/li&&li&&b&无监督学习和半监督学习(Unsupervised & Semi-supervised Learning)&/b&。工业界的另一个特点就是大量的数据缺失，大部分情况都没有标签。以最常见的反诈骗为例，有标签的数据非常少。所以我们一般都需要使用大量的无监督，或者半监督学习来利用有限的标签进行学习。多说一句，强化学习在大部分企业的使用基本等于0，估计在未来的很长一阵子可能都不会有特别广泛的应用。&/li&&/ul&&p&&b&基本功的意义是当你面对具体问题的时候，你很清楚可以用什么武器来处理&/b&。而且上面介绍的很多工具都有几十年的历史，依然历久弥新。所以以3-5年的跨度来看，这些工具依然会非常有用，甚至像CNN和LSTM之类的深度学习算法还在继续发展迭代当中。无论你现在还在学校还是已经开始工作，掌握这些基本的技术都可以通过自学在几个月到一两年内完成。&/p&&h2&&b&2. 秘密武器&/b&&/h2&&p&有了基本功只能说明你可以输出了，怎么才能使得你的基本功不是屠龙之术？必须要结合领域知识，这也是为什么我一直劝很多朋友不要盲目转机器学习从零做起。&b&而学生朋友们可以更多的关注自己感兴趣的领域，思考如何可以把机器学习运用于这个领域&/b&。比如我自己对历史和哲学很感兴趣，常常在思考机器学习和其他文科领域之间的联系，也写过一些开脑洞的文章「 &a href=&/p/& class=&internal&&带你了解机器学习(一): 机器学习中的“哲学”&/a&&a href=&/question//answer/& class=&internal&&」&/a&。&/p&&p&&b&而已经有了工作/研究经验的朋友，要试着将自己的工作经历利用起来。举例，不要做机器学习里面最擅长投资的人，而要做金融领域中最擅长机器学习的专家，这才是你的价值主张(value proposition)。最重要的是，机器学习的基本功没有大家想的那么高不可攀，没有必要放弃自己的本专业全职转行，沉没成本太高。通过跨领域完全可以做到曲线救国，化劣势为优势，你们可能比只懂机器学习的人有更大的行业价值。&/b&&/p&&p&举几个我身边的例子，我的一个朋友是做传统软件工程研究的，前年他和我商量如何使用机器学习以GitHub上的commit历史来识别bug，这就是一个很好的结合领域的知识。如果你本身是做金融出身，在你补足上面基本功的同时，就可以把机器学习交叉运用于你自己擅长的领域，做策略研究，我已经听说了无数个“宣称”使用机器学习实现了交易策略案例。虽不可尽信，但&b&对特定领域的深刻理解往往就是捅破窗户的那最后一层纸，只理解模型但不了解数据和数据背后的意义，导致很多机器学习模型只停留在好看而不实用的阶段&/b&。&/p&&p&换个角度思考，不同领域的人都有了对机器学习的理解能更好的促进这个技术落地，打破泡沫的传言。&b&而对于大家而言，不用再担心自己会失业，还能找到自己的角度在这个全民深度学习的时代找到“金饭碗”。所以我建议各行各业的从业者不必盲目的转计算机或者机器学习，而应该加深对本专业的了解并自学补充上面提到的基本功，自己成为这个领域的机器学习专家。&/b&&/p&&h2&&b&3. 弹药补给 &/b&&/h2&&p&没有什么不会改变，这个时代的科技迭代速度很快。从深度学习开始发力到现在也不过短短十年，所以没有人知道下一个会火的是什么？以深度学习为例，这两年非常火的对抗生成网络(GAN)，多目标学习(multi-lable learning)，迁移学习(transfer learning)都还在飞速的发展。有关于深度学习为什么有良好泛化能力的理论猜想文章在最新的NIPS听说也录了好几篇。这&b&都说明了没有什么行业可以靠吃老本一直潇洒下去，我们还需要追新的热点。&/b&但机器学习的范围和领域真的很广，上面所说的都还是有监督的深度学习，无监督的神经网络和深度强化学习也是现在火热的研究领域。&b&所以我的建议是尽量关注、学习了解已经成熟和已经有实例的新热点，不要凡热点必追。&/b&&/p&&p&&b&如果你有这些基本功和良好的领域结合能力，三年五年绝不是职业的瓶颈期，甚至十年都还太早。科技时代虽然给了我们很大的变革压力，但也带给了我们无限的可能。技术总会过时，热点总会过去，但不会过去的是我们不断追求新科技的热情和对自己的挑战。&/b&&/p&&p&欢迎来到机器学习的世界 ?o?o? &/p&
谢学弟邀:) 既然已经身在工业界，那么我就谈谈工业界未来几年需要什么样的机器学习人才。不谈学术界主要还是因为大部分人最终不会从事研究，而会奋斗在应用领域。相较而言，工业界对人才的需求更加保守，这和学术界不同。这受限于很多客观因素，如硬件运算…
&img src=&/50/v2-b044cb7dfcbd9d01a81e1a7_b.jpg& data-rawwidth=&640& data-rawheight=&356& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&/50/v2-b044cb7dfcbd9d01a81e1a7_r.jpg&&&blockquote&李林 若朴 编译整理&br&量子位 出品 | 公众号 QbitAI&/blockquote&&p&少年，你知道Jeff Dean么？&/p&&p&传奇一般的Jeff Dean现在领导着Google Brain团队，也是Google研发群组的高级研究员（Senior Fellow）。近日，Jeff Dean为YC AI小组的同学讲了一堂时长近1小时的课程，讲述了目前Google目前在人工智能方面的研究和进展。&/p&&p&这节不容错过的AI课程，现在有两个观看方式：&/p&&p&&b&第一：视频方式。&/b&&/p&&p&科学前往YouTube(&a href=&/?target=https%3A//youtu.be/HcStlHGpjN8%25EF%25BC%2589%25EF%25BC%258C%25E6%E8%zai& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&https://youtu.be/HcStlHGpjN8）&i class=&icon-external&&&/i&&/a&,或者在量子位微信公众号（量子位）上查看我们搬运回来的视频。&/p&&p&&b&第二：图文方式。&/b&&/p&&p&Jeff Dean这节课配有86页PPT，我们也把全部内容搬运过来，空耳听译了Jeff Dean对每一页的讲述，然后整理配发为每一页的要点。&/p&&p&所以，开始吧~&/p&&p&&br&&/p&&img src=&/v2-38cfefcd5dddfb5871bd4_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-38cfefcd5dddfb5871bd4_r.jpg&&&p&我会全面地讲一讲我们正在用深度学习处理哪些任务，正在建立怎样的系统来提升深度学习的速度。&/p&&p&这份PPT是很多人合作的成果，包括我领导的Google Brain团队。&/p&&img src=&/v2-f4a4cfb863343_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-f4a4cfb863343_r.jpg&&&p&Google Brain团队的任务是让机器更智能，进而让人们生活得更好。&/p&&img src=&/v2-06b02bc38c43b7dec6c91_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-06b02bc38c43b7dec6c91_r.jpg&&&p&为了达到这个目标，我们：&/p&&ul&&li&进行长期的研究；&/li&&li&建立并开源TensorFlow等系统；&/li&&li&与Google和母公司Alphabet的其他部门合作，让几十亿用户能在Alphabet的产品中用上我们的工作成果；&/li&&li&通过实习和Google Brain Residency项目培训新研究者。&/li&&/ul&&img src=&/v2-0d563c63ac2f4264ee27_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-0d563c63ac2f4264ee27_r.jpg&&&p&Google Brain的主要研究领域有以上这些。&/p&&img src=&/v2-0e2a4f4e873d407159fcc_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-0e2a4f4e873d407159fcc_r.jpg&&&p&我今天主要会讲到红色的这些：&/p&&ul&&li&一般机器学习算法和技巧；&/li&&li&机器学习的计算机系统；&/li&&li&自然语言理解；&/li&&li&健康；&/li&&li&机器人。&/li&&/ul&&p&也会涉及一些感知领域的研究。&/p&&img src=&/v2-c8d0baa5cfab_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-c8d0baa5cfab_r.jpg&&&p&年初，我写了一篇博客，总结2016年我们团队都做了哪些工作。&/p&&p&&a href=&/?target=http%3A///2017/01/the-google-brain-team-looking-back-on.html& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&&/span&&span class=&invisible&&/2017/01/the-google-brain-team-looking-back-on.html&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&&/p&&p&博客中的每一条超链接都指向了这项工作的成果展示或论文。&/p&&img src=&/v2-efc403a9eab8d3deb2064_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-efc403a9eab8d3deb2064_r.jpg&&&p&你们可能都在做AI相关的创业公司，不过我还是要说，深度学习改变了我们解决很多问题的方式。&/p&&p&在80、90年代，对于很多问题来说，神经网络还不是最好的解决方案，当时训练数据的量、计算力都还不够。所以，人们或者用其他方法，或者用比较浅层的机器学习方法，需要人工进行大量的特征工程。&/p&&img src=&/v2-9a722f2dcf3f_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-9a722f2dcf3f_r.jpg&&&p&但是现在，我们有了更强大的计算力。&/p&&p&90年代，我的本科论文是关于神经网络的并行训练的，神经网络模型非常吸引我，我想，如果我们能通过并行计算获取更多计算资源，比如说用一台64个处理器的超立方体结构机器，结果我发现，60倍的计算力远远不够，我们需要数十万倍的计算力。&/p&&img src=&/v2-07aab7bcef86fefd718c7_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-07aab7bcef86fefd718c7_r.jpg&&&p&到今天，我们已经有这样的计算能力了。结果就是神经网络成了很多问题的最佳解决途径。&/p&&img src=&/v2-5a12e0dec1cd63e0d8f4df4a7b14eae2_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-5a12e0dec1cd63e0d8f4df4a7b14eae2_r.jpg&&&p&最开始，我们的团队只是想证明大量的计算资源能帮助神经网络解决一些有趣的问题，于是我们做了大规模的无监督学习，那时候甚至还没用上GPU，我们用了16000个CPU核心，做了一些有趣的事情。（量子位注：就是机器从YouTube视频中认出了猫的那一次）&/p&&p&后来，我们把深度学习用到了更多领域，上图左侧是包含我们第一代和第二代（TensorFlow）深度学习框架模型描述文件的程序数量，我们和Google的其他团队合作，把深度学习用到各种产品之中。&/p&&img src=&/v2-8727ddccce94d4407752dda7ed9034f4_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-8727ddccce94d4407752dda7ed9034f4_r.jpg&&&p&我们在工作中关注的一个重点是如何缩短实验的周转时间，提高研究效率。&/p&&p&实验周期需要1个月和实验周期只有几分钟，会带给研究者截然不同的体验。所以，能尽快取得实验结果对我们来说非常重要。&/p&&img src=&/v2-e8fdeddab094f_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-e8fdeddab094f_r.jpg&&&p&为此，我们要建造正确的工具。&/p&&img src=&/v2-8bc36e0d0eaa464f57e7_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-8bc36e0d0eaa464f57e7_r.jpg&&&p&TensorFlow就是我们为解决深度学习问题而建造的第二代系统，它从一开始就是作为一个开源系统而打造的。&/p&&p&量子位注：我们之前发文介绍过Google是怎样管理TensorFlow这么庞大的开源社区的：（在微信公众号中搜索）TensorFlow技术主管详解：Google是怎样管理开源软件的&/p&&img src=&/v2-98099c68ebaa9fa2697b4b_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-98099c68ebaa9fa2697b4b_r.jpg&&&p&TensorFlow的目标是，建立一个呈现机器学习创意和系统的通用平台，并让这个平台在研究和生产环境中都成为世界最佳，再通过开源，让它成为所有人的平台，而不只是Google的。&/p&&img src=&/v2-da3045cff8e8b093db31d_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-da3045cff8e8b093db31d_r.jpg&&&p&这是GitHub星标数的趋势图，你可以看到TensorFlow与其他机器学习框架的对比。&/p&&p&我想，TensorFlow在研究中足够灵活，又很容易部署到实际产品上，还能在多种环境中运行，这些特性很有吸引力。&/p&&img src=&/v2-72b906fa1d3b1ddf952ed93c3649de83_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-72b906fa1d3b1ddf952ed93c3649de83_r.jpg&&&p&我们经常会做一些基准测试，这些测试显示TensorFlow的可扩展性还是不错的。&/p&&p&其实我们很重视速度。&/p&&p&在TensorFlow刚发布的时候，我们推出了很多教程，但是当时我们犯了一个错误，我们发布的教程代码追求清晰、解释详细，但忽略了性能，于是很多人模仿那些代码来建立高效的TensorFlow模型。后来我们逐渐更新了那些代码，对代码的清晰程度和性能同样重视。&/p&&img src=&/v2-b3bd1e470b6a_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-b3bd1e470b6a_r.jpg&&&p&在很多任务上，TensorFlow支持多达64个GPU，还能随着GPU的增加保持性能的线性提升。&/p&&p&如果你听说TensorFlow很慢，不要信&/p&&img src=&/v2-844bb11e19a6c2e034be915629cff957_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-844bb11e19a6c2e034be915629cff957_r.jpg&&&p&我们还支持多种平台，包括iOS、Android、CPU、GPU、我们自己的TPU，还有Raspberry Pi等等。&/p&&img src=&/v2-bc58face1e9e72a72b5bc3_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-bc58face1e9e72a72b5bc3_r.jpg&&&p&我们还支持各种变成语言，目前支持得最好的是Python，C++做得也不错。&/p&&img src=&/v2-11d91fc024bfe_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-11d91fc024bfe_r.jpg&&&p&除此之外，我们还有个不错的用户基础。&/p&&img src=&/v2-8bee7baeff172_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-8bee7baeff172_r.jpg&&&p&在GitHub上最受欢迎的程序里，我们排第6。前5名要么是JS，要么是LISP编程书。&/p&&img src=&/v2-814cb537b16f18eb07cd_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-814cb537b16f18eb07cd_r.jpg&&&p&这是世界上为TensorFlow标星的人口分布，全世界几乎都在用机器学习。&/p&&img src=&/v2-d00d6ec8eab899a2d9ad53b_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-d00d6ec8eab899a2d9ad53b_r.jpg&&&p&TensorFlow在全世界有近千人的外部贡献者，为它增加功能、修复bug、改进系统。&/p&&p&各种机器学习课程中也在越来越多地使用TensorFlow。&/p&&img src=&/v2-cc0215fabebebbb74d03_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-cc0215fabebebbb74d03_r.jpg&&&p&接下来我要谈一谈深度学习在Google具体产品中的应用。Google Photos是个很好的例子，计算机视觉让机器能知道人们的照片中有什么，照片中发生了什么事情。&/p&&img src=&/v2-fe37d2de8316_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-fe37d2de8316_r.jpg&&&p&作为人工智能领域的创业者，你们需要关注各种机器学习成果，很多时候，你可以使用其中的方法，把它用到另一个数据集上，就可能有意想不到的发现。&/p&&p&给定一张图片，让机器预测其中的关键像素，是一个常用的模型，有很多种实现方式。&/p&&p&不过，我们的做法是用一个能实现这种功能的模型，迁移到各种其他任务上。&/p&&img src=&/v2-bd0b6f5d7bf7ab41a8065e_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-bd0b6f5d7bf7ab41a8065e_r.jpg&&&p&计算机视觉公司Clarifai的创始人Matt Zeiler是我之前的暑期实习生，我们和街景团队合作，识别街景照片中的文字。&/p&&img src=&/v2-f981a05dd_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-f981a05dd_r.jpg&&&p&训练数据就是人类手工圈出了文字区域的照片，任务是让机器预测普通街景照片中哪里有文字，选定区域之后，就可以通过OCR来识别这些文字了。&/p&&img src=&/v2-dc268b5efbaa81bf51f8db143ad72344_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-dc268b5efbaa81bf51f8db143ad72344_r.jpg&&&p&后来地图团队决定开发另一个程序，来识别你家房顶适不适合采集太阳能，装上太阳能板可以生产多少电。&/p&&p&这个程序的第一件事是在图中找出房顶，这和找到文字区域的模型不完全一样，但其实只是换了一种训练数据。&/p&&img src=&/v2-de64c123fdfaea3ee9ea6_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-de64c123fdfaea3ee9ea6_r.jpg&&&p&我们还把这个模型用到了医疗领域。&/p&&img src=&/v2-877b614d94ec478f7d0c07b_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-877b614d94ec478f7d0c07b_r.jpg&&&p&还是一样的基础模型，我们用它来解决医学图像问题。&/p&&p&具体来说，是用在眼科检查上。我们让算法从上图这样的视网膜图片上，分辨出是否有糖尿病视网膜病变。&/p&&p&在这个问题上，我们需要识别图上可能是病变的区域，然后再进行图像分类，确定这个眼部照片是否真的有问题。&/p&&img src=&/v2-6f929e86fb109fc753aa_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-6f929e86fb109fc753aa_r.jpg&&&p&我们的研究收集了15万张视网膜照片，每张照片找7名眼科专家来标注，然后训练我们的算法。&/p&&img src=&/v2-78ff44c655bc879af303bf_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-78ff44c655bc879af303bf_r.jpg&&&p&最后，我们获得了一个识别糖尿病视网膜病变的算法，和8名协会认证的眼科专家相比，算法的准确率和他们的中位数持平，有时还要高出一点。&/p&&p&相关论文：&/p&&p&&a href=&/?target=http%3A///journals/jama/fullarticle/2588763& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&/journal&/span&&span class=&invisible&&s/jama/fullarticle/2588763&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&&/p&&img src=&/v2-a6e7acfb80ea_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-a6e7acfb80ea_r.jpg&&&p&另外，我们可以看到，深度学习在机器人领域也非常用用。&/p&&p&我们在实体机器人和模拟环境中都做了很多实验，还试着让机器人通过模仿人类的动作来学习。&/p&&img src=&/v2-abe15e66bb9f40c9abfeb89_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-abe15e66bb9f40c9abfeb89_r.jpg&&&p&我们建了个“机械臂农场”，摆了很多机器人，让它们学习抓取物体。&/p&&p&我们每天还会把传感器获取的数据收集起来，用它们训练一个模型来优化机器人的抓取技能，这些机器人每天都会提高。&/p&&p&我们公开了这个数据集，其中包含80万次抓取尝试。&/p&&p&项目主页：&/p&&p&&a href=&/?target=https%3A///site/brainrobotdata/home& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&/site/b&/span&&span class=&invisible&&rainrobotdata/home&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&&/p&&p&论文：&/p&&p&&a href=&/?target=https%3A//arxiv.org/abs/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&arxiv.org/abs/&/span&&span class=&invisible&&9&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&&/p&&p&数据集：&/p&&p&&a href=&/?target=https%3A///site/brainrobotdata/home/grasping-dataset& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&/site/b&/span&&span class=&invisible&&rainrobotdata/home/grasping-dataset&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&&/p&&img src=&/v2-46abc8bebcdae51c4e8a6_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-46abc8bebcdae51c4e8a6_r.jpg&&&p&这张图是我在做动作，试着让机器人模仿。&/p&&img src=&/v2-017ec02e2da69c9f2125ddd15d8f9d3c_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-017ec02e2da69c9f2125ddd15d8f9d3c_r.jpg&&&p&我们首先让模拟器里的机器人学习人类动作，然后再迁移到实体机器人。效果还不错。&/p&&img src=&/v2-edaf8fa22fe73acb286f56acd6af216f_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-edaf8fa22fe73acb286f56acd6af216f_r.jpg&&&p&还有一个激动人心的领域，是深度学习在科学研究中的应用。&/p&&p&科学研究通常都会用到高性能计算机上运行的模拟器，它们会产生大量数据，但问题是，模拟器的运行消耗大量资源，价格昂贵。&/p&&img src=&/v2-55d74bfcad018e238b303d471a124251_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-55d74bfcad018e238b303d471a124251_r.jpg&&&p&举个深度学习应用在这里例子，我们可以用模拟器中的数据作为训练数据，运行一小时模拟器，然后用获取的数据来训练一个神经网络，让它来预测分子的性质。&/p&&p&当然，模拟器给出的结果更精确，但神经网络给出结果的速度要快上几十万倍。&/p&&p&相关研究：&/p&&p&&a href=&/?target=https%3A///2017/04/predicting-properties-of-molecules-with.html& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&&/span&&span class=&invisible&&/2017/04/predicting-properties-of-molecules-with.html&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&&/p&&p&&a href=&/?target=https%3A//arxiv.org/abs/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&arxiv.org/abs/&/span&&span class=&invisible&&2&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&&/p&&p&&a href=&/?target=https%3A//arxiv.org/abs/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&arxiv.org/abs/&/span&&span class=&invisible&&2&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&&/p&&img src=&/v2-a78eedb10fedc5eb5d6ce805c08f6d84_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-a78eedb10fedc5eb5d6ce805c08f6d84_r.jpg&&&p&图像处理技术也能用在细胞研究上。怎么用呢？&/p&&img src=&/v2-20e6bf98f5d6fc229fa36_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-20e6bf98f5d6fc229fa36_r.jpg&&&p&Google有人做了一个模型，尝试通过一张照片来预测景深。&/p&&p&这是一个pixel to pixel的学习问题，你可以想象，还有很多问题都是类似的。&/p&&img src=&/v2-125fae6bde_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-125fae6bde_r.jpg&&&p&在拍照中，景深的预测有很多用途，比如说预测一张人像照片的景深。&/p&&img src=&/v2-3c1b7098f_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-3c1b7098f_r.jpg&&&p&然后就可以做出一些神奇的效果，比如说保留人像的颜色，把背景变成黑白的，或者让背景变得模糊、给背景加上特定的风格等等。&/p&&img src=&/v2-d467b19b4e55644aac171eb132f73a1a_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-d467b19b4e55644aac171eb132f73a1a_r.jpg&&&p&这种模型还有更神奇的用途：&/p&&p&用显微镜原始图像做为输入，可以输出一张染色后的显微镜图像。&/p&&img src=&/v2-8f80bce836b_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-8f80bce836b_r.jpg&&&p&这有助于帮人们分清细胞核和它外层的物质。&/p&&p&给细胞染色的时候，通常会伤害细胞的活性，所以这种虚拟染色的功能非常有用，能让你在染色后继续追踪细胞的后续活动。&/p&&img src=&/v2-b17a60265eefce40dc2cd96a8d8ebcde_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-b17a60265eefce40dc2cd96a8d8ebcde_r.jpg&&&p&这种技术也能用来观察神经元的活动。&/p&&img src=&/v2-9e2ba76c64fefa8eefad_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-9e2ba76c64fefa8eefad_r.jpg&&&p&我们在语言理解领域也做了不少工作。&/p&&img src=&/v2-eab6b0ce7535b2_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-eab6b0ce7535b2_r.jpg&&&p&最开始，我们的团队提出了seq2seq模型。给神经网络输入一个序列，它会输出一个预测序列。&/p&&p&seq2seq能用来处理很多问题。&/p&&img src=&/v2-0eb608c2fe88c49b2dde18cb5cab0b43_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-0eb608c2fe88c49b2dde18cb5cab0b43_r.jpg&&&p&机器学习就是其中之一。&/p&&p&比如说你有一组成对的英语-法语句子，就可以用seq2seq模型，以法语为输入序列，英语为输出序列，将它们对应起来，训练一个RNN。&/p&&img src=&/v2-ae1cada485ba1e5b0e8f16a_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-ae1cada485ba1e5b0e8f16a_r.jpg&&&p&然后你会通过beam search来找到最合适的输出序列。&/p&&img src=&/v2-dded7fd63aab312fbf0a1_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-dded7fd63aab312fbf0a1_r.jpg&&&p&Gmail中的Smart Reply自动回复功能也是seq2seq的应用之一。&/p&&p&举个例子，这是我发给同事们的一封邮件，问大家要不要参加感恩节聚会。这种邮件只需要简短的回复，有了Smart Reply用户只需要选择“是”或者“否”。&/p&&img src=&/v2-ed7231eb7dffe74aec66b15e_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-ed7231eb7dffe74aec66b15e_r.jpg&&&p&我们的seq2seq模型会在用户选了是/否之后，生成一个简短的回复。&/p&&img src=&/v2-e3b3fbf9_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-e3b3fbf9_r.jpg&&&p&这个功能，是2009年Google开的一个愚人节玩笑：“哈哈哈哈我们要帮你自动回复邮件了！”&/p&&p&日，真正的产品发布了；到日，Inbox手机应用中由超过10%邮件是自动回复的。&/p&&img src=&/v2-bfaf4ada2bbedf_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-bfaf4ada2bbedf_r.jpg&&&p&实际上，seq2seq最具潜力的应用领域还是翻译。&/p&&p&我们把seq2seq用在了在线的谷歌翻译产品中。&/p&&img src=&/v2-ce29c8dda519732ccce08a_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-ce29c8dda519732ccce08a_r.jpg&&&p&在这篇有很多作者的论文Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation中，我们介绍了机器翻译背后的技术详情。&/p&&p&论文地址：&/p&&p&&a href=&/?target=https%3A//arxiv.org/abs/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&arxiv.org/abs/&/span&&span class=&invisible&&4&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&&/p&&img src=&/v2-a8a6cb95f8e829bd523faf3_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-a8a6cb95f8e829bd523faf3_r.jpg&&&p&这是我们模型的结构，它包含很深的LSTM stack，每一层运行在不同的GPU上；还有一个注意力模块，追踪所有的状态，决定在生成输出序列的各部分时，分别该注意输入数据中的哪一部分。&/p&&img src=&/v2-1d2f5b1411_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-1d2f5b1411_r.jpg&&&p&每一份这个模型都运行在一台GPU机器上。我们把这个模型复制了很多份，在训练数据上进行平行训练，然后共享学到的参数。&/p&&img src=&/v2-e0ab50f0ec4eaa35fdd9fd13b00b4dba_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-e0ab50f0ec4eaa35fdd9fd13b00b4dba_r.jpg&&&p&上图显示了人类和Google的两种机器翻译模型的翻译质量。蓝色表示我们原来用的基于短语的机器翻译模型，绿色的是基于seq2seq的神经网络机器翻译模型，黄色的表示双语人类（非专业翻译）。&/p&&p&基于神经网络的模型远远超过了基于短语的统计模型，越来越接近人类的水平。&/p&&img src=&/v2-de633fef51b8fc41ddee90fe_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-de633fef51b8fc41ddee90fe_r.jpg&&&p&我们的日语-英语神经网络机翻上线后，很多日本人都发现，翻译质量好了很多，终于真的能用了。&/p&&p&这是一位日本教授把海明威《乞力马扎罗的雪》第一段从英语翻译成日语、再从日语翻译回来的结果。上边是基于短语的统计模型的结果，下边是神经网络模型的结果。&/p&&img src=&/v2-4603e06eef23cd04a88d74efb06f2e7f_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-4603e06eef23cd04a88d74efb06f2e7f_r.jpg&&&p&我们正在进行大量研究的另一个领域，是如何自动化解决机器学习的问题，我们称之为“learning to learn”。&/p&&img src=&/v2-a0ffed3021_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-a0ffed3021_r.jpg&&&p&目前解决机器学习问题的主要方式，是机器学习专家+数据+计算力。然后用不同的学习率尝试某个模型，希望通过迁移学习的方式从某个数据集得到解决方案。&/p&&p&我们研究的解决方案，是数据+100倍的计算力，这中间不需要人类机器学习专家。如果能做到这一点，世界上会有更多的组织和数据能受益于机器学习。&/p&&img src=&/v2-7abeeaedd1e7_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-7abeeaedd1e7_r.jpg&&&p&我们在这个领域做了很多研究，今天主要讨论其中的两个。一是自动设计神经网络架构的方法，二是自动学习如何优化。&/p&&img src=&/v2-792eca63cfa2eb_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-792eca63cfa2eb_r.jpg&&&p&架构搜索。这个想法，是想用一个模型生成另一个模型。目前的机器学习中，设计神经网络的架构仍然需要大量的专业知识并且耗费大量时间。在这个研究中，我们生成10个模型架构，分别训练数小时，然后使用生成模型的损失，作为强化学习的信号。&/p&&p&这一基于梯度的方法，可以找到最优的架构，不过目前只适用于小问题。&/p&&img src=&/v2-ca478aa60dc4c_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-ca478aa60dc4c_r.jpg&&&p&这是一个例子。这个模型看起来就不像人类设计的东西，这些连线有点疯狂。这是CIFAR-10数据集上的一个应用，架构搜索的方法已经非常接近目前最先进的技术，这中间并没有人对底层架构进行过干预。&/p&&img src=&/v2-a5b49040ddc16d97bfb04_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-a5b49040ddc16d97bfb04_r.jpg&&&p&我们还在Penn Treebank数据集上，尝试了一个语言建模任务。我们只是给了架构搜索一个LSTM cell，然后让它寻找处理顺序数据的方法。在这个案例中，架构搜索的方法比此前最先进的方法表现更好。&/p&&img src=&/v2-59d65f6f2f_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-59d65f6f2f_r.jpg&&&p&常见的优化方法都是类似的。经常使用的方法包括SGD（随机梯度下降）、Momentum、ADAM、RMSProp等。在这一页可以看到，自动化的方法提出了15种完全不同的表达式，而且表现基本都优于人类设计的优化方法。&/p&&img src=&/v2-dbda1e9497ff6fae699c386f545b41cf_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-dbda1e9497ff6fae699c386f545b41cf_r.jpg&&&p&我们把其中最好的一个表达式迁移应用在一个不同的问题上，结果发现这个自动设计的优化器，表现比现有最好的ADAM更出色。&/p&&p&很多机器学习专家想要解决一个问题，需要运行非常多的试验，有可能一个周末就需要试验12000次。人类专家不能操作太多的试验，但是机器可以。当然目前也有很多时候，结果并不尽如人意。&/p&&img src=&/v2-bca2b_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-bca2b_r.jpg&&&p&另一个有趣的事情是，我们之所以能解决很多问题，是因为我们有了非常多的数据，而且能够在不同的问题上应用大规模计算能力。&/p&&p&深度学习改变了我们设计计算机的方式。&/p&&img src=&/v2-b5bf0f7ae4e_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-b5bf0f7ae4e_r.jpg&&&p&深度学习有两个非常好的特性。一个是完美的宽容了非常低的计算精度，另一个是能够处理多种不同的运算，所以我们有机会建造一个定制化的机器学习硬件系统，能够以极大降的低精度运算线性代数。&/p&&img src=&/v2-9ca34dab08dcb616e534b_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-9ca34dab08dcb616e534b_r.jpg&&&p&这是我们一直在搞的定制化机器学习加速器（TPU），目标是加速推理以及训练，这个硬件的第一代版本已经在我们的数据中心部署了两年半，在五月的Google I/O大会上，我们展示了第二代TPU。&/p&&p&重要的不是设计一个芯片，而是整个系统。&/p&&img src=&/v2-360cd3bd3829c_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-360cd3bd3829c_r.jpg&&&p&单个芯片不可能提供足够大的计算量，因此我们把TPU芯片连接在一起。我们称其为：TPU Pod。连接在一起的TPU能够提供更大的计算力。&/p&&img src=&/v2-8af3c12a02c308f1e98f6_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-8af3c12a02c308f1e98f6_r.jpg&&&p&通常给一台超级计算机编程有点烦人。所以我们决定使用TensorFlow，基本上可以实现用一个新的接口表达一个模型，而且我们在TensorFlow 1.2中添加了估计量，相同的程序在CPU、GPU、TPU上只需要微调就能运行。&/p&&p&这些都会引用在TPU云服务上，届时运行TensorFlow应该超快。&/p&&img src=&/v2-0a032c23379dab0d64c868a608e091d2_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-0a032c23379dab0d64c868a608e091d2_r.jpg&&&p&我们还把上千台这样的设备，免费提供给全球的研发人员使用，只要你致力于有趣的研究，需要更多的计算力，而且承诺会公开研究成果。我们想要构建一个科学和机器学习研究的生态系统，我们也希望得到使用TPU的反馈。&/p&&img src=&/v2-4e8cf3bb3af62f58bf13f0f423f24d0f_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-4e8cf3bb3af62f58bf13f0f423f24d0f_r.jpg&&&p&这里，实力广告一波Google Cloud。&/p&&img src=&/v2-aefa702ece312a_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-aefa702ece312a_r.jpg&&&p&最后讲一下，我们也在尝试用机器学习的方式得到更高性能的机器学习模型。&/p&&img src=&/v2-d8f35d8cd5a9_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-d8f35d8cd5a9_r.jpg&&&p&使用强化学习来配置设备。在这个案例中，我们使用强化学习的方式，使用序列到序列模型来预测TensorFlow数据流图的子集应该运行在哪些设备上。例如，如何分配两个GPU的计算力，让模型能够尽快的完成运算。&/p&&p&应用这个方法，我们在神经机器翻译模型、Inception-V3模型上，都获得了近20%的速度提升。此前，计算资源的分配智能通过人类专家手工摸索设置。&/p&&img src=&/v2-07aab7bcef86fefd718c7_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-07aab7bcef86fefd718c7_r.jpg&&&p&&br&&/p&&img src=&/v2-b6f5e99afea396c685e042_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-b6f5e99afea396c685e042_r.jpg&&&p&所以，我们认为更多的计算力带来更多的机会和收益。&/p&&img src=&/v2-202dc11db40b7f11eb382eb2bcdd9f21_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-202dc11db40b7f11eb382eb2bcdd9f21_r.jpg&&&p&这是一些未来会实现的需求。例如通过图像来发现糖尿病引发的视网膜病变；用西班牙语描述一段视频；让机器人从厨房沏一杯茶来；帮我找到与机器人强化学习有关的文档，并用德语总结出来。&/p&&img src=&/v2-4b2ce9a8af61ebe60b27_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-4b2ce9a8af61ebe60b27_r.jpg&&&p&结论。你们肯定已经知道深度神经网络正在带来巨大的变革，大家应该更关注这件事。&/p&&img src=&/v2-76b0c2ed3f8dcec_b.jpg& data-rawwidth=&3000& data-rawheight=&1688& class=&origin_image zh-lightbox-thumb& width=&3000& data-original=&/v2-76b0c2ed3f8dcec_r.jpg&&&p&这是我们正在研究的一些领域，访问&a href=&/?target=http%3A//g.co/brain& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&g.co/brain&/span&&span class=&invisible&&&/span&&i class=&icon-external&&&/i&&/a&可以查看更多信息。你们应该可以加入我们的团队，不过鉴于你们已经开始创业了~（呵呵哒）&/p&&h2&PPT下载&/h2&&p&想要下载Jeff Dean此次讲座的86页PPT全文，请在量子位微信公众号（QbitAI）对话界面，回复：“&b&jeff&/b&”四个字母。&/p&&p&—— &b&完&/b& ——&/p&&p&欢迎大家关注我们的专栏：&a href=&/qbitai& class=&internal&&量子位 - 知乎专栏&/a&&/p&&p&诚挚招聘&/p&&p&量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。&/p&&p&&b&量子位&/b& QbitAI&/p&&p&?'?' ? 追踪AI技术和产品新动态&/p&
李林 若朴 编译整理 量子位 出品 | 公众号 QbitAI少年，你知道Jeff Dean么？传奇一般的Jeff Dean现在领导着Google Brain团队，也是Google研发群组的高级研究员（Senior Fellow）。近日，Jeff Dean为YC AI小组的同学讲了一堂时长近1小时的课程，讲述了目前Go…
&img src=&/50/v2-0a31910b2eafca3163c21b_b.jpg& data-rawwidth=&1250& data-rawheight=&664& class=&origin_image zh-lightbox-thumb& width=&1250& data-original=&/50/v2-0a31910b2eafca3163c21b_r.jpg&&&blockquote&&b&简评：&/b&本文中，原文作者 Scrimba 的创始人 &a href=&/?target=https%3A//medium.freecodecamp.org/%40perborgen%3Fsource%3Dpost_header_lockup& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Per Harald Borgen&i class=&icon-external&&&/i&&/a& 将会展示如何利用 &a href=&/?target=https%3A///%23/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Synaptic.js&i class=&icon-external&&&/i&&/a& 来创建和训练神经网络，从而使我们可以在 Node.js 和浏览器中进行深度学习。&br&&b&题图：&/b&一幅由 Google Dream 神经网络创建的光怪陆离&/blockquote&&p&我们将尝试搭建最简单的神经网络之一 —— 一个用于解决 &a href=&/?target=https%3A//en.wikipedia.org/wiki/Exclusive_or& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&XOR方程&i class=&icon-external&&&/i&&/a& 的神经网络。&/p&&p&看代码之前呢，我们先温习一下神经网络的基础知识：&/p&&h2&&b&神经元和突触&/b&&/h2&&p&构建神经网络的第一个块是&a href=&/?target=https%3A///learning-new-stuff/how-to-learn-neural-networks-758b78f2736e& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&神经元&i class=&icon-external&&&/i&&/a&。神经元就像一个函数，它需要输入，然后返回输出。&/p&&p&有许多不同类型的神经元。我们的网络将使用 &a href=&/?target=https%3A//en.wikipedia.org/wiki/Sigmoid_function& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&sigmoid 神经元&i class=&icon-external&&&/i&&/a&，不管给定任何输入，都会输出 0 或者 1。 &/p&&p&下图是一个 Sigmoid 函数，输入 5 输出 1。箭头称为突触，将神经元连接到网络中的其他层。&/p&&img src=&/50/v2-c7d8bfecc21ca205bbe20dd16a1ffed0_b.png& data-rawwidth=&1000& data-rawheight=&348& class=&origin_image zh-lightbox-thumb& width=&1000& data-original=&/50/v2-c7d8bfecc21ca205bbe20dd16a1ffed0_r.png&&&p&那么，会什么左边的输入是 5 呢？因为它是连接到到神经元的三个突触的总和。&/p&&p&输入乘以它们的&b&权重&/b&就是人造神经元的总输入。&/p&&img src=&/50/v2-af7fda57