谷歌转型：把2.5万工程师变成机器学习专家是怎样的体验？|谷歌|人工智能|机器学习_新浪科技_新浪网
谷歌转型：把2.5万工程师变成机器学习专家是怎样的体验？
　　导语：《连线》杂志前资深记者，内容平台Medium主编史蒂芬·列维(Steven Levy)近日在美国科技网站BackChannel上，撰文介绍了将机器学习融入自身产品的历程和方法。文章称，由于看好机器学习技术的未来，谷歌为内部员工和外部人员提供各种各样的培训，希望加速这种技术的普及速度。而公司的目标，是将内部2.5万名工程师全部转变成为机器学习领域的专家。
　　以下为文章全文：
　　卡森·霍尔盖特(Carson Holgate)正在接受忍者培训。
　　但这里的忍者指的并不是武术——她已经有不错的武术功底。26岁的霍尔盖特是空手道黑带二段。现在的培训重点是算法。霍尔盖特几周前加入这个项目，她希望借此掌握机器学习方面的技能，这是一种比身体对抗更加强大的技术。作为谷歌Android部门的一名工程师，霍尔盖特是参加今年忍者学习项目的18名程序员之一。该项目从各个团队招收有才华的程序员，向他们传授人工智能技术，以便提升其产品的智能性——尽管这有可能让他们开发的软件更加难以理解。
正在接受机器学习“忍者训练”的谷歌工程师卡森·霍尔盖特。
　　“该项目的标语是：你想成为一名机器学习忍者吗？”谷歌内部机器学习产品经理克里斯汀·罗伯森(Christine Robson)说，她负责管理这个项目，“所以我们从谷歌各个部门招收人员，用6个月的时间为他们提供机器学习培训。让他们跟着导师学习6个月机器学习，并进行一些项目。他们可以由此入手，从而掌握大量知识。”
　　霍尔盖特4年前拿着计算机科学和数学学位来到谷歌，对她来说，这是一次掌握最热门软件技术的机会：使用学习算法和海量数据，教给软件完成任务的方法。多年以来，机器学习都被视作一个高度专业的领域，仅有少数精英人群能够掌握这种技术。但这个时代已经结束了，最近的结果表明：由模拟生物大脑工作方式的“神经网络”驱动的机器学习技术是将计算机与人类能力融为一体的正确方式。
　　在某些情况下，甚至可以借此打造出超人。谷歌希望在内部扩大这类精英人群的范围，甚至希望让机器学习成为一种常规技术。对霍尔盖特这样的工程师而言，忍者项目是一次实现自我飞跃的绝佳机会，可以向精英中的精英学习知识。“这些人都在开发不可思议的模型，而且都有博士学位。”她言语间流露出无法掩饰的敬畏之情。由于该项目会将所有学员都称作“忍者”，所以她开始有些难以接受，但最终还是克服了心理障碍。“我起初很难接受，但还是学着接受了。”她说。
　　考虑到谷歌员工人数众多——其总部的6万员工中约有半数是工程师——所以这个项目的规模其实很小。不过，这个项目却标志着谷歌内部的认识开始发生变化。尽管谷歌从很早以前就开始使用机器学习技术，而且一直在这一领域积极聘请各类专家，但该公司直到2016年才开始真正痴迷于机器学习技术。谷歌CEO桑达尔·皮查伊(Sundar Pichai)在去年末的财报电话会议上阐述了该公司的想法：“机器学习是一项有颠覆性的核心技术，我们可以借此重新思考我们做一切事情的方式。我们还会尽力将它应用于所有的产品中，包括搜索、广告、YouTube或Play。我们还处于发展初期，但你会看到我们以系统化的方式将机器学习应用到所有这些领域之中。”
　　很显然，如果谷歌要在旗下的所有产品中融入机器学习技术，就需要精通这项技术的工程师。正如机器学习畅销书《算法大师》(The Master Algorithm)的作者佩德罗·多明戈斯(Pedro Domingos)所说：“机器学习是阳光下的一项新生事物，这是一项可以自己发展的技术。” 编写这样的系统需要找到合适的数据，选择合适的算法，然后为成功营造合适的环境。之后就要给予系统足够的信任(这对程序员来说是一件很难做到的事情)，让它们自己完成工作。
　　“通过这种方式思考解决方案的人越多，我们就会变得越好。”谷歌机器算法项目负责人杰夫·迪恩(Jeff Dean)说。他估计，谷歌目前约有2.5万工程师，但只有几千人精通机器学习，占比大约为10%。他希望最终的比例能接近100%。“如果能让所有工程师都在一定程度上掌握机器学习技术，那就太好了。”他说。
　　他认为这个愿望能否实现呢？
　　“我们会尽力尝试。”他说。
　　神奇技术
　　多年以来，约翰·迦南德里(John Gianandrea)一直都是谷歌机器学习的重要推动者，而作为该公司的最新动向，他最近成为了搜索业务主管。但当他2010年加盟该公司时(他是在谷歌收购MetaWeb时随之一同加入谷歌的，那家公司的庞大数据库已经以知识图谱的形式整合到谷歌搜索中)，他在机器学习和神经网络方面并没有太多经验。
谷歌最权威的计算机科学专家杰夫·迪恩正在制作机器学习方面的工具，领导团队进行相关工作。
　　但在2011年左右，来自神经信息处理系统(以下简称“NIPS”)大会的一条消息令他感到震惊。似乎每年都会有团队在NIPS上宣布机器学习的最新进展，涉及翻译、语音识别和视觉系统等诸多领域。一些令人惊讶的事情正在悄然发生。“当我第一次关注时，NIPS的内容十分晦涩难懂。”他说，“但过去3年间，这一领域在学术界和产业界都得到了蓬勃发展，去年的参会人数大约有6000人。”
　　随着神经网络算法的进步，加上摩尔定律带来的强大计算能力，以及谷歌和等科技公司挖掘出来的庞大用户数据，机器学习的新时代就此拉开帷幕。迦南德里也加入其中，他认为这将成为谷歌的核心。与他志同道合的还包括迪恩，他是“谷歌大脑”(Google Brain)的联合创始人，这个神经网络项目来自谷歌旗下的研究部门Google X(现已更名为X)。
　　虽然迦南德里否认“机器会杀死我们”这样的预言，但他的确认为，机器学习系统将成为一项革命性的技术，从医疗诊断到无人驾驶汽车，各行各业都将利用这种技术。虽然机器学习不会取代人类，但它却会改变人类。
　　迦南德里以Google Photos为例进行了解释。这款产品的标志性功能是能够在图片中识别出用户指定的物品，这令人感觉颇为神秘，甚至有些不安。他给我展示一些边境牧羊犬的图片。“当有人第一次看到这个场景时，他们会以为发生了与众不同的事情，因为电脑不仅为你计算出偏好，甚至还推荐你观看一段视频。”迦南德里说，“它可以理解画面中的内容。” 他解释道，通过专门的学习，电脑便可“知道”边境牧羊犬的样子，而且可以识别出不同年龄和毛长的边境牧羊犬。
　　人类当然可以做到这一点。但没有一个人能够从数百万张图片中筛选出来这些照片，同时还能识别出不同的犬种。但机器学习系统就可以做到。如果它学会了一个犬种，便可使用相同的技术识别出另外9999个犬种。“这才是真正新颖的地方。”迦南德里说，“通过这样一个狭小的领域，你可以看到某些人所谓的超人究竟能达到什么效果。”
　　逐步探索
　　需要强调的是，谷歌早已了解机器学习的概念，该公司的创始人始终坚信人工智能的前景。机器学习已经整合进谷歌的很多产品，尽管未必采用了最近大热的神经网络技术(早期的机器学习往往依赖更加直接的统计方法)。
　　事实上，谷歌10年前就开始通过内部培训，向该公司的工程师传授积极学习技术。2005年初，当时负责谷歌搜索业务的彼得·诺维格(Peter Norvig)向科学家大卫·帕布洛·科恩(David Pablo Cohn)提出建议，希望了解谷歌能否采用卡内基梅隆大学组织的相关课程。科恩表示，只有谷歌自己才能教授这种内部课程，因为谷歌的运营规模与其他公司都大不相同(可能只有美国国防部是个例外)。所以他在谷歌总部的43号楼(那里当时是搜索团队的总部所在地)订了一个大房间，每周三在那里开设两小时的课程。就连杰夫·迪恩也参加过几次课程。“那是全世界最好的课程。”科恩说，“作为工程师，他们都比我优秀得多！”
　　那个课程广受欢迎，甚至变得一座难求。就连班加罗尔办事处的员工都会特意等到午夜过后接入远程教学系统。几年后，一些谷歌员工把授课演讲内容制作成了短片，结束了直播授课的历史。科恩认为，当时的那个课程算得上是MOOC(大规模开放在线课程)的先驱。接下来几年，谷歌还针对机器学习培训展开了其他的尝试，但组织上并不严密，内容上也并不连贯。科恩2013年离开谷歌后，机器学习才突然间成为了至关重要的领域。
　　在2012年之前，这种认识尚未形成气候，直到迦南德里决定“吸收大量从事这项工作的人”，并将他们安排到同一栋办公楼之后。脱胎于该公司的X部门的谷歌大脑也加入进来。“我们吸收了很多团队，将他们安排到同一栋办公楼内，还提供了全新的咖啡机。”他说，“有些人之前只是一直在从事他们所谓的感知计算——声音和语音识别等技术——现在都可以与那些从事语言工作的人展开沟通。”
　　逐渐地，这些工程师们开发的机器学习技术开始出现在谷歌的热门产品中。由于视觉和语音识别以及翻译是机器学习的主要领域，也就难怪这项技术成为谷歌语音搜索、翻译和Photos等服务的重要组成部分。迪恩表示，随着他和他的团队对机器学习的理解逐步深入，他们开始以更具野心的方式探索这项技术。“我们之前或许会在系统的组件中使用机器学习技术，”他说，“现在则会使用这项技术替代整套系统，而不是为每一个组件设计更好的机器学习模式。”迪恩表示，如果现在让他重新编写谷歌的基础架构，其中的很多内容都不再是预先编好的代码，而是后期学习而来的。迪恩更为人所知的身份是Bit Table和MapReduce等革命性系统的联合创造者。
谷歌大脑联合创始人格雷格·考拉多正在和多个团队协作，将人工智能转化成为自己的软件。
　　机器学习还能够实现一些原本无法想象的产品功能。2015年11月推出的Gmail自动回复便是其中之。这项功能源自谷歌大脑项目联合创始人格雷格·考拉多(Greg Corrado)与Gmail工程师巴林特·米克洛斯(Bálint Miklós)之间的一次对话。考拉多之前曾经与Gmail团队合作使用机器学习算法探测垃圾信息，归类邮件内容，但米克洛斯提出了一些更激进的建议。能否利用机器学习技术自动生成回复邮件，省去移动用户在狭小的键盘上输入文字的繁琐过程。“我大吃一惊，因为这个建议太疯狂了。”考拉多说，“我后来想，借助我们一直以来都在研究的预测性神经网络技术，或许的确可能实现这种功能。一旦我们意识到这是一个机会的时候，就必须去尝试一下。”
　　为了提高成功概率，谷歌让考拉多和他的团队与Gmail部门展开了密切合作。这种派遣机器学习专家进驻产品部门的做法如今已经越来越普遍。“机器学习既是科学又是艺术。”考拉多说，“这就像烹饪——没错，烹饪过程发生了化学反应，但对于真正对烹饪感兴趣的人来说，必须要学习如何搭配手中的食材。”
　　传统的人工智能技术在理解语言时，需要将语音规则嵌入系统，但在这个项目中，系统可以利用现代化的机器学习技术，借助足够的数据像儿童一样自学。“我的语言能力并不是从语言学家那里学来的，而是通过听别人说话学来的。”考拉多说。但真正令智能回复变得切实可行的，是它的成功很容易定义——他们的目的不是创造一个妖艳的虚拟斯嘉丽·约翰逊(Scarlett Johansson)，而是希望它能回复真正的电子邮件。“这项服务的成功标志是，系统可以生成一个对用户有用的备选回复，以便用户能够真正使用这些内容。”他说。因此，只需要知道用户是否点击了系统推荐的回复内容，便可对其进行训练。
　　但当该团队开始测试智能回复时，用户却注意到了一些怪异的事情：它经常会推荐一些不合时宜的暧昧语言。“其中一个比较失败的情况是：只要系统感觉困惑，它就会说‘我爱你’。”考拉多说，“这并不是软件漏洞，问题出在我们让它做的事情上。” 这个程序已经了解了人类行为的一些微妙之处：“如果你感到担忧，那么说一句‘我爱你’是一种很好的防御策略。” 考拉多帮助该团队压制了系统的热情。
　　去年11月发布的智能回复取得了巨大成功——Gmail Inbox应用的用户现在可以直接从系统提供的三条备选内容中选择一条进行回复。由于系统提供的回复内容非常切题，用户经常感到惊讶。在通过该应用发送的回复信息中，有十分之一都是由机器学习系统生成的。“这个项目能够成功还是令我感到有些惊讶。”考拉多笑着说。
　　类似于智能推荐这样的例子还有很多，它们都充分说明机器学习系统在谷歌业务中发挥的作用。或许最终的拐点是当机器学习成为搜索的一个必不可少的组成部分时——作为谷歌的旗舰产品，搜索几乎为该公司贡献了所有营收。多年以来，由于搜索引擎对谷歌过于重要，所以始终没有融入机器学习算法。“由于搜索在公司内部占据的份额巨大，高级管理者深度参与其中，所以很多人都怀疑我们无法真正取得进展。”迦南德里说。
　　其中部分阻力源自文化因素——必须要让那些有极强控制欲的程序员适应带有禅宗韵味的机器学习模式。长期掌管谷歌搜索业务的阿密特·辛格(Amit Singhal)曾是传奇计算机科学家杰拉德·萨尔顿(Gerald Salton)的助手。萨尔顿在文档检索方面的开创性工作启迪辛格帮助谢尔盖·布林(Sergey Brin)和拉里·佩奇(Larry Page)把研究生时期编写的代码，扩展成了可以适应当今网络时代的程序。(这使得他成为了“检索派”的一员。)
　　他从20世纪的方法中梳理出了令人惊讶的结果，但如果要将机器学习系统整合到关系谷歌命脉的复杂系统中，他却持怀疑态度。“进入谷歌的前两年，我负责搜索质量，试图用机器学习来改进排名。”大卫·帕布洛·科恩说，“结果发现阿米特的团队是全世界最优秀的，我们把特脑海中的所有内容都变成了硬编码，以此实现进步。已经找不到比他更好的方法了。”
　　到2014年初，谷歌的机器学习大师们认为需要改变现状。“我们与排名团队展开了一系列讨论。”迪恩说，“我们认为至少应该尝试一下，看看能不能有一些收获。” 他的团队所设想的那个实验最终成为了搜索的核心：文件排名与搜索请求的匹配程度有多高(需要以用户的点击为衡量标准)。“我们跟他们说，可以用神经网络计算额外的分数，看看到底有没有用。”
　　答案是：确实有用。这套系统如今已经成为谷歌搜索的一部分，被称作RankBrain。它于2015年4月上线。谷歌还是像以往一样对如何改进搜索讳莫如深(究竟是与长尾理论有关？还是更好地解读了模糊不清的搜索请求？)，但迪恩表示，RankBrain“融入到每一个搜索请求中”，虽然未必会影响所有的排名，但的确对很多搜索请求的排名都产生了影响。另外，实际的影响幅度也很大。在谷歌计算排名时所使用的数百个信号中(这些信号可能包括用户所在的地理位置，或者页面标题是否与搜索请求匹配)，RankBrain现在的用途排名第三。
　　“我们成功利用机器学习改进了搜索结果，这对公司来说意义重大。”迦南德里说，“这引发了很多人的关注。” 华盛顿大学教授佩德罗·多明戈斯则给出了另外一种说法：“检索派与机器学习派始终都存在斗争。机器学习最终赢得了胜利。”
　　内部培训
　　谷歌面临的新挑战是如何让所有工程师都熟悉机器学习。还有很多公司也都秉承着相同的目标，其中最引人关注的当属Facebook，该公司与谷歌一样着迷于机器学习和深度学习。这一领域的毕业生变得非常抢手，而谷歌正在努力保持对毕业生的吸引力：学术圈多年以来都流传着一个玩笑：即使不需要顶尖学生，谷歌也会招聘他们，避免人才被竞争对手抢走。(这个玩笑的错误之处在于，谷歌的确需要这些人才。)“我的学生无一例外都得到了谷歌的录用通知。”多明戈斯说。目前看来，竞争的激烈程度有增无减：就在上周，谷歌宣布将在苏黎世开设一个新的机器学习实验室，有很多工作岗位有待填补。
　　但由于学术项目尚未培养大量机器学习专家，为员工提供在职培训面成为了必要措施。但这却并非易事，尤其是对于谷歌这样的公司而言。这里有很多世界顶尖工程师，他们一生都在研究传统的编程方式。机器学习却需要截然不同的思维模式，精通编码的工程师之所以能有如今的成就，往往是因为他们希望完全控制一套编码系统。机器学习还需要掌握一些数学和统计学知识，但是很多程序员却对此不屑一顾的，即便是那些能够写出超长代码的超级黑客也不例外。
克里斯汀·罗伯森的职责是在机器学习方面孵化谷歌内外的人员。
　　这还需要一定程度的耐心。“机器学习模型不是静态代码——你需要不断为其提供数据。”罗伯森说，“我们一直在不停地更新模型，而且还要不断学习，增加更多数据，调整预测方式。它就像是一个有生命的东西，这是一种截然不同的开发模式。”
　　“这是一个使用不同的算法进行实验的学科，需要挑选那些真正适合使用场景的训练数据。”迦南德里说。尽管他也是新的搜索业务主管，但却仍然把在谷歌内部传播机器学习理念作为自己工作的一部分。“计算机科学那一部分不会消失，但需要更加关注数学和统计学，而对数十万行代码的关注度则需要相应地降低。”
　　至于谷歌所担心的障碍，完全可以通过明智的在职培训来解决。“归根结底，这些模型中使用的数学原理并不那么复杂。”迪恩说，“谷歌聘用的多数软件工程师都可以掌握。”
　　为了进一步帮助不断扩容的机器学习专家团队，谷歌开发了一系列强大的工具，帮助他们选择合适的算法训练模型，加快培训和提炼过程。其中最强大的是TensorFlow，它可以加速神经网络的构建过程。TensorFlow源自谷歌大脑项目，由迪恩和他的同事拉加特·芒格(Rajat Monga)共同发明。它能把构建系统过程中涉及的晦涩难懂的细节变成标准化的内容——尤其是在谷歌2015年11月开始将其开放给公众后，这种做法的效果更加得以显现。
　　尽管谷歌煞费苦心地将这种行为描述为一种无私的举动，但该公司也承认，如果新一代程序员都能熟悉该公司内部的机器学习工具，那对谷歌未来的招聘活动将会起到莫大的帮助。(质疑者甚至指出，谷歌的TensorFlow开源项目是为了追赶Facebook，后者已经在2015年6月公布了早期机器学习系统的深度学习模块Torch。)不过，TensorFlow的功能以及谷歌的开源模式很快受到了程序员的欢迎。迦南德里表示，当谷歌首次提供TensorFlow课程时，共有7.5万人报名参加。
　　但谷歌仍为自己的程序员保留了很多好东西。该公司在内部拥有一套更加优秀的机器学习工具——Tensor Processing Unit(以下简称“TPU”)。他们虽然使用这项创新已经多年时间，但直到最近才对外宣布。这是一种针对机器学习程序优化的芯片，就像GPU是专门针对图形处理优化的芯片一样。该公司的庞大数据中心里使用了数以千计的TPU(具体有多少恐怕只有上帝和佩奇才知道)。通过赋予神经网络这种超级计算能力，TPU为谷歌带来了巨大优势。“如果没有它，我们就无法实现RankBrain。”迪恩说。
　　但由于谷歌最需要的还是设计还提炼这些系统的人才，他们也在不断尝试各种方式来为工程师提供机器学习方面的培训。这些培训的规模各异，其中也包括为期两天的速成班。谷歌希望这只是初步尝试，工程师随后还会寻找更多资源来深入学习。“已经有数千人报名参加下一次课程。”迪恩说。
　　该公司还在通过其他一些措施，为外部人才提供机器学习培训。今年初春，谷歌启动了Brain Residency项目，利用谷歌大脑项目为有潜力的外部人才提供了为期一年的集训。“我们称之为你的深度学习职业生涯的开端。”罗伯森说，他负责协助管理这个项目。尽管这27名来自不同学科的机器学习学员中，可能有一些会留在谷歌，但他表示，该公司的目的是让他们自行发展，利用自己掌握的先进知识在世界各地传播谷歌的机器学习技术。
　　前景广阔
　　当今时代，机器学习正在逐步走上中心舞台，而谷歌则希望以人工智能公司的身份继续占据主导。所以，从某种意义上讲，卡森·霍尔盖特在忍者项目中学到的知识正是这一计划的核心所在。
　　她的课程最初是一个为期4周的新兵训练营，由谷歌最先进的人工智能项目产品负责人提供指导，教给他们如何将机器学习融入项目中。“我们把忍者带进会议室，格雷格·考拉多站在白板前解释LSTM(长短期记忆，一种可以打造强大神经网络的技术)。他做着夸张的手势，讲述这种系统的工作方式、利用何种数学原理、如何应用于实际。”罗伯森说，“在最初的4个星期里，我们几乎用到了我们的所有技术和所有工具，为的是给他们带来切身体会。”
　　霍尔盖特从新兵训练营毕业了，她现在正在使用机器学习工具开发一款Android通讯功能，帮助谷歌员工彼此交流。她正在调整超参数，清理输入数据，去掉停止词。但她已经不可能回头，因为她知道人工智能技术就是谷歌的现在和未来，甚至可能是所有技术和所有东西的未来。
　　“机器学习时代已经来临，”她说，“前景无比广阔。”(书聿)
打败iOS的不可能是另一个iOS。况且时机风口都已经过去，也许等华...
从人的先天属性、从利益分割的角度来解析身边事件时，往往能看到...
黑莓近日宣布正式放弃自家系统，将加速其最终退出手机业务的进程...
特斯拉第二季度出货量为1.4万辆，低于5月份制定的1.7万辆销售预期。
这一漏洞据称影响了数亿台Android设备，如不采用新硬件，那么某些漏洞无法修复。为什么机器学习行业的发展离不开 “开源” - 文章 - 伯乐在线
& 为什么机器学习行业的发展离不开 “开源”
2016 年底，Google DeepMind 开源了它们的机器学习平台 — DeepMind Lab。尽管像霍金教授这样的专家曾，谷歌仍决定向其他开发人员开源其软件，这也是它们进一步发展机器学习能力的一部分。他们不是唯一一家这样做的科技公司，Facebook 去年开源了其深度学习的软件，Elon Musk 的非营利组织 OpenAI 也发布了 Universe，这是一个可用于训练 AI 系统的开放软件平台。所以，为什么谷歌、OpenAI，以及其他的公司或机构都选择开源了它们的平台，这将会对机器学习的采用产生怎样的影响？
为什么开源机器学习？
上面所提到的例子给了我们美好的愿景，其实如果仔细观察，会留意到机器学习一直是开源的，而且开放的研发是机器学习有如今这样关注度的根本原因。
通过向公众提供自己学习平台，Google 已经验证了其 AI 研究的意识越来越高。这样做其实有很多优点，例如可为 Alphabet 发掘到新的人才和有能力的创业公司。同时，开发者能访问 DeepMind Lab 将有助于解决他们研究机器学习的一个关键问题 —— 缺乏训练环境。OpenAI 为 AI 推出了一个新的虚拟学校，它使用游戏和网站来训练 AI 系统。
目前非常需要向公众提供机器学习平台这样的举动。
5 个开源机器学习项目的优势
重现科学的结果和公平的比较算法：在机器学习中，经常使用数值模拟来提供实验验证和方法比较。这种方法之间的比较是基于严格的理论分析的。开源工具和技术提供了一个机会，可以使用公开的源代码彻底地进行研究，而不依赖于提供方。
快速查找和修复 bug：当你使用开源软件执行机器学习项目时，易于检测和解决软件中的 bug。
以低成本、重用的方法加快科学研究的发展：众所周知，科学的进步总是以现有的方法和发现为基础，机器学习领域也不例外。机器学习中开源技术的可用性可很好地将大量现有资源投入研究和项目。
长期的可用性和支持：无论是个人研究者、开发者，还是数据科学家，开源可能都可以作为一种媒介，以确保每个人都可以在改变工作后使用他/她的研究或发现。因此，通过在开源许可证下发布代码可增加获得长期支持的机会。
各行业更快地采用机器学习技术：开源软件有显著的典范，它支持着创建数十亿美元的机器学习公司和行业。研究人员和开发者采用机器学习的主要原因是有免费提供高质量的开源实现。
加快开源机器学习的采用曲线
开源机器学习的进步将使得人工智能的采用曲线更加陡峭，从而促使开发者和创业公司努力使 AI 更智能。软件平台的可用性正在改变企业开发 AI 的方式，促使他们跟随 Google，Facebook 和 OpenAI 的脚步进行更透彻的研究。
开放机器学习平台的转变是确保 AI 可为每个人所用而不是只被掌握在少数技术巨头手中的重要阶段。
个人认为，科技巨头发布开源机器学习项目有三个原因：
雇佣已经与开源社区接触并通过开源项目建立了对机器学习的认识的工程师
控制一个机器学习平台，使它们为自己更广泛的 SDK 或云平台策略更好地工作
发展整个市场，因为他们的市场份额已经达到了饱和点
当一家创业公司发布一个开源项目时，它会引起注意，其中一些会被转化为付费客户和招聘。根据创业公司自己的定义，他们是尝试在特定市场上立足，而不是扩大现有市场。开源是无摩擦的，为另一个用户提供服务并使组织能够解决实际问题不会花费任何东西，从而使代码具有更大影响。
开源打破了建立专利技术的公司的限制。其中一个连锁效应可能是关注价值所在的转变，随着整个 AI 技术的商业化，关注点已从核心机器学习技术转向构建最佳模型，这需要大量的数据和领域专家来创建和训练模型。对于这点，具有网络影响力的大型企业具有天然优势。
开源机器学习中的最佳框架
现在有大量的开源机器学习框架，使机器学习工程师能够：
构建、实施和维护机器学习系统
生成新项目
创建新的有影响力的机器学习系统
一些重要的框架包括：
是一个通用、分布式、深度学习的平台，用于在大型数据集上训练大型深度学习模型。它被设计有基于层次抽象的本能编程模型。支持各种流行的深度学习模型，包括卷积神经网络（CNN），受限玻尔兹曼机（RBM），以及循环神经网络（RNN）等能量模型。为用户提供了许多内置图层。
是历史最悠久，也是最受尊敬的机器学习库之一。Shogun 于 1999 年创建，采用 C++ 编写，但不只限于在 C++ 中使用。感谢 ，Shogun 可用于以下编程语言和环境：
Shogun 旨在面向广泛的特性类型和学习环境进行统一的大规模学习，如分类、回归、降维、聚类等。它包含了几项独有的最先进的算法，如丰富的高效 SVM 实现，多内核学习，内核假设检验，以及 Krylov 方法等。
是一个采用数据流图(data flow graphs)，用于数值计算的开源软件库。TensorFlow 使用数据流图进行数值计算，通过节点（Nodes）和线（edges）的有向图来阐述数学计算。节点在图中表示数学操作，也可以表示数据输入（feed in）的起点/输出（push out）的终点，或者是读取/写入持久变量（persistent variable）的终点。图中的线则表示在节点间相互联系的多维数据数组，这些数据 “线” 可以输运 “size 可动态调整” 的多维数据数组，即 “张量”（tensor）
通过构建在数个现有的 Python 包（NumPy，SciPy 和 matplotlib）之上，用于数学和科学工作，充分利用了 Python 的广度。生成的库可以用于交互式 “工作台” 应用程序，也可以嵌入到其他软件中并重用。该套件在 BSD 许可证之下发布，因此它完全是开源和可重用的。Scikit-learn 包括许多用于标准机器学习任务（如聚类，分类，回归等）的工具。由于 scikit-learn 是由一大群开发者和机器学习专家开发的，所以新技术有希望会很快被引入。
是 Apache Spark 的机器学习库。其目标是使实用的机器学习具有更好的可扩展性和易于使用。它由常见的学习算法和实用程序组成，包括分类、回归、聚类、协同过滤、降维，以及较底层的优化原语和高层的管道 API。Spark MLlib 被认为是在 Spark Core 之上的分布式机器学习框架，主要由于其分布式的基于内存的 Spark 架构，几乎是 Apache Mahout 使用的基于磁盘的实现的九倍。
是一项使任何技能水平的开发者都能轻松使用机器学习技术的服务。Amazon Machine Learning 提供了可视化工具和向导，指导你完成创建机器学习（ML）模型的过程，而无需学习复杂的 ML 算法和技术。它连接到存储在 Amazon S3，Redshift 或 RDS 中的数据，可以对所述的数据运行二进制分类，多类分类或回归，以创建一个模型。
是 Apache 软件基金会的一个自由开源项目。目标是为协作过滤、聚类和分类等多个领域开发免费的分布式或可扩展的机器学习算法。Mahout 为各种数学运算提供了 Java 库和 Java 集合。Apache Mahout 是使用 MapReduce 范例在 Apache Hadoop 之上实现的。如果大数据存储在 Hadoop 分布式文件系统（HDFS）中，Mahout 提供的数据科学工具，可以在这些大数据集中自动找到有意义的模式，从而将这些大数据快速轻松地转化为 “大信息”。
最后要说的
机器学习确实可以在开源工具的帮助下解决真正的科学技术问题。如果机器学习是为了解决真正的科学技术问题，社区需要建立在彼此的开源软件工具之上。我们认为，机器学习开源软件有一个紧急需求，它将满足多个角色，其中包括：
更好的方法来重现结果
为质量软件实施提供学术认可的机制
通过站在其他人的肩膀（不一定是技术巨头）上以加速研究过程
可能感兴趣的话题
厉害了，谢谢分享
关于伯乐在线博客
在这个信息爆炸的时代，人们已然被大量、快速并且简短的信息所包围。然而，我们相信：过多“快餐”式的阅读只会令人“虚胖”，缺乏实质的内涵。伯乐在线内容团队正试图以我们微薄的力量，把优秀的原创文章和译文分享给读者，为“快餐”添加一些“营养”元素。
新浪微博：
推荐微信号
（加好友请注明来意）
– 好的话题、有启发的回复、值得信赖的圈子
– 分享和发现有价值的内容与观点
– 为IT单身男女服务的征婚传播平台
– 优秀的工具资源导航
– 翻译传播优秀的外文文章
– 国内外的精选文章
– UI,网页，交互和用户体验
– 专注iOS技术分享
– 专注Android技术分享
– JavaScript, HTML5, CSS
– 专注Java技术分享
– 专注Python技术分享
& 2017 伯乐在线