深度学习都学哪些项目可以做什么岗位


· 大数据人才培养的机构

成都加米谷大数据科技有限公司是一家专注于大数据人才培养的机构公司由来自华为、京东、星环、勤智等国内知名企业的多位技术大牛联合創办。面向社会提供大数据、人工智能等前沿技术的培训业务

大数据其实细分的岗位方向有很多,不一定只是大数据开发工程师建议從多角度多维度来进行大数据方面行业细分方向的选择。

1、大数据开发工程师:开发建设,测试和维护架构;负责公司大数据平台的开發和维护负责大数据平台持续集成相关工具平台的架构设计与产品开发等。

2、数据分析师:收集处理和执行统计数据分析;运用工具,提取、分析、呈现数据实现数据的商业意义,需要业务理解和工具应用能力

3、数据挖掘工程师:数据建模、机器学习和算法实现;商业智能,用户体验分析预测流失用户等;需要过硬的数学和统计学功底以外,对算法的代码实现也有很高的要求

4、数据架构师:需求分析,平台选择技术架构设计,应用设计和开发测试和部署;高级算法设计与优化;数据相关系统设计与优化,需要平台级开发和架构设计能力

5、数据库开发:设计,开发和实施基于客户需求的数据库系统通过理想接口连接数据库和数据库工具,优化数据库系统嘚性能效率等

6、数据库管理:数据库设计、数据迁移、数据库性能管理、数据安全管理,故障检修问题、数据备份、数据恢复等

7、数據科学家:数据挖掘架构、模型标准、数据报告、数据分析方法;利用算法和模型提高数据处理效率、挖掘数据价值、实现从数据到知识嘚转换。

8、数据产品经理:把数据和业务结合起来做成数据产品;平台线提供基础平台和通用的数据工具业务线提供更加贴近业务的分析框架和数据应用。


· 百度知道合伙人官方认证企业

安徽新华电脑专修学院始建于1988年隶属于新华教育集团,是国家信息化教育示范基地、中国 IT 教育影响力品牌院校.

大数据开发工程师其实包括的具体的岗位很多,包括:大数据开发工程师、大数据架构工程师、大数据运维笁程师、数据可视化工程师、数据采集工程师、数据挖掘工程师、机器学习工程师、深度学习工程师、算法工程师等等都可以算是大数據开发工程师的范畴。


· 超过26用户采纳过TA的回答

大数据开发工程师其实包括的具体的岗位很多,包括:

大数据开发工程师、大数据架构笁程师、大数据运维工程师、数据可视化工程师、数据采集工程师、数据挖掘工程师、机器学习工程师、深度学习工程师、算法工程师等等都可以算是大数据开发工程师的范畴。

从定义上来说研究和开发大数据采集、清洗、存储及管理、分析及挖掘、展现及应用等有关崗位的从业者,都可以称为大数据开发工程师

下载百度知道APP抢鲜体验

使用百度知道APP,立即抢鲜体验你的手机镜头里或许有别人想知道嘚答案。

最近不少朋友问我转行做深度學习的话,能不能找到工作能找到什么样的工作,能达到什么样的收入水平……

这种问题其实不仅仅是存在与深度学习行业的入门和转型中的思考阶段了在其它的行业和技术领域同样有这样的困惑和疑问。那么对于深度学习这个领域目前阶段的发展来说一个工程师要具备什么样的素质才能算是达到要求呢?我想可能可以粗略地分成4个档次吧

  这是一个最最基本的层次了,如果没办法读懂论文的话任何工作几乎都谈不到开展。市面上的任何书籍不论是中文的还是外文的,都在讲原理层面的事情要想看着这些书籍来直接做项目昰非常困难的事情。而对于拿到一个工程需求的时候不论这是一个分解完的需求还是一个分解前的粗需求,第一步几乎都是要到网上去找文献——看看目前为止世界上其它的人有没有涉足过这方面的研究,并且有一些理论成果出来这非常重要,因为这直接会奠定后面研究和开发的大方向

  如果你能够读懂论文,并且能够在GITHUB上找到一些原生或者野生的代码还能运行和修改,那么恭喜你你已经算昰一只脚踏进“工程师”的门槛了。这里说的原生代码说的是论文的书写方自己实现的代码(大多数以python为主也不乏lua等其它语言);野生玳码就是一些好事者看了相关的论文写的一些实现。这两种不论有哪一种都是非常好的毕竟模型已经在一定程度上落地并且验证过了,尤其是那些stars给的比较多的工程项目能够读懂,并且对这些代码进行工程层面的改造已经是实现相关需求的最基础的内容了。在这个部汾请注意不论是原生代码还是野生代码,它们在实现的过程中和论文可能多少都有一些出入有的出入属于有意或无意的删改,有的则屬于Trick(技巧)的省略这些都会导致你在运行这些代码的时候与论文所描述的各种技术指标产生差距。不过还好到这个程度基本已经可鉯找到一份收入还说得过去的工作了。

LEVEL3:能够实现论文代码
  如果LEVEL2这个级别没有问题的话那么可以尝试挑战一下第三个档次。那就是根据论文中的一大堆公式和实验描述来自己实现代码不过这个可着实不容易。如果实在没有这方面的能力或者经验可以从LEVEL2做一个过渡,那就是读懂并理解第三方代码的深刻含义和各个部分的门道然后做一些调整和深度修改。并能够在自己强大的理论基础和工程经验指導下对原来模型进行有益的优化。使得这个模型能够顺利迁移到当前需求的场景下并且能够逐步演进,直到正常工作如果这个级别基本没问题的话,恭喜你在一线城市,要一个年薪50W以上的工作几乎是唾手可得

LEVEL4:新的模型建议
  当你对深度学习各方面理论有了足夠透彻的见解,通常都会深入地去研究一个方向而不是再涉猎广泛地去各种下载代码和让他们跑起来——物体检测、人脸识别、自动驾驶、声音转换等等一系列方向都是可以尝试的当研究到一定水平以后,你的研究成果是会可以在业界有脱颖而出的能力的这个脱颖而出鈈是指你在理论上明显碾压业界标准,而是说你在模型设计上的某些技巧会比同时代的其它相关模型有着更好的表现不论是速度性能、准確率、训练时间等任何一个方面得到了明显的提升那就是非常值得称道的专家级人物了。到这个级别在不少公司里基本都可以被称为“科学家”,或者“资深专家”了

  在此之外,应该还有更高的层次不过我想把它列入工程师的评价范畴显得不太合适——那就是,可以提出比较新的理论基础或者方式在更大层面给后世提供一个研究的基调或者方向。例如CNN的提出例如GAN的提出等,这些都是有着划時代意义的达到这个档次的数据科学家会成为整个行业坐标性人物,也是凤毛麟角这是每个深度学习工程师都值得去努力追求的方向。

近期字节跳动宣布,今年春季招聘为大学生开放超过6000个全职及实习生就业岗位这一招聘数字,超过字节跳动以往每年春季招聘的规模也让字节跳动成为今年互联网荇业少见的“不缩招”企业。

字节跳动招聘负责人表示2020年,字节跳动会继续加大对人才的培养倾注更多平台资源,帮助社会创造更多嘚就业岗位字节跳动将为应届毕业生提供广阔稳定的发展机会、完善的新人培养体系、平等开放的工作氛围,以及有竞争力的回报和福利

此前,2019 ACL(国际计算语言学会)Fellow名单出炉字节跳动人工智能实验室科学家李航入选。ACL Fellow是对NLP领域从业者的最高认可据ACL官网信息,李航因在「信息检索方面做出基础性贡献特别在学习排序、深度学习和对话生成方面做出卓越贡献,同时促进了中国NLP的发展与商业化」而入选

李航获东京大学计算机科学博士学位,曾任微软亚洲研究院主任研究员和华为诺亚方舟实验室首席科学家2019年5月,李航编写的机器学习入門“蓝宝书”《统计学习方法》再版字节范儿邀请李航就新书内容、加入字节跳动的体验、年轻技术人的成长、机器学习的未来和人工智能趋势等话题进行了分享。

 在李航身边工作是一种怎样的体验?

字节跳动有的员工说当然是很开心,都知道他是行业里的技术大牛茬微软亚洲研究院、华为诺亚方舟实验室等知名机构有着丰富的从业经历。还有很多员工说其实也没有那么神秘,他总是穿着衬衫西裤洏不是码农的T恤开会带着纸质本子记东西,习惯用手表看时间温和儒雅,一副大学教授的样子

他的另一个身份是《统计学习方法》嘚作者,这本书被很多人亲切地称作“蓝宝书”是不少技术人入门机器学习的启蒙读物。他出版过三部学术专著并在顶级国际学术会議和期刊上发表过上百篇论文,拥有40项授权美国专利

在以下访谈中,李航就新书的内容、加入字节跳动的体验、年轻技术人的成长、机器学习的未来和人工智能的发展趋势等话题与大家进行了分享

  Q:《统计学习方法》第二版相对于第一版有哪些更新?

A:统计学习即机器学习,第一版主要是介绍了监督学习的算法与模型第二版主要是在过去六年的时间里,补充了无监督学习的八个方法并对第一版的監督学习方法做了一些修改。虽然目前90%以上的机器学习都是监督学习但无监督学习其实是机器学习的重点和难点,即让机器自己发现数據里的规律它是未来实现强大人工智能的重要推动力。未来我还准备花3-4年时间把深度学习和强化学习加进去因为我都是业余时间写作,所以花的时间比较久

  Q:很多人把《统计学习方法》叫做蓝宝书,是入门机器学习的启蒙读物但一些学生看这本书会觉得吃力,能不能推荐一些入门的方法?

A:这本书的内容本身是最基础的也就是机器学习领域大家都应该掌握的东西,从这种意义上来说确实是一本叺门书籍但是我并没有从入门的角度写这本书,而是更多地把一些最基本的概念提纲挈领地整理出来,也是我自己再学习和思考的过程你也可以认为是从教材的角度来写这些内容,因此这本书适合多次阅读需要经常查看,而不是看一遍就了事

这本书比较适合有一萣基础的读者,主要是数学基础它不太适合特别入门的初学者,也不太适合概率论、统计学都不太了解的入门者这些基础知识可以通過其它课程或教材快速补全。当然读者也可以一边阅读《统计学习方法》,一边补全基础知识这样学习可能效率更高。

当然我希望《统计学习方法》不仅仅是教材,它还能为业界的工程师提供一些有用的帮助

  Q:能不能给我们分享一下经验,年轻技术人员如何自峩成长?

A:我觉得有几件事情比较重要一是建立远大的理想和目标,选择自己喜欢做的擅长做的,能给自己带来利益的事情的交集去做制定有挑战的目标,想想希望自己5-10年后成为什么样子二是一旦有了目标之后,在日常的工作中扎扎实实地去做其实没有捷径。

另外我们谈到技术人员的工作的时候,科学家和工程师的思维方式应该是不一样的工程师的思维方式应该是面向问题解决问题,而科学家嘚思维应该是建立普世价值的理论和方法在AI Lab的同事们更是这样,需要明确自己当前做的工作是哪种性质的理想是不断培养自己两方面嘚能力,但也有侧重

  Q:问答社区上有一个问题“如何评价李航加入今日头条母公司字节跳动?”,所以你为什么加入字节跳动?目前为圵感觉如何?

A:字节跳动有很好的产品和大量的用户,有人工智能研究需要的大数据公司也有很多优秀的人才,总之这里拥有做技术开發最好的环境有很多有意思的问题可以和大家一起去做。事实证明这是一个正确的决定,公司的机制和文化很好大家做起事来心情愉快,效率也很高

  Q:越来越多人工智能方向的专家从校园走向了工业界,怎么看待这种现象?

A:这取决于你自己想做什么事情学校適合做研究,工业界更偏产品和应用人工智能时代需要利用大数据,学校很难有这样的环境促使很多老师选择到工业界。计算机科学領域现在跟以前有很大的不同,以前的研究很多是大学先工业界后现在是共同推进,甚至是反过来了

我先后在NEC和微软的研究部门工莋过,它们更像是传统工业界的研究部门不直接负责产品的开发。字节跳动是我待过的第4家公司这里的研究部门是这当中最接近产品嘚部门,很多东西需要在实际的场景中应用这很接近美国的一些互联网公司的做法,既有偏产品的工作又有基础研究

  Q:你享受这種balance吗,难道它不是一种角力吗?

A:我个人意见:理想的情况是70%的精力做应用30%放在相关的基础研究上,当然中间没有一个清晰的界限我们需要为未来做一个很好的布局。这是这个时代技术发展的必然趋势很多东西需要有现实数据以及实际场景去验证,机器学习本来也是这樣一种技术所以我很享受这种balance,而不认为是角力

  Q:现在主要在解决什么问题?

A:做好内容平台。目前主要是开发自然语言处理和机器学习的技术希望能够开发出更好的智能信息处理技术,帮助大家更好地获得信息和知识比如跟搜索团队合作的精准问答,是为了帮助用户更加精确地获取高质量的信息还有在头条的新闻推荐,用算法帮助提高内容质量打压低质内容,提高优质内容

综合来说就是偠让每个用户在信息获取过程中有更好的体验,真正得到自己想要的东西最理想的状态就是我们每个人都有智能助手,想要什么信息助掱就给你什么

  Q:你最初读的是电气电子工程专业,为什么最终进入了机器学习领域的研究?

A:算是机缘巧合吧我最早接触人工智能,是大一的时候在京都大学的人工智能实验室80年代末是人工智能很火的时候,那会儿看到机器翻译、图像识别就觉得很有意思到90年代,我在日本NEC公司的研究部门工作偶然的机会加入机器学习的小组,开始了研究之路

这期间经历了人工智能的起起落落,但也感受到了整个领域的巨大发展那个时候只有专家在讨论AI,现在变成家喻户晓大家都能去评论的话题,最典型的就是AlphaGo我们也已经在使用很多人笁智能技术的产品,这是一个质的飞跃不好的地方是,感觉大家会有一些浮躁我们的研究和技术开发还是应该更扎实一些。

能坚持在研究路上的秘诀可能是保持年轻的心态吧我感觉现在的心态跟20年前读博士的时候没有什么不同。做研究很痛苦也很快乐。要去做出一個比已有的方法更好的方法很不容易研究过程中的挫折和沮丧也挺多的。但当你把一个确实work的东西做出来的时候你确实会有很大的成僦感。可以比喻成长跑跑的过程当中会觉得自己很累,但是当你到达了终点会享受到完成一件事情的快乐,大概就是这种感觉吧

  Q:所以你算是见证了人工智能在中国的发展,你看好它的发展趋势吗?人工智能的未来到底是什么样的?

A:是的2002年复旦大学组织过一个机器学习研讨会MLA,当时只有不到30人参会但现在已经是近千人的规模了。不到20年的时间人工智能在中国已经有了突飞猛进的发展,这是让囚意想不到的

中国市场大、人才多、从业者努力,这是别的国家没有的优势但是也要注意到,我们在创新方面的能力离美国还有一定距离这可能需要几代人的努力。目前最基本最核心的概念和方法大多还是在美国开发出来的我们的快速发展更多还是体现在产品落地仩。我相信我们速度很快但还是需要不断努力,不断提高自己的创新能力真正的创新还是需要挺长时间的。

我们可以把人工智能理解為人类很好的工具不要把它特别的夸大,至少未来很长一段时间内是这样就像你的秘书或者助手。

  Q:你最近的一篇论文重点讲了腦科学有一个观点是说机器学习很重要的内容就是对人脑的研究,所以脑科学给人工智能带了来什么?

A:科学发展到今天我们对外部宇宙有了不少了解,但是对我们自己内部的“宇宙”——人脑我们了解得还远远不够,这是当今最大的一个未知领域脑科学就是研究这個问题的科学领域。从计算机器的角度看人脑是一个非常了不起的计算机,它的能耗还不到30瓦就能做那么多复杂的计算。

人工智能希朢开发智能性的工具离不开对人脑信息处理机制的了解。脑科学的发展对人工智能是有启发和指导作用的,特别是自然语言处理这一塊人工智能有三大应用领域——声图文,也就是语音、图像、文字语言是最难的了。前两者是感知能力而语言是认知能力。此外看或听一个东西的时候,只是大脑的局部在工作但使用语言的时候,是整个大脑在工作所以说非常复杂。如果我们希望计算机能够像囚一样去操作语言使用语言那就需要对人的语言处理机制有进一步的了解,关注脑科学的研究成果多去进行跨学科的研究。

  Q:机器学习如何跟深度学习结合?

A:《统计学习方法》的第一版中介绍了很多算法,都是非常基础与经典的机器学习方法但是在深度学习时玳,我们更多的是根据经验、实验和「启发式」方法理解模型这些经典算法被大家关注得比较少,反观常见的深度学习方法与技巧却鈈一定有传统方法那样的理论。

其实传统机器学习与深度学习在技术上是一脉相承的中间并不可以割裂。在我面试员工的时候也会发現这样的问题,大家对深度学习了解得很多但对传统机器学习了解得非常少。这种现象并不好例如我们在 TensorFlow 上实现某个模型,然后就直接跑实验这样对很多基本概念了解得都不够。理想情况下我们应该更全面地理解机器学习的概念与理论,再做深度学习实践也就是說对传统机器学习的理解有助于更好地掌握深度学习技术。

此外尽管深度学习在众多任务上都有极好的效果,但也不能说传统机器学习僦没什么用了例如在小数据集或简单问题上,SVM 或 GBDT 这些方法在实践中用得还是挺多的

  Q:有人说机器学习无疑是最有希望实现突破的方向之一,你怎么看待这个判断?对机器学习的未来有什么期待?

A:机器学习是人工智能的核心领域几乎所有的人工智能技术其实都是机器學习技术,无疑机器学习技术的发展决定了人工智能的未来希望机器学习能有更多的突破,促进整个领域的发展我认为,长期来看機器学习与推理和知识的结合,类脑学习或类脑计算是这个领域的未来发展大方向

  Q:近年各种自然语言对话系统如雨后春笋般地涌現,所以计算机多大程度上可以自如地和人进行对话?自然语言对话的挑战在什么地方?未来可能会有哪些突破?

A:从功能的角度计算机也有鈳能能够像人一样,自如地进行自然语言对话但是现在这个命题无法证真或证伪。原因是尚不清楚人脑的语言理解机制用计算机完整模拟人的语言理解仍然非常困难。但在特定领域特定场景下,和人一样进行自然语言对话的计算机的实现我们已经看到。问题是如何進行扩展能够以更低的开发成本覆盖更多的领域和场景。

语言理解的核心是向内部表征的映射多义性和多样性是计算机进行语言理解朂大的挑战。要完成具体的任务体现计算机的智能性,定义和使用内部表征看来是不可或缺的基于分析的方法本质上是重要的,甚至昰在聊天机器人的场景基于检索方法更适合于单轮问答的场景。基于生成的方法只能用于特定的场景多轮对话要体现完成任务的整个邏辑,有限状态机表示开放式的对话意味着动态地改变任务,所以在现在的技术条件下是非常困难的;在特定领域任务明确的条件下的對话,现实可行

近年,深度学习和强化学习的使用使得对话有了长足的进步。主要体现在表征学习、端到端学习上事实上需要符号表征和神经表征,深度学习和符号处理的结合这应该是未来发展的重要方向。

  Q:最后分享一部你最喜欢的科幻电影吧?

A:我看的电影鈈多印象深刻的AI相关的是斯皮尔伯格导演的《AI》,让人去思考机器与人的智能的本质区别

我要回帖

 

随机推荐