服务器发生了异常情况！
服务器发生了异常情况！从事“大数据”工作的三大方向 十大职位_数据分析吧_百度贴吧
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&签到排名：今日本吧第个签到，本吧因你更精彩，明天继续来努力！
本吧签到人数：0成为超级会员，使用一键签到本月漏签0次！成为超级会员，赠送8张补签卡连续签到：天&&累计签到：天超级会员单次开通12个月以上，赠送连续签到卡3张
关注：17,770贴子：
从事“大数据”工作的三大方向 十大职位收藏
随着大数据的趋势引起的越来越多的重视，各大企业对与大数据相关高端人才的需求也越来越紧迫。这一趋势，也给想要从事大数据方面工作的人员提供了难得的职业发展机遇。
目前，大数据方面的工作人员主要有三大就业方向：大数据系统研发类人才、大数据应用开发类人才和大数据分析类人才。在此三大方向中，各自的基础岗位一般为大数据系统研发工程师、大数据应用开发工程师和数据分析师。　从企业方面来说，大数据人才大致可以分为产品和市场分析、安全和风险分析以及商业智能三大领域。产品分析是指通过算法来测试新产品的有效性，是一个相对较新的领域。在安全和风险分析方面，数据科学家们知道需要收集哪些数据、如何进行快速分析，并最终通过分析信息来有效遏制网络入侵或抓住网络罪犯。
对于想从事大数据工作的求职者来说，如何根据自身条件进行职位选择？下面介绍十种与“大数据”相关的热门职位：
一、ETL研发
随着数据种类的不断增加，企业对数据整合专业人才的需求越来越旺盛。ETL开发者与不同的数据来源和组织打交道，从不同的源头抽取数据，转换并导入数据仓库以满足企业的需要。
ETL研发，主要负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
目前，ETL行业相对成熟，相关岗位的工作生命周期比较长，通常由内部员工和外包合同商之间通力完成。ETL人才在大数据时代炙手可热的原因之一是：在企业大数据应用的早期阶段，Hadoop只是穷人的ETL。
二、Hadoop开发
Hadoop的核心是HDFS和MapReduce.HDFS提供了海量数据的存储，MapReduce提供了对数据的计算。随着数据集规模不断增大，而传统BI的数据处理成本过高，企业对Hadoop及相关的廉价数据处理技术如Hive、HBase、MapReduce、Pig等的需求将持续增长。如今具备Hadoop框架经验的技术人员是最抢手的大数据人才。
三、可视化工具开发
海量数据的分析是个大挑战，而新型数据可视化工具如Spotifre，Qlikview和Tableau可以直观高效地展示数据。
可视化开发就是在可视开发工具提供的图形用户界面上，通过操作界面元素，由可视开发工具自动生成应用软件。还可轻松跨越多个资源和层次连接您的所有数据，经过时间考验，完全可扩展的，功能丰富全面的可视化组件库为开发人员提供了功能完整并且简单易用的组件集合，以用来构建极其丰富的用户界面。
过去，数据可视化属于商业智能开发者类别，但是随着Hadoop的崛起，数据可视化已经成了一项独立的专业技能和岗位。
四、信息架构开发
大数据重新激发了主数据管理的热潮。充分开发利用企业数据并支持决策需要非常专业的技能。信息架构师必须了解如何定义和存档关键元素，确保以最有效的方式进行数据管理和利用。信息架构师的关键技能包括主数据管理、业务知识和数据建模等。
五、数据仓库研究
数据仓库是为企业所有级别的决策制定过程提供支持的所有类型数据的战略集合。它是单个数据存储，出于分析性报告和决策支持的目的而创建。为企业提供需要业务智能来指导业务流程改进和监视时间、成本、质量和控制。
数据仓库的专家熟悉Teradata、Neteeza和Exadata等公司的大数据一体机。能够在这些一体机上完成数据集成、管理和性能优化等工作。 六、OLAP开发 随着数据库技术的发展和应用，数据库存储的数据量从20世纪80年代的兆（M）字节及千兆（G）字节过渡到现在的兆兆（T）字节和千兆兆（P）字节，同时，用户的查询需求也越来越复杂，涉及的已不仅是查询或操纵一张关系表中的一条或几条记录，而且要对多张表中千万条记录的数据进行数据分析和信息综合。联机分析处理（OLAP）系统就负责解决此类海量数据处理的问题。
OLAP在线联机分析开发者，负责将数据从关系型或非关系型数据源中抽取出来建立模型，然后创建数据访问的用户界面，提供高性能的预定义查询功能。七、数据科学研究
这一职位过去也被称为数据架构研究，数据科学家是一个全新的工种，能够将企业的数据和技术转化为企业的商业价值。随着数据学的进展，越来越多的实际工作将会直接针对数据进行，这将使人类认识数据，从而认识自然和行为。因此，数据科学家首先应当具备优秀的沟通技能，能够同时将数据分析结果解释给IT部门和业务部门领导。
总的来说，数据科学家是分析师、艺术家的合体，需要具备多种交叉科学和商业技能。 八、数据预测分析 　营销部门经常使用预测分析预测用户行为或锁定目标用户。预测分析开发者有些场景看上有有些类似数据科学家，即在企业历史数据的基础上通过假设来测试阈值并预测未来的表现。
九、企业数据管理
企业要提高数据质量必须考虑进行数据管理，并需要为此设立数据管家职位，这一职位的人员需要能够利用各种技术工具汇集企业周围的大量数据，并将数据清洗和规范化，将数据导入数据仓库中，成为一个可用的版本。然后，通过报表和分析技术，数据被切片、切块，并交付给成千上万的人。担当数据管家的人，需要保证市场数据的完整性，准确性，唯一性，真实性和不冗余。 十、数据安全研究
数据安全这一职位，主要负责企业内部大型服务器、存储、数据安全管理工作，并对网络、信息安全项目进行规划、设计和实施。数据安全研究员还需要具有较强的管理经验，具备运维管理方面的知识和能力，对企业传统业务有较深刻的理解，才能确保企业数据安全做到一丝不漏。
&达内&,是国内首家数据分析师培训机构,精品专业课程,品牌口碑领先!无锡数据分析师培训,选择&无锡达内&是您成功的摇篮!0元入学,现在马上申请...
数据越来越大，对数据挖掘能力越来越重要
要学的东西还有很多啊
楼主太给力了！！！非常有用哦！！！
我想从事这方面的工作，苦于找不到出路啊，没培训啥的
零基础，高中学历
学这个怎么样
数据分析对于计算机的要求都挺高 统计出身的话反而需要熬资历
谍海调查合法取证,无锡本地人调查专业团队,口碑至上,团队宗旨:高效专业保密,调查咨询热线:.
感觉不是一般人就可以从事的，需要有专业计算机技术方面的能力，有好的硬件环境，有各方面配套支持，还要思路清晰，这是个一整套流程系统工程，普通人缺乏太多，而且这是一个团队才能做的了的。
学数学的想学数据分析，从哪里开始呢？
大数据分析也叫数据挖掘，图灵出版社有出版，配套软件用书是R语言。我有上过一个学期的数据挖掘。说实话，不是因为老师教我们实际的软件操作，自学很难。现在本科基本不教这一门，研究生不知道教不教。去年学这一门，网上基本没资料可以查。
职位：高级数据分析师（总监级别）年薪：30-50万任职要求：1、本科以上学历；2、5年以上数据和战略分析相关工作；3、精通数据分析和挖掘工具使用方法，如SPASS，EXCEL等4、360，腾迅，百度，金山等公司的优先考虑。如有兴趣者请加扣 扣：
回答问题之前，还是让我们先看一段对话：小袁：我是一只苦逼的程序猿，俗称技术屌丝男，还属于码农阶段，起早贪黑不分时间，没房没车没对象，每天除了代码，就是BUG，觉得暗无天日，没有钱途，现在想换相关的职业，不知道DOCTOR V有什么可以介绍的？Doctor V：云计算的实现，咱们迎来了大数据时代，而基于数据处理和开发，有几个职位想必你会感兴趣，且也是现在大数据时代 背景下所需求的。插一句，且这个行业工资还很高，绝对让你以后在技术行业有傲娇的资本…….^_^ 小袁：那大数据行业职位都跟我说说呗？Doctor V：大数据行业最主要的是数据分析师和大数据工程师，下面是它的职位体系架构 小袁：数据分析师和大数据工程师主要是做什么？DoctorV：大数据工程师主要是偏开发层面，指的是围绕大数据系平台系统级的研发人员， 熟练Hadoop大数据平台的核心框架，能够使用Hadoop提供的通用算法， 熟练掌握Hadoop整个生态系统的组件如： Yarn，HBase、Hive、Pig等重要组件，能够实现对平台监控、辅助运维系统的开发。小袁：学习这个需要什么基础吗？Doctor V：java你肯定要很熟练， linux 这个也需要了解一些，当然hadoop本身入门不难，但是你想看懂源代码，想深入的理解，你要对多线程，并行化等概念都要了解，本身hadoop是一个框架，你把他了解透彻了也等于你对java技术已经有了一个系统的掌握了。小袁：能简单跟我说说hadoop的学习路径吗？DoctorV：简单来说就是，首先了解Hadoop原理和用途，了解什么是hdfs和mapreduce；其次，开始搭个环境跑一个wordcount；再次，跑完wordcount，你就可以改代码了；最后测试独立完成一个业务场景…..小袁：嗯，了解，更多的还是偏技术，写代码。那你还是跟我说说数据分析师这个职位吧，貌似跟数据打交道，挺有挑战性的！？Doctor V：数据分析师是指基于大数据进行数据处理分析的人员，能熟练的用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总、理解并消化，以求最大化地开发数据的功能，发挥数据的作用。小袁：这个听起来跟数据打交道，需要做决策分析的啊，好像挺有发展前途啊，有技术基础的能学吗，薪资怎么样啊？Doctor V：数据分析师在企业中发挥的价值在于能够利用已有的数据资料（一手或二手的）进行观测，实验，研究分析出背后的一套规律为企业进行优化决策。业务层面的员工需要写出数据报告给老板看，如果你的分析结果对企业决策（如营销计划）有改善从而提高了业绩，那么待遇肯定是意想不到的。数据分析师这个行业入门要求比较低，需要懂一些数据统计、ETL等知识，这些对于学技术的你来说，应该是小菜一碟。小袁：这个职位，以后的职业路线是怎样的啊？Doctor V：在职业发展方面，最初可能会是数据分析员从基层开始做起，有团队有人带，到后面逐渐上升为分析师，资深分析师、数据分析专家，数据架构师；其中数据架构师 要求比较高，既要精通数据分析师的业务决策层面，也要会使用Hadoop开发和使用运算模型，我觉得这个可以作为你未来的发展方向，因为你比纯粹的数据分析师有技术基础。 小袁：那么数据分析师和数据挖掘(算法）工程师又有什么区别呢？Doctor V：数据挖掘(算法)工程师需要较强的编程能力，需要通过语言进行模型算法优化和相关数据产品的开发，而数据分析师需要更多的是业务理解和数据分析能力，一般是业务背景，对编程能力也没有严格的要求。小袁：OK，got it！ 现在，让我们在回到开头那个问题。在美国，与大数据相关的职位主要有：数据科学家数据分析师数据架构师数据工程师统计学家数据库管理员业务数据分析师数据产品经理顶尖的数据人才甚至被冠以“数据科学家”的头衔。(详见《数据科学领域的职位划分以及职责技能》一文) 而在国内，与大数据相关的岗位主要分为以下几类：数据分析师：运用工具，提取、分析、呈现数据，实现数据的商业意义，需要业务理解和工具应用能力数据挖掘师/算法工程师：数据建模、机器学习和算法实现，需要业务理解、熟悉算法和精通计算机编程大数据工程师：运用编程语言实现数据平台和数据管道开发，需要计算机编程能力数据架构师：高级算法设计与优化;数据相关系统设计与优化，有垂直行业经验最佳，需要平台级开发和架构设计能力 在工资待遇上，不管是在国内还是国外，都是：数据科学家-&数据架构师==算法工程师&大数据工程师&数据分析师。数据来源：Datacamp数据分析师工资趋势和地区排名
数据来源：看准网大数据工程师工资
数据来源：看准网 算法工程师工资
数据来源：看准网
由此不难看出，数据分析师的职业通道是：数据分析师-》算法工程师/建模分析师-》数据科学家/CIO而大数据工程师的职业通道是：大数据工程师-》算法工程师/架构工程师-》数据科学家/CTO通常情况下，有计算机专业背景和编程基础的可以选择后者。在职位选择上，条条大路通罗马，选择适合自己的才是最重要的。
楼主可以推荐几个靠谱点的数据分析培训机构吗？
登录百度帐号推荐应用
为兴趣而生，贴吧更懂你。或本帖子已过去太久远了，不再提供回复功能。君，已阅读到文档的结尾了呢~~
大数据技术学习路线指南
扫扫二维码，随身浏览文档
手机或平板扫扫即可继续访问
大数据技术学习路线指南
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由：
将文档分享至：
分享完整地址
文档地址：
粘贴到BBS或博客
flash地址：
支持嵌入FLASH地址的网站使用
html代码：
&embed src='/DocinViewer--144.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布，请您等待！
3秒自动关闭窗口查看: 2663|回复: 19
大数据开发是什么概念
精华主题学分
中级农民-加分请看右边栏-多参与|分享|记录|反馈, 积分 289, 距离下一级还需 211 积分
在线时间 小时
购买链接：
注册一亩三分地论坛，查看更多干货！
才可以下载或查看，没有帐号？
地里有没有伙伴是做大数据开发的，想问问做这方面研究生要求学些什么东西
上LinkedIn搜了搜相关职位，大概是Hadoop，Spark相关框架，然后distributed sy和database懂，语言，数据结构？
如果想学Hadoop研究生该选那些类型课？Hadoop如果研究生做过相关项目是不是会好一些
. 鐣欏鐢宠璁哄潧-涓浜╀笁鍒嗗湴
这个方向怎样
精华主题学分
在线时间 小时
关注一亩三分地公众号：Warald_一亩三分地
Distributed Systems, Database
精华主题学分
在线时间 小时
关注一亩三分地微博：Warald
Distributed Systems, Database. more info
需要有Hadoop开发经历嘛？我看过一些学校的distributed system的课表，只有少量Hadoop作业，光学理论会不会不好就业呀
精华主题学分
在线时间 小时
. Waral 鍗氬鏈夋洿澶氭枃绔,
需要有Hadoop开发经历嘛？我看过一些学校的distributed system的课表，只有少量Hadoop作业，光学理论会不 ...
其实感觉这种开发其实分两种吧，第一类是编写一些Hadoop、Spark的应用程序，第二类是对大数据处理系统本身进行开发。
第一类工作感觉更适用于data analyst这种职位吧，而且现在Hive Spark-SQL这种系统也提供SQL的接口。
第二类工作的话通常才大公司里才有，一般他们都会搞自己的系统或者再对开源的做些二次开发。这种工作的话对理论和实践要求的都更深一些，也更有技术含量。
.1point3acres缃
不知道楼主具体指的是哪一种。。。。
精华主题学分
在线时间 小时
其实感觉这种开发其实分两种吧，第一类是编写一些Hadoop、Spark的应用程序，第二类是对大数据处理系统本 ...
data analyst也要Hadoop经验了嘛，DA不是统计硕士申的？我小白一个也没具体指什么，感觉美国招工要那种即插即用型人才，理论多了会不会不好找工作？. from: /bbs
然而层主是PHD并不关心这个
精华主题学分
在线时间 小时
data analyst也要Hadoop经验了嘛，DA不是统计硕士申的？我小白一个也没具体指什么，感觉美国招工要那种即 ...
其实我也不清楚这玩意具体指什么，不过第二种招的人应该不如第一种多，毕竟只有部分大公司才有这需求。不过这种工作应该是需要一些理论的，像分布式系统里面的很一致性协议、容错之类的还是挺重要的。. 鍥磋鎴戜滑@1point 3 acres
不过话说回来写点Hadoop的应用也没啥技术含量啊，无非是两个函数，加上一些额外的函数和调优之类的。。。
精华主题学分
在线时间 小时
其实我也不清楚这玩意具体指什么，不过第二种招的人应该不如第一种多，毕竟只有部分大公司才有这 ...
额，这么说来地里好多找码农的活都是没有技术含量吧，什么刷题找工作的，除了ML NLP DM几个分支需要数学和理论，普通的开发不都一样么，感觉美国需要更多的是简单的劳动力？
精华主题学分
在线时间 小时
其实我也不清楚这玩意具体指什么，不过第二种招的人应该不如第一种多，毕竟只有部分大公司才有这 ...
老实说，现在关于这个技术含量的东西我还真是挺迷茫的，究竟什么才算技术含量，比如说读博读AI，读数学，那应该是很有技术含量的东西了吧，那么博士以下就没有有技术含量的活了么，架构师？Data analyst？感觉好多人去美国就是干没技术含量的活，突然迷茫了
精华主题学分
在线时间 小时
额，这么说来地里好多找码农的活都是没有技术含量吧，什么刷题找工作的，除了ML NLP DM几个分支需要数学 ...
我可没这么说啊……. 1point 3acres 璁哄潧
本意是觉得Hadoop Spark这种东西被人炒的特别玄乎，但从应用开发的角度来说并没有太多技术含量。随便找一个会Java的一两天就能学会写MapReduce的程序。这种计算模型本身的目的就是简化开发人员的负担。。。
精华主题学分
在线时间 小时
. From 1point 3acres bbs
我可没这么说啊……
本意是觉得Hadoop Spark这种东西被人炒的特别玄乎，但从应用开发的角度来 ...
没~~这是我自己觉得的，和一些PHD学长谈过，也不知道US什么环境，多谢交流~~-google 1point3acres
话说看你是Database的PHD，Database博士大概是研究什么的，博士毕业工业界工作内容？ML看得比较多，DB可否简单科普一下，多了解没坏处
精华主题学分
在线时间 小时
没~~这是我自己觉得的，和一些PHD学长谈过，也不知道US什么环境，多谢交流~~
话说看你是Database的PHD .... more info
Database里面也分很多方向，比如Data Integration, Data Privacy& Security, Data Processing (像Hadoop Spark这种), Graph & Array Processing, Streaming, Search还有传统的数据库、事务处理之类的。
我是偏data processing/management systems方向的，毕业以后估计也是去做db的公司或者大公司里的做data processing systems的组里吧
补充内容 ( 22:23):
另外本质上来说ML/DM方向更关注搞各种模型 算法分析数据，DB里面更关注从这些算法里最基础的原子操作，并想办法让计算更大更快
精华主题学分
在线时间 小时
曾经参加过这么个大数据培训班的宣讲会，他们把大数据的工作分这么两种：
1）Big Data Software Engineer，修理／开发／建造大数据的基础设施，依靠这些设施来完成数据的ETL（Extract/Transform/Loading）等。
2）Big Data Scientist，使用大数据设施进行数据分析给出业务决策. From 1point 3acres bbs
第一种人与第二种人最大的区别是第一种人需要类Java/C++的语言，而第二种更多用到scipy之类的
第二种的收入和在食物链上的位置都比较高…
这两种职业的分别，在大数据时代之前就存在。在多年前就有这么个公司，在这公司里，前者叫Engineering Support，后一种叫Business Strategy Analyst，后者编写各式各样，有时长达数百行的SQL查询来做业务分析，前者通过人力或自动的方法对这些SQL查询进行优化，使原本要执行几小时的SQL查询能在几秒内完成之类的。
补充内容 ( 14:43):
注意：以上是我听说的。不是一手资料。真实收入得到Glassdoor等网站查询。
.1point3acres缃
补充内容 ( 14:51):
我这个帖子对Data Scientist的定义写得有错误，请忽略本帖中的内容。在此表示歉意。
精华主题学分
在线时间 小时
曾经参加过这么个大数据培训班的宣讲会，他们把大数据的工作分这么两种：
1）Big Data Software Engineer ...
这让建模的人情何以堪
analyst 收入高？醉了。。。。no way的。。。。
精华主题学分
在线时间 小时
关注data方向的发展趋势
精华主题学分
在线时间 小时
这让建模的人情何以堪
analyst 收入高？醉了。。。。no way的。。。。
啊，不好，造成误解了
我说的很可能有错，只是道听途说，没有一手资料。. From 1point 3acres bbs
造成困扰我在此道歉。
补充内容 ( 14:45):. 1point 3acres 璁哄潧
还有，请问你说的 Modelling 是不同于 Analyst 的一种职位吗？我不是很清楚 Big Data 的分工，欢迎批评。
补充内容 ( 16:12):
我为我的回帖再表歉意，我12楼的回复中多是主观臆测成分，对网友造成了误导，也对一些大数据从业人员造成了无意的攻击与伤害。造成了这样的结果，我为自身对大数据还没有完全了解就发言刷存在感的行为表示羞愧。
精华主题学分
在线时间 小时
楼上的别激动，对事不对人
精华主题学分
在线时间 小时
老实说，现在关于这个技术含量的东西我还真是挺迷茫的，究竟什么才算技术含量，比如说读博读AI，读数学， ...
技术含量的活，就是，PM提出需求了，能迅速的优雅的设计好技术方案，写出的代码质量好，bug少，出了bug能迅速的搞清楚原因并且能漂亮的修好。。我感觉就这些看起来很基本的要求大多数人也是没个几年实践做不到的。简单的说，就是，get things done. 真实工作环境中没那么多黑科技去开发的。。再黑的科技，最终不是也得变成用户体验良好的产品么，能做出来，也是很有技术含量的活吧。你觉得的技术含量的活儿可能得读phd去各大公司的research 部门了。
精华主题学分
在线时间 小时
技术含量的活，就是，PM提出需求了，能迅速的优雅的设计好技术方案，写出的代码质量好，bug少，出了bug能 ...
楼上这个观点还有道理啊
PS 赞头像。。。. From 1point 3acres bbs
补充内容 ( 11:23):
精华主题学分
在线时间 小时
楼上这个观点还有道理啊
PS 赞头像。。。
红色帝国的暴力美学？
精华主题学分
在线时间 小时
好好~欢迎各种观点！
<form method="post" autocomplete="off" id="fastpostform" action="forum.php?mod=post&action=reply&fid=41&tid=190183&extra=&replysubmit=yes&infloat=yes&handlekey=fastpost"
onSubmit="
// TODO Howard 11/3/2015
var sbtn = $('fastpostsubmit');
sbtn.disabled =
sbtn.innerHTML = ' 回复发表中... ';
sbtn.setAttribute('background', sbtn.style.background);
sbtn.setAttribute('bordercolor', sbtn.style.borderColor);
sbtn.style.background = '#C7C7C7';
sbtn.style.borderColor = '#8B8B8B';
var form =
// --product--
var isValid = fastpostvalidate(form, null, 0);
if(!isValid) reoverBtn();
return isV
// --product--
// --testing--
//setTimeout(function() {
// var isValid = fastpostvalidate(form, null, 0);
// if(!isValid) reoverBtn();
//}, 2000);
// --testing--
您需要登录后才可以回帖
回帖并转播
回帖后跳转到最后一页
一亩三分地推荐 /5
地主Warald亲手做你的申请，针对你的背景和目标，考虑申请、学习、就业、移民等系列问题，制定申请策略。
“offer”指全额奖学金，免学费全免+每月工资，Berkeley, CMU, JHU, UIUC, Gatech, UMich, UCLA, Columbia，欢迎观赏。
电子工程、计算机、统计、金数金工、化工等, Stanford, Berkeley, CMU, Cornell, Yale, Columbia, Chicago, Duke, UPenn, UIUC, Brown, UMich, JHU等
有留学、申请、找工、职业规划上的难题？先上论坛提问！
论坛考古也帮不上忙，发帖得到的回答仍然不够？电话找Warald来解答！
WARALD新书上市啦：《你不知道的美国留学》清华大学出版社，各大电商发售
Powered by