7000字入门大数据分析！小白学习宝典【下】

一.数据科学家、数据工程师、数据分析师的区分

随着大数据的愈演愈热，相关大数据的职业也成为热门，给人才发展带来带来了很多机会。数据科学家、数据工程师、数据分析师已经成为大数据行业最热门的职位。它们是如何定义的?具体是做什么工作的?需要哪些技能?让我们一起来看看吧。

这3个职业是如何定位的?

1.数据科学家是个什么样的存在？

数据科学家是指能采用科学方法、运用数据挖掘工具对复杂多量的数字、符号、文字、网址、音频或视频等信息进行数字化重现与认识，并能寻找新的数据洞察的工程师或专家(不同于统计学家或分析师)。

2.数据工程师是如何定义的？

数据工程师一般被定义成"深刻理解统计学科的明星软件工程师"。如果你正为一个商业问题烦恼，那么你需要一个数据工程师。他们的核心价值在于他们借由清晰数据创建数据管道的能力。充分了解文件系统，分布式计算与数据库是成为一位优秀数据工程师的必要技能。数据工程师对演算法有相当好的理解。因此，数据工程师理应能运行基本数据模型。商业需求的高端化催生了演算高度复杂化的需求。很多时候，这些需求超过了数据工程师掌握知识范围，这个时候你就需要打电话寻求数据科学家的帮助。

3.数据分析师该如何理解？

数据分析师指的是不同行业中，专门从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。他们知道如何提出正确的问题，非常善于数据分析，数据可视化和数据呈现。

这3个职业具体有什么职责？

1.数据科学家的工作职责

数据科学家倾向于用探索数据的方式来看待周围的世界。把大量散乱的数据变成结构化的可供分析的数据，还要找出丰富的数据源，整合其他可能不完整的数据源，并清理成结果数据集。新的竞争环境中，挑战不断地变化，新数据不断地流入，数据科学家需要帮助决策者穿梭于各种分析，从临时数据分析到持续的数据交互分析。当他们有所发现，便交流他们的发现，建议新的业务方向。他们很有创造力的展示视觉化的信息，也让找到的模式清晰而有说服力。把蕴含在数据中的规律建议给Boss，从而影响产品，流程和决策。

2.数据工程师的工作职责

分析历史、预测未来、优化选择，这是大数据工程师在"玩数据"时最重要的三大任务。通过这三个工作方向，他们帮助企业做出更好的商业决策。

大数据工程师一个很重要的工作，就是通过分析数据来找出过去事件的特征。比如，腾讯的数据团队正在搭建一个数据仓库，把公司所有网络平台上数量庞大、不规整的数据信息进行梳理，总结出可供查询的特征，来支持公司各类业务对数据的需求，包括广告投放、游戏开发、社交网络等。

找出过去事件的特征，最大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹，就能够了解这个人，并预测他的行为。

通过引入关键因素，大数据工程师可以预测未来的消费趋势。在阿里妈妈的营销平台上，工程师正试图通过引入气象数据来帮助淘宝卖家做生意。比如今年夏天不热，很可能某些产品就没有去年畅销，除了空调、电扇，背心、游泳衣等都可能会受其影响。那么我们就会建立气象数据和销售数据之间的关系，找到与之相关的品类，提前警示卖家周转库存。

根据不同企业的业务性质，大数据工程师可以通过数据分析来达到不同的目的。以腾讯来说，能反映大数据工程师工作的最简单直接的例子就是选项测试(AB Test)，即帮助产品经理在A、B两个备选方案中做出选择。在过去，决策者只能依据经验进行判断，但如今大数据工程师可以通过大范围地实时测试—比如，在社交网络产品的例子中，让一半用户看到A界面，另一半使用B界面，观察统计一段时间内的点击率和转化率，以此帮助市场部做出最终选择。

3.数据分析师的工作职责

互联网本身具有数字化和互动性的特征，这种属性特征给数据搜集、整理、研究带来了革命性的突破。以往"原子世界"中数据分析师要花较高的成本(资金、资源和时间)获取支撑研究、分析的数据，数据的丰富性、全面性、连续性和及时性都比互联网时代差很多。

与传统的数据分析师相比，互联网时代的数据分析师面临的不是数据匮乏，而是数据过剩。因此，互联网时代的数据分析师必须学会借助技术手段进行高效的数据处理。更为重要的是，互联网时代的数据分析师要不断在数据研究的方法论方面进行创新和突破。

就行业而言，数据分析师的价值与此类似。就新闻出版行业而言，无论在任何时代，媒体运营者能否准确、详细和及时地了解受众状况和变化趋势，都是媒体成败的关键。

此外，对于新闻出版等内容产业来说，更为关键的是，数据分析师可以发挥内容消费者数据分析的职能，这是支撑新闻出版机构改善客户服务的关键职能。

想要从事这3个职业需要掌握什么技能？

1. 数据科学家需要掌握的技能

计算机科学

一般来说，数据科学家大多要求具备编程、计算机科学相关的专业背景。简单来说，就是对处理大数据所必需的hadoop、Mahout等大规模并行处理技术与机器学习相关的技能。

数学、统计、数据挖掘等

除了数学、统计方面的素养之外，还需要具备使用SPSS、SAS等主流统计分析软件的技能。其中，面向统计分析的开源编程语言及其运行环境"R"最近备受瞩目。R的强项不仅在于其包含了丰富的统计分析库，而且具备将结果进行可视化的高品质图表生成功能，并可以通过简单的命令来运行。此外，它还具备称为CRAN(The Comprehensive R Archive Network)的包扩展机制，通过导入扩展包就可以使用标准状态下所不支持的函数和数据集。

数据可视化(Visualization)

信息的质量很大程度上依赖于其表达方式。对数字罗列所组成的数据中所包含的意义进行分析，开发Web原型，使用外部API将图表、地图、Dashboard等其他服务统一起来，从而使分析结果可视化，这是对于数据科学家来说十分重要的技能之一。

2. 数据工程师需要掌握的技能

数学及统计学相关的背景

对于大数据工程师的要求都是希望是统计学和数学背景的硕士或博士学历。缺乏理论背景的数据工作者，更容易进入一个技能上的危险区域(Danger Zone)—一堆数字，按照不同的数据模型和算法总能捯饬出一些结果来，但如果你不知道那代表什么，就并不是真正有意义的结果，并且那样的结果还容易误导你。只有具备一定的理论知识，才能理解模型、复用模型甚至创新模型，来解决实际问题。

计算机编码能力

实际开发能力和大规模的数据处理能力是作为大数据工程师的一些必备要素。因为许多数据的价值来自于挖掘的过程，你必须亲自动手才能发现金子的价值。举例来说，现在人们在社交网络上所产生的许多记录都是非结构化的数据，如何从这些毫无头绪的文字、语音、图像甚至视频中攫取有意义的信息就需要大数据工程师亲自挖掘。即使在某些团队中，大数据工程师的职责以商业分析为主，但也要熟悉计算机处理大数据的方式。

对特定应用领域或行业的知识

大数据工程师这个角色很重要的一点是，不能脱离市场，因为大数据只有和特定领域的应用结合起来才能产生价值。所以，在某个或多个垂直行业的经历能为应聘者积累对行业的认知，对于之后成为大数据工程师有很大帮助，因此这也是应聘这个岗位时较有说服力的加分项。

2. 数据分析师需要掌握的技能

懂业务

从事数据分析工作的前提就会需要懂业务，即熟悉行业知识、公司业务及流程，最好有自己独到的见解，若脱离行业认知和公司业务背景，分析的结果只会是脱了线的风筝，没有太大的使用价值。

懂管理

一方面是搭建数据分析框架的要求，比如确定分析思路就需要用到营销、管理等理论知识来指导，如果不熟悉管理理论，就很难搭建数据分析的框架，后续的数据分析也很难进行。另一方面的作用是针对数据分析结论提出有指导意义的分析建议。

懂分析

指掌握数据分析基本原理与一些有效的数据分析方法，并能灵活运用到实践工作中，以便有效的开展数据分析。基本的分析方法有：对比分析法、分组分析法、交叉分析法、结构分析法、漏斗图分析法、综合评价分析法、因素分析法、矩阵关联分析法等。高级的分析方法有：相关分析法、回归分析法、聚类分析法、判别分析法、主成分分析法、因子分析法、对应分析法、时间序列等。

懂工具

指掌握数据分析相关的常用工具。数据分析方法是理论，而数据分析工具就是实现数据分析方法理论的工具，面对越来越庞大的数据，我们不能依靠计算器进行分析，必须依靠强大的数据分析工具帮我们完成数据分析工作。

懂设计

懂设计是指运用图表有效表达数据分析师的分析观点，使分析结果一目了然。图表的设计是门大学问，如图形的选择、版式的设计、颜色的搭配等等，都需要掌握一定的设计原则。

二.菜鸟变数据科学家的9步养成方案

首先，各个公司对数据科学家的定义各不相同，当前还没有统一的定义。但在一般情况下，一个数据科学家结合了软件工程师与统计学家的技能，并且在他或者她希望工作的领域投入了大量行业知识。

大约90%的数据科学家至少有大学教育经历，甚至到博士以及获得博士学位，当然，他们获得的学位的领域非常广泛。一些招聘者甚至发现人文专业的人们有所需的创造力，他们能教别人一些关键技能。

因此，排除一个数据科学的学位计划(世界各地的著名大学雨后春笋般的出现着)，你需要采取什么措施，成为一个数据科学家?

1.复习你的数学和统计技能

一个好的数据科学家必须能够理解数据告诉你的内容，做到这一点，你必须有扎实的基本线性代数，对算法和统计技能的理解。在某些特定场合可能需要高等数学，但这是一个好的开始场合。

2.了解机器学习的概念

机器学习是下一个新兴词，却和大数据有着千丝万缕的联系。机器学习使用人工智能算法将数据转化为价值，并且无需显式编程。

3.学习代码

数据科学家必须知道如何调整代码，以便告诉计算机如何分析数据。从一个开放源码的语言如Python那里开始吧。

4.了解数据库、数据池及分布式存储

数据存储在数据库、数据池或整个分布式网络中。以及如何建设这些数据的存储库取决于你如何访问、使用、并分析这些数据。如果当你建设你的数据存储时没有整体架构或者超前规划，那后续对你的影响将十分深远。

5.学习数据修改和数据清洗技术

数据修改是将原始数据到另一种更容易访问和分析的格式。数据清理有助于消除重复和"坏"数据。两者都是数据科学家工具箱中的必备工具。

6.了解良好的数据可视化和报告的基本知识

你不必成为一个平面设计师，但你确实需要深谙如何创建数据报告，便于外行的人比如你的经理或CEO可以理解。

7.添加更多的工具到您的工具箱

一旦你掌握了以上技巧，是时候扩大你的数据科学工具箱了，包括Hadoop、R语言和Spark。这些工具的使用经验和知识将让你处于大量数据科学求职者之上。

8.练习

在你在新的领域有一个工作之前，你如何练习成为数据科学家?使用开源代码开发一个你喜欢的项目、参加比赛、成为网络工作数据科学家、参加训练营、志愿者或实习生。最好的数据科学家在数据领域将拥有经验和直觉，能够展示自己的作品，以成为应聘者。跟着同行业中的思想领袖，阅读行业博客和网站，参与，提出问题，并随时了解时事新闻和理论。

End.

作者：沉默术士

来源：云栖社区

本文为转载分享，如侵权请联系后台删除