<专访>高级BI负责人:初创型企业如何搭建数据体系

数据家
数据家
数据家
4
文章
0
评论
2020-04-1803:05:00 评论 106 5265字
摘要

本期嘉宾曾任职于1号店、唯品会。辗转过多个岗位,做过售前、产品经理、也做过运营,上过商业战场前线,也做过乙方服务支撑。前可以做活动运营,后可做技术编码,技多艺杂。仍然在积极寻找数据变现的场景,力图使数据发挥最大的价值。

Q1:能给我们分享一下如何在创业公司或者数据基础都是零的情况下,如果何搭建数据体系吗?

范涛:在创业公司从0开始搭建数据体系是一件非常有趣,也是一个非常有成就感的事情,推荐诸位想体验生活的同学,可以在28-30左右出来拼搏一下。但是在体验之前,首先要做好几个准备。

第一,身兼多职。在大型公司里,数据工具与数据体系基本上成熟,数据分析师基本上不用每天思考数据是从哪里来的,数据出了错可以让数据仓库同事帮忙解决。但是在创业公司,一切都在0的基础上,你要扛起所有其他岗位的工作,从最源头的业务系统里标记数据,然后将数据ETL导出到数据仓库,对数据仓库进行大量的清洗计算形成报表,然后不断跟业务部门PK对数修口径,每一项基本上都需要亲力亲为。这意味着你不仅是一个数据分析师,也要是一个数据仓库工程师,同时也是一个数据可视化工程师,更是一个全职的数据产品经理,别忘了也要担任起培训导师的责任,新同事入职后还需要你指引道路。因此,如果你以前跟我一样杂七杂八的工作都做过,适应的会快一些。如果大家立志于此的话,从现在开始可以积累一些知识,熟悉Kettle等开源工具,技多不压身,日后总会有机会用到的。

总体来说,对于创业公司而言,数据平台的优先级>数据分析体系的优先级>数据运营的优先级,先搭好数据平台,让整个公司的数据供应不出问题后,就可以考虑开始搭建数据分析体系了。

第二,快速学习。这点大家应该都能理解,你会遇到各种以前从来没有遇到过的问题,身边的同事基本上都在等着你解决问题,那么迅速从自己的知识库里,从网络上的各种问答网站寻找答案则是你必须要做的事情。甚至找不到现成答案的时候,你需要直接阅读长长的帮助文档来探索。说说我遇到的问题:数据同步速度慢、在对市场一如所知的情况下没有任何数据如何完成分析报告、从没接触过推荐系统和CTR预估如何做方案评估等等,所幸工作到现在,基本上没有什么问题是完全找不到资料的,都是有迹可循的。只要我们善于学习,善于求助,问题来了兵来将挡水来土掩即可。

第三,主动和热情最重要。在一个优秀的创业团队里工作是件很惬意的事情,一方面周围的同事都很优秀,合作很愉快。但另外一方面他们的眼界很高,会要求你实现大型互联网公司等级的数据需求,但只会给你创业公司的预算(我就不提目前我们数据部门的预算了)。如此的现实与理想的反差,需要热情乐观的精神才能克服每一个困难。我相信,无论大家是在大型公司还是在创业公司,每天的工作都会很忙碌,但不同的是,也许有的人忙碌很多年,但只是将一件重复的时间做上很多年,但有的人,每年每月每日都在做新的事物,每天都有新的收获与体会。虽然在创业公司里工作接触新事物的机会稍微多了那么一点,但这也都是需要个人主观能动性去主动争取的,因为你的辛苦大家都看得到,如果自己不去争取新的项目机会,是不会有人指责你的,但你也同时失去了最宝贵的锻炼机会。

Q2:初创型企业搭建数据体系,数据平台需要什么硬件和软件?

范涛:对硬件和软件没有特别要求。开源工具有数据库SQL,数据可视化Echarts(百度的一个开源工具)。各种情况我们都采用开源工具,基本上没有软件的采购费用。另外,我们用的是阿里云的存储服务器,它提供的服务挺不错,比如云数据库服务,我们可以不用再招聘DBA、运维人员。当然数据ETL与数据清洗这些工作是省不掉的。

Q3:埋点方面有什么特别注意点、着力点呢?

范涛:之前我们用过第三方工具(talkingData),挺适合初创企业的,免费部署简单,但随着业务发展与分析需求的复杂度增加,最后我们还是自己做埋点流量统计。对埋点工作的投入取决于我们的业务形态,我们不可能像大公司那样面面俱到,一些基本的需求,如pv uv、坑位点击、整体流量、启动量等,需要优先制作数据,其他需求则需要考虑实际的应用场景。

举例来说,如果公司近季度的目标是提升流量质量,提升商品点击量,那么就需要我们对坑位的情况做跟踪。总的来说,主要是根据业务的情况来,不是做大而全的东西,而是做相对精细的东西,我们的资源比较少,只能抓重点。

Q4:整个埋点过程是您的数据团队还是开发人员来做?

范涛:目前开发人员严重不足,所以某些情况下,我们出方案,需要调用app的开发资源来协助我们整理数据。

Q5:ETL 开源工具适用吗?

范涛:完全够用。甚至以后数据大了也是够用的。开源工具至少能覆盖我们未来三年的数据。

Q6:初创型企业应如何考虑BI这方面的问题?

范涛:我们BI应用有两大方面:

一是查看报表,主要是使用开源工具,比如Echarts,DataTable;二是数据业务层,如推荐系统、客户评估、补货模型,和报表关系不大,可以直接应用。主要是用Python做数据挖掘和数据模型。我们会通过一些系列的流程,把数据导出来,设成我们需要的数据,上传到前端,前端调出我们机器学习的结果来做一个展示。

Q7:整个Python和R语言相比的优势?

范涛:虽然R语言的可操作性、交互性都比其他语言好。但它有个致命的缺点:R语言效率极慢,尤其在做循环的时候效果不好。我们对比过使用R语言和Python做数据清洗,结果是Python比R语言稳定,更胜一筹。而且Python和我们的操作系统的结合更稳定。所以我们用来做整个数据仓库的底层,包括数据模型、出报表、数据清洗等。

Q8:对于人员配置,哪块比较重要?

范涛:这和目前公司业务速度和业务过程有关系。

阶段一:公司刚成立的时候,一切从零开始。首先要做的是把事情做出来,这时必须要有数据平台、ETL工具、数据挖掘平台。对偏IT工程的人员需求较大,并不是很需要数据分析团队。这个过程中首先要解决从无到有的问题,必须先把东西搭建起来,大概会耗费半年到一年左右。

阶段二:有了数据后,需要业务沟通,思考数据要用到哪里,如何用。比如我们会遇到很多分析性需求,市场活动效果好不好,哪些商品该淘汰。这时工程能力不是很重要,而对数据分析能力要求较高,要懂业务、懂数据、有判断能力,能够从数据中挖掘一些业务。这时需要搭建一个数据分析团队或数据体系,能够让大家根据这个体系来学习一些业务知识,或从数据中挖掘一些业务知识出来。

总的来说,我们要经历这样两个阶段,第一个阶段是工程实现阶段,第二个阶段是分析阶段。而我们目前正在经历的阶段叫做智能阶段,或叫做数据化运营阶段,希望把过去的一些业务经验或数据经验积累成一个标准的模板,通过机器形成自动化执行。比如我们做了一个智能推送运营,就是把过去积累的一些业务经验通过软件、模板、数据模型来实现工作智能化、机械化,在这一阶段就需要一些高端人才,需要对业务和数据非常精通且具有丰富的工作经验。这正是我们现在经历的第三个阶段。

Q9:从0开始到现在,每个阶段中业务方的需求有哪些不一样呢?

范涛:我个人观点是:第一,尽可能满足业务方需求;第二,满足对方需求不等于完全听命于他们,不要完全放弃自主判断。根据我的经验,100%以需求方为主会使整个数据团队没有方向,因为业务方只会把你当成一个信息的提供部门,如果你不进行需求挖掘的话,他们只会提出非常简单的数据需求,对整个部门的成长非常不利。

作为数据部门,首先要解决用户需求,进而去引导他们,完成对需求价值的提升。比如对方需要你出具一份流量报表,满足他们的需求是我们的责任,但我们的责任绝对不仅仅与此,我们更应该主动去与他们沟通,他们为什么需要这份数据,对他们的KPI有什么用处,数据部门可以做什么协助他们提升KPI等。

我们应该信息提供者变成对企业KPI有帮助的人。当然这方面的道路我们还在探索。

Q10:随着公司需求的上升,对于周边同事或自身必须掌握的一些能力,比如软件学习、良好的市场感觉,您的想法是?

范涛:先说硬技能,针对三年工作经验以下的人来说,首先必须具备很强的数学能力,我认为做数据的人数学一般的话,分析能力就很弱。因此硬核能力是数学好,我们不需要他做过多强的项目或多好的背景、多高的学历,只要他数学合格,那我们认为可以专门培养。

关于软技能,最重要的是兴趣,我认为有没有兴趣决定能在一个行业发展的高低。数据分析行业每年变化非常多,对互联网来说,业务变化也很多,如果你缺乏兴趣的话,那你已经丧失了提升自己的能力。每年关于数据的论文、新出的数据模型、出产的各种新项目、新算法数不胜数,如果你缺乏兴趣,提升速度会很慢。反而如果你有兴趣的话,我们就不用催你,你会自己提升、成长,我们只要把机会提供给你,你会主动成长起来,成为一个有用的人。

总的来说,硬技能方面数学要好,软技能方面最重要的是兴趣。只要这两方面具备的话,我们认为值得培养。

Q11:对于核心数据团队从业人员,应该承担哪些东西?

范涛:第一,必须经历过过硬的项目。这经历不是指你过去工作的时间,而是你经历过多少项目,并且你是否经历从零开始,从开环到闭环完整的过程。这是我们对工作人员比较高的要求。我们会更在意他做过多少项目,为公司创造多少业绩,都是功利性较强的需求。

第二,需要他有强大的推动能力。在公司,你自己能做事并不能代表什么,能把一件事领导起来是对高级工作人员必备的一个要求,你必须有这个能力把事情做成而且能在公司里执行下去。不论在创业公司,还是互联网公司,必须具备这样的能力,才能把自己称为高级工作人员。这是我们的想法。

Q12:能谈谈您的团队管理经验吗?

范涛:说说我需要我能成为的人。

第一,我需要自身成为一个多面手。我们团队比较小,比如有做ETL的,做数据分析,数据模型,产品的。你不可能面面俱到,也不可能招一百个人来把空隙填补。需要你能把事情扛起来,而且出问题了你能把问题解决掉。

第二,我需要自己成为一个合格的教练。很多新同学进来之后,你得负责引导他,教会他。你会了很容易,但你能把别人教会这才是有价值的。

第三,要有忽悠能力。做一件事情,首先你要能把价值传递出去,传递给公司、老板。你要能忽悠来资源,让伙伴们工作有动力,不然大家干的很没劲。这是我认为作为公司的管理者需要具备的几个能力,否则一个公司是发展不起来的。

Q13:创业中一般来说,前期会比较侧重于产品与运营,但是如果能合理的运用数据更能使公司进行快车道,您是如何让业务团队快速认可数据并愿意在数据中加大投入呢?

范涛:根据我的理解,数据团队与业务团队的合作,在各种公司内都有点小障碍,无论这个公司是大还是小,是快速发展还是稳定前行,业务部门与数据部门之间的配合总是达不到行云流水的感觉,我个人过去数年都在试图面对这个问题,思考了一下,原因大概集中在两个方面,第一是业务部门的数据知识过少,导致他们提不出有价值有难度的数据需求,所涉及到的问题都是浅尝辄止,仅仅停留在信息暴露的层面;第二则是数据部门的业务知识非常缺乏,大部分人也缺乏实力支撑业务的能力,例如业务部门的核心KPI就是业务增长率,纯数据部门出身的同学由于缺乏相关经验,很难分析出闪光点,这样就会导致业务部门对其失去信任。

既然找到问题,那对症下药就可以了,所幸加入的公司是创业公司,部门壁垒还很淡薄,每个伙伴都有机会接触新的业务领域,补充上自己的短板。

第一点,数据部门必须和业务部门有长期有效的沟通渠道,必须知道每天对方怎么想的,有什么困难。这是我过去多年失败成功的经验,最好是数据部门和对方有良好的资源关系,确保这两个部门合作下去。

第二点,对方对你信任之后,你也应该做出一些事情赢得别人的信任。举个例子,对方遇到业绩困难时,如果你解决不了他们的问题的话,他们也会对你产生想法或产生一些不认同的东西,所以你得一遍一遍去证明自己。对方的业绩,比如拉新,或者提升产品的销售转化率,你必须有这个能力帮助他们找到能够提升业绩的方法。如果你没有这个能力的话,别人也只会把你当成一个支援部门。

这就是我们对这两个部门的要求。只有我们在相关业务领域积累起足够的知识,我们分析出来的东西才会真正有价值。我相信未来的趋势,一定是业务部门与数据部门合并,例如最近的growth hacking,并不会存在业务与数据的区分,业务必须懂数据,数据也必须懂业务,那时候才是真正实现1+1 >2的一天。

Q14:您现在所在的公司发展情况很不错,我相信很多的朋友都很有兴趣加入您现在的团队,那么您对于加入您现在团队的,能否从技术与心态上做一下分享吗?

范涛:如果预算充足的话,我们肯定是希望牛人越多越好,但资源总是缺乏的,工作总是做不完的,所以这时候就需要一定合理的人员配置,高中低三个档位的劳动力都需要涉及到。

对于小于3年工作经验的新人同学而言,我们非常喜欢理论、尤其是数学功底扎实的同学,并不是特别要求教育背景或者工作经验,甚至有没有做过数据分析、有没有搭建过数据模型都不是很看重的,理论扎实,学习起来会很快,但理论不扎实的话,可能就需要付出几倍的努力才能赶上。

非常感谢范总的分享!

End.

本文经受访者确认发布

本文为中国统计网原创文章,需要转载请联系中国统计网(小编微信:ishujiang),转载时请注明作者及出处,并保留本文链接

  • 我的微信公众号
  • 微信扫一扫
  • weinxin
  • 我的微信公众号
  • 微信扫一扫
  • weinxin
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: