写给喜欢数据分析的初学者

本是古典何须时尚 2022-06-10 10:42 156阅读 0赞

这算是我见过对数据分析初学者的概述比较详细的一篇文章了(转自中国统计网)

http://www.afenxi.com/post/10883

十年生死两茫茫

数据人，忙忙忙

良辰美景，平添我凄凉

一天早晚闲不住

调研急

报告狂

夜来思路忽闪现

寻笔记

怕遗忘

需求多变

改改又何妨

料得午夜加班时

听家人

鼾声响

以上是一位资深的[数据分析师][Link 1]写的自嘲的段子，却是很多分析师的真实写照。在耀眼的职业光环下，[数据分析][Link 2]师自身的成长，几乎是与孤寂相伴，在高级打杂中，锻造而成。

最近接到一个职业访谈的邀请，要给对数据分析感兴趣的新人Y（目前在知名电商从事系统开发和维护）一些建议，才突然发现自己在这个领域打滚了一段时间，一阵感叹后，写下自己的一些体会，尽管不全面，但或许能够给新人一些借鉴。如有不妥地方，请各位数据大牛轻拍。

一、数据分析师有哪些要求？

1、理论要求及对数字的敏感性，包括统计知识、市场研究、模型原理等。

2、工具使用，包括挖掘工具、数据库、常用办公软件（excel、PPT、word、脑图）等。

3、业务理解能力和对商业的敏感性。对商业及产品要有深刻的理解，因为数据分析的出发点就是要解决商业的问题，只有理解了商业问题，才能转换成数据分析的问题，从而满足部门的要求。

4、汇报和图表展现能力。这是临门一脚，做得再好的分析模型，如果不能很好地展示给领导和客户，成效就大打折扣，也会影响到数据分析师的职业晋升。

二、请把数据分析作为一种能力来培养

从广义来说，现在大多数的工作都需要用到分析能力，特别是数据化运营理念深入的今天，像BAT这样的公司强调全员参与数据化运营，所以，把它作为一种能力培训，将会让你终生受益。

三、从数据分析的四个步骤来看清数据分析师需具备的能力和知识：

数据分析的四个步骤（这有别于数据挖掘流程：商业理解、数据理解、数据准备、模型搭建、模型评估、模型部署），是从更宏观地展示数据分析的过程：获取数据、处理数据、分析数据、呈现数据。

（一）  获取数据

获取数据的前提是对商业问题的理解，把商业问题转化成数据问题，要通过现象发现本质，确定从哪些纬度来分析问题，界定问题后，进行数据的采集。此环节，需要数据分析师具备结构化的思维和对商业问题的理解能力。

推荐书籍：《金字塔原理》、麦肯锡三部曲：《麦肯锡意识》、《麦肯锡工具》、《麦肯锡方法》

工具：思维导图、mindmanager软件

（二）  处理数据

一个数据分析项目，通常数据处理时间占70%以上，使用先进的工具有利于提升效率，所以尽量学习最新最有效的处理工具，以下介绍的是最传统的，但却很有效率的工具：

![写给喜欢数据分析的初学者-数据分析网][-]

[Excel][]：日常在做通报、报告和抽样分析中经常用到，其图表功能很强大，处理10万级别的数据很轻松。

UltraEdit：文本工具，比TXT工具好用，打开和运行速度都比较快。

ACCESS：桌面数据库，主要是用于日常的抽样分析（做全量统计分析，消耗资源和时间较多，通常分析师会随机抽取部分数据进行分析），使用SQL语言，处理100万级别的数据还是很快捷。

Orcle、SQL sever：处理千万级别的数据需要用到这两类数据库。

当然，在自己能力和时间允许的情况下，学习新流行的分布式数据库及提升自身的编程能力，对未来的职业发展也有很大帮助。

分析软件主要推荐：

SPSS系列：老牌的统计分析软件，SPSS Statistics（偏统计功能、市场研究）、SPSS Modeler（偏数据挖掘）,不用编程，易学。

[SAS][]：老牌经典挖掘软件，需要编程。

R：开源软件，新流行，对非结构化数据处理效率上更高，需编程。

随着文本挖掘技术进一步发展，对非结构化数据的分析需求也越来越大，需要进一步关注文本挖掘工具的使用。

（三）  分析数据

分析数据，需要用到各类的模型，包括关联规则、聚类、分类、预测模型等，其中一个最重要的思想是对比，任何的数据需要在参照系下进行对比，结论才有意义。

推荐的书籍：

1、《数据挖掘与数据化运营实战，思路、方法、技巧与应用》，卢辉著，机械出版社。这本书是近年国内写得最好的，务必把它当作圣经一样来读。

2、《谁说菜鸟不会数据分析（入门篇）》和《谁说菜鸟不会数据分析（工具篇）》，张文霖等编著。属于入门级的书，适合初学者。

3、《统计学》第五版，贾俊平等编著，中国人民大学出版社。比较好的一本统计学的书。

4、《数据挖掘导论》完整版，\[美\]Pang-Ning Tan等著，范明等翻译，人民邮电出版社。

5、《数据挖掘概念与技术》,Jiawei Han等著，范明等翻译，机械工业出版社。这本书相对难一些。

6、《市场研究定量分析方法与应用》，简明等编著，中国人民大学出版社。

7、《问卷统计分析实务---SPSS操作与应用》，吴明隆著，重庆大学出版社。在市场调查领域比较出名的一本书，对问卷调查数据分析讲解比较详细。

（四）  呈现数据

该部分需要把数据结果进行有效的呈现和演讲汇报，需要用到金字塔原理、图表及PPT、word的呈现，培养良好的演讲能力。

推荐书籍：

1、《说服力让你的PPT会说话》，张志等编著，人民邮电出版社。

2、《别告诉我你懂ppt》加强版，李治著，北京大学出版社。

3、《用图表说话》，基恩。泽拉兹尼著，马晓路等翻译，清华大学出版社。

（五）  其他的知识结构

数据分析师除了具备数学知识外，还要具备市场研究、营销管理、心理学、行为学、产品运营、互联网、大数据等方面的知识，需要构建完整广泛的知识体系，才能支撑解决日常遇到的不同类型的商业问题。

推荐书籍：

1、《消费者行为学》第10版，希夫曼等人著，江林等翻译，中国人民大学出版社，现在应该更新到更高的版本。

2、《怪诞行为学》升级版，艾瑞里著，赵德亮等翻译，中信出版社

3、《营销管理》，科特勒等著，梅清豪翻译，格致出版社和上海人民出版社联合出版

4、《互联网思维---独孤九剑》，赵大伟主编，机械出版社

5、《大数据时代---生活、工作与思维的大变革》，舍恩伯格等著，周涛等翻译，浙江人民出版社

四、关于数据分析师的职业发展：

1、数据分析师通常分两类，分工不同，但各有优势。

一类是在专门的挖掘团队里面从事数据挖掘和分析工作的。如果你能在这类专业团队学习成长，那是幸运的，但进入这类团队的门槛较高，需要扎实的数据挖掘知识、挖掘工具应用经验和编程能力。该类分析师更偏向技术线条，未来的职业通道可能走专家的技术路线。

另一类是下沉到各业务团队或者运营部门的数据分析师，成为业务团队的一员。他们工作是支撑业务运营，包括日常业务的异常监控、客户和市场研究、参与产品开发、建立数据模型提升运营效率等。该类型分析师偏向产品和运营，可以转向做运营和产品。

2、数据分析师的理想行业在互联网，但条条大道通罗马，走合适你的路线。

从行业的角度来看：

1）互联网行业是数据分析应用最广的行业，其中的电商企业，更是目前最火的，而且企业也更重视数据分析的价值，是数据分析师理想的成长平台。

2）其次是咨询公司（比如专门的数据挖掘公司Teradata、尼尔森等市场研究公司），他们需要数据分析人才，而且相对来说，数据分析师在咨询公司成长的速度更快，专业也会更全面。

3）再次是金融行业，比如银行和证券等行业，该行业对数据分析的依赖需求，越来越大。

4）最后是电信行业（中国移动、联通和电信），它们拥有海量的数据，在严峻的竞争下，也越来越重视数据分析，但进入这些公司的门槛比较高。

五、什么人适合学习数据分析？

这个问题的答案跟“什么人适合学功夫”一样，毫无疑问，功夫是适合任何人学习的（排除心术不正的人），因为能够强身健体。而功夫的成效，要看习武者的修炼深浅。常常有人争论，是咏春拳厉害，还是散打厉害，其实是颠倒了因果，应该看哪个人练习得比较好，流派之间没有高低，只有人修炼的厚薄。

实际上，问题的潜台词是“什么人学习数据分析，会更容易取得成功（比如职业成功）”，这个要视乎你的兴趣、付出和机遇。但要做到出类拔萃，除了上面三点，还需要一点天赋，这里的机遇是指你遇到的职业发展平台、商业环境、导师和同事。借用管理大师德鲁克的话“管理是可以习得的”，管理并非是天生的，而数据分析能力，也可以后天提升。或许做到优秀，只需要你更加的努力+兴趣，而这个努力的过程，也包括你寻找机遇的部分。

六、关于如何学习：

学习方法千万种，关键是找到适合自己的，最好能够结合你的工作遇到的问题来学习。

1、搜集书籍、案例库和视频，先弄懂理论，然后学会软件操作，自己制作属于自己的教程。

比如，你学习聚类分析模型。

1）搜集相关的聚类分析模型的书籍、案例和教学视频，了解聚类分析的原理，主要有哪几种算法（划分、层次、密度、网格）、模型适用的范围和前提、如何评估模型的精确度等。

2）自己学会用软件来实现。

3）总结整理成一份PPT和制作操作视频，成为自己的学习教程，不断完善。

4）学习到一定程度后，可以在博客、微信等渠道分享，授人与渔，而自己也会有所收获。

下图是我自己整理的聚类分析和判别分析的专题

![写给喜欢数据分析的初学者-数据分析网][- 1]

2、关注名人、名博、网站，多渠道学习。

1）关注专业的数据分析、咨询公司网站和论坛，特别强调，统计软件公司的网站如SPSS的官网有很多案例库，值得关注。

[数据分析网][Link 3]：http://www.afenxi.com/

[中国统计网][Link 4]：http://www.itongji.cn/

爱数据网：http://www.lovedata.cn/

人大经济论坛：http://bbs.pinggu.org/

SPSS的案例库，可在官网上搜索各类案例：[http://www.ibm.com/developerworks/cn/data/library/techarticle/dm-1108zhangzy/index.html][http_www.ibm.com_developerworks_cn_data_library_techarticle_dm-1108zhangzy_index.html]

另外，你最好建一个自己的网址导航目录，提升你的学习效率，可参考文章《如何订制个性化的网址导航》（作者公众号：数据的力量），具体效果如下：

![写给喜欢数据分析的初学者-数据分析网][- 2]

2）关注名人名博，最好能加他们的微博、微信和微信公众号，看牛人的博客和微信等内容，还是能得到很多引导，这个你懂的。

如

沈浩老师的博客：http://shenhaolaoshi.blog.sohu.com/

小蚊子乐园：http://blog.sina.com.cn/xiaowenzi22

郑来轶：http://blog.sina.com.cn/zhenglaiyi

数据分析网公众号：afenxi\_com

数据分析精选公众号：sjfxjx

3）加入一些有共同爱好的QQ群，互相学习交流。通常群里有人会提出一些真实的运营问题，然后大家用不同的方法去解决，对思路很有启发。

4）碎片化学习，最大化你的时间价值。

为了把零散的时间利用起来，通常我会把一些资料上载到网盘，在零碎的时间里通过手机进行视频、文档学习等。目前使用百度云盘和360网盘。百度云盘应用比较广，通常在网络上搜索“关键词+百度云”后，搜到结果可以直接保存在云盘上，搜索保存速度极大提升。360网盘则空间比较大，可以到达40T，同时有保险箱加密功能，安全性高一些。

手机上安装一些APP，随时随地学习。爱数据APP：可以在各大应用市场下载

七、最后的建议

请再次问问自己，是否真的喜欢数据分析，能否忍受处理数据时的寂寞？如果是，那就开始学习，给你几条建议。

1、把数据分析作为一种能力培养，让自己在现在的团队中展现出良好的数据分析能力，为你以后内部转岗做好准备。如果内部转岗不成，你可以考虑跳槽到我之前分析的行业中，但我强烈建议你还是需要把系统开发的编程能力学习好，并且对商业智能系统（BI和CRM）有一定了解，这也许是应聘数据分析的优势。如果没有数据分析经验去应聘，相对会难一些，用人单位会考你统计和数据挖掘模型方面的知识，以及工具使用情况。

2、在公司里找一些有共同爱好的同事一起学习数据分析，平时多请教数据分析做得好的同事，它山之石，可以攻玉。

3、扎实学好一、两门数据挖掘软件，基于你有编程的基础，建议你可以学SAS或者R，同时辅助学习SPSS Modeler。如果没编程基础或者希望短期能够取得成效，那也可以先学习SPSS。SAS+SPSS，基本能够满足很大部分企业的需求，三者都会，那更好。

4、要了解公司是如何运营，产品是如何开发的，如何做客户研究锁定客户需求，如何做产品营销，这些需要不断工作积累和广泛的阅读。

5、开始学习时，先读几本有趣的数据分析类的书，然后系统学习一下统计知识（建议教材用《统计学》第五版，贾俊平等编著），接着网上快速搜集软件操作视频和案例，然后逐个分析模型进行学习和总结归纳，学习最好能够结合实际工作中的问题进行。

6、学习到一定程度时，参加一些数据分析师的职业认证，进一步梳理知识结构，同时认识一些志同道合的朋友和老师，也是对你有很大帮助。

希望你能够成为你想成为的人！

[Link 1]: http://www.afenxi.com/topic/%e6%95%b0%e6%8d%ae%e5%88%86%e6%9e%90%e5%b8%88
[Link 2]: http://www.afenxi.com/topic/%e6%95%b0%e6%8d%ae%e5%88%86%e6%9e%90
[-]: /images/20220610/0ac2d496b9604d94b322f5bbfa575b20.png
[Excel]: http://www.afenxi.com/topic/excel
[SAS]: http://www.afenxi.com/topic/sas
[- 1]: /images/20220610/4165162efd5043c49560a21ed5014c85.png
[Link 3]: http://www.afenxi.com/topic/%e6%95%b0%e6%8d%ae%e5%88%86%e6%9e%90%e7%bd%91
[Link 4]: http://www.afenxi.com/topic/%e4%b8%ad%e5%9b%bd%e7%bb%9f%e8%ae%a1%e7%bd%91
[http_www.ibm.com_developerworks_cn_data_library_techarticle_dm-1108zhangzy_index.html]: http://www.ibm.com/developerworks/cn/data/library/techarticle/dm-1108zhangzy/index.html
[- 2]: /images/20220610/cfe10ad5c61642b58364a31f2620d051.png