一、数据分析基本技能01 如何解决临时提数需求国企招聘解析明确数据分析师发展的三个方向：业务型、数据研发型、算法型从JD上看出是否适合自己，从而决定是否投递简历国企常规工作1.日/周/月报分析日报的目的：（1）了解业务现状（2）培养数据敏感性（3）提供业务发展建议作为一名优秀的数据分析师一定要经常看三种报，培养自身的敏感性，从而找到获取业务增长的发力点。2.临时提数（1）管理层需求：需要思考为何需要这个数据，通过这个数据能进行什么决策（2）业务执行人员的需求：业务线临时提数需求非常多，需要根据自身实际工作合理安排，学会合理地拒绝一些业务线可以自己解决的事情，不断提升自己的工作价值3.常规的工作优化（1）搭建日报分析框架减轻工作压力（2）将需求进行合理的优先级排期（3）遇到自己不能解决的问题时，及时与自己的领导进行沟通专题分析1.需求解读原始需求——>了解需求——>本质需求2.建立逻辑树3.SQL提数及分析提数：SQL三段论所有想法验证的第一步分析：组成部分、数量比较、有何变化、各项分布、各项相关性、其他深层次挖掘4.撰写报告的三个建议（1）以图为主，文字为辅，图表标题点明结论（2）结论前置（3）逻辑性非常强软实力及面试技巧1.国企软实力：吹水力（沟通、表达看法）；时间管理力；展示力（汇报、PPT）、预判力（表现、营销自己）2.面试技巧：理论知识扎实；面试带上专题分析报告；面试表现自信、谈吐大方02 如何搞定BAT大厂的数据分析项目BAT招聘解析关注用户增长日常工作1.数据异常排查异常排查前期准备：（1）业务理解；（2）指标口径；（3）当前数据产出过程异常排查步骤：（1）判断是否异常怎么做：a.亲自去看数据准确性，不要人云亦云b.时间轴拉长，看是近期异常（3 个月）还是历史异常c.看和该指标关联的其他指标或其他核心指标是否也异常d.找到一个关键人物（产品/数据），提前沟通（2）最大概率法则归类基本上所有的异常问题都归属于这六大类：a.假期效应：开学季、暑假、四大节、当地节日；b.热点事件：常规热点（世界杯）、突发热点（爆款 IP）；c.活动影响：双 11、618，公司层面活动；d.政策影响：互联网金融监管，快递实名；e.底层系统故障：数据传输、存储、清洗有无问题；f.统计口径：业务逻辑更改、指标计算方式更改（3）闭环a.持续跟踪后期数据是否再次异常b.记录、沉淀、文档化c.邮件化，只有确认没有问题再发邮件给相关方，描述影响范围和主要结论2.专题分析专题分析的特点：（1）有目标；（2）有节奏；（3）有闭环怎么做：（1）整体分析（2）寻找优化切入点，一般是1~2个（3）不断地重复前面两个阶段，继续寻找其他切入点BAT面试技巧及必问问题1.面试技巧（1）逻辑性强，对简历上的数据非常熟悉（2）实操性强，多使用应聘岗位的产品APP，带上一份优秀的专题分析报告（3）有亮点，多一些行业趋势、痛点、产品改进、项目考虑等想法2.必问问题Q1：流量波动，数据突然涨了怎么分析？举例：以美团外卖近期的订单量突然下降 5%为例，具体的分析模块包括以下几点Q2：分析下你手机里面最常用的三个 App 是哪三个（这个问题套路很深）？ 回答跟应聘岗位相关的 App，回答要有自己的见解，不只是简单使用产品Q3：商业模式，你之前产品的 CPC/CPM 以及商业模式是什么样的，你在这一块是怎么优化的？商业化变现—考察对商业的最终目的是否敏感03 怎样才能更好地转型或成功跳槽日常工作分析转型四步法（中小企业转型到BAT）中小企业的数据分析师肯定要转型，这里转型不是说换一个行业，而是要有更宏伟的目标，要去 BAT 这样的大企业做数据分析1.规划好自己，再评估准备业务线；研发线；算法线2.评估自己产品理解能力；分析方法论；可视化能力；演讲能力；协作能力；逻辑思维；技术3.优化自己深入了解产品，有自己的见解优化数据分析方法论：指标体系方法论、流量分析方法论、路径分析方法论、产品分析方法论、营销活动方法论、用户流失方法论4.寻找对象并实践04 如何挑选适合项目场景的数据分析工具数据分析整体流程明确问题——搭建框架——数据提取——数据处理——数据分析——数据展现——撰写报告——报告演讲——报告闭环数据分析必学工具1.Excel常用操作（1）Excel对比分析（筛选和色阶）（2）Excel时间序列拆解分析（透视图功能）（3）相关性分析（分析工具库）（4）临界点分析（图表）2.SQL常见问题（1）Max函数（2）日期处理（3）先聚合再计数（4）一列变多行（5）取Top（6）避免数据倾斜，小表在左，大表在右3.R语言及Python脚本案例二、广度：拓展宏观视野05 多元思维模型：数据分析需要具备的四大能力 中观能力中观能力指专业度，包含技术理解、逻辑性、价值点三个点。中观能力是反映分析师基本功怎么样、套路熟不熟练、思考到不到位的一种标准。技术理解：指对分析时用到的技术理解是否到位，是停留在理论阶段还是在实践阶段逻辑性：指对整体思考的逻辑性是否欠缺价值点：强调价值，你做出来的分析价值在哪。如果现在你是决策者，你敢不敢立马规划落地多沉淀、多思考、多反馈、多总结微观能力微观能力是反映分析师平时的微观体感怎么样，作为一名分析师，你必须能发现很多业务方发现不到的点，然后从数据上给出策略建议。怎么做：（1）有效沟通能力技巧1：黄金思维圈法则：了解业务后，多问业务方为何要做这件事，找到切入点，找到问题的本质技巧2：做一些准备工作再沟通与业务沟通提前准备一些业务知识和数据（2）快速发散收敛能力发散：指对于某一个全新业务问题，跟业务沟通之后，分析师想法很多。收敛：在众多想法中，快速找到当前做哪个比较实际、合理，并且知道如何做的深入。培养：尽可能多地和业务核心人员沟通；多看一些心理学、社交学、经济学、记忆力类、科普类的书籍；刻意练习，慢慢地养成习惯，一定要把心静下来去做事情宏观能力宏观能力是指能够把当前业务与实际社会热点、行业风口联系起来，提前预判，获得更好的决策06 电商数据分析：京东APP的详细产品分析如何看待京东App1.APP主界面模块APP主界面主要分为以下几个模块：搜索广告Banner导航Feeds流个性化推荐底部Button2.思考有以下三个问题需要思考：引流（场）：首页作为最大的带量位，分发效率怎么评估。漏斗（货）：北极星指标交易额只是一个数字，更加重要的是理解这个数字转化的过程。用户（人）：作为一款非常成熟的 App，老用户相对比较稳定，但新用户获取应该怎么优化。其中引流是对整个 App 的整体分析，漏斗是对核心路径的分析，用户是对产品当前痛点进行分析。整体数据的分发效率1.常规指标：日活、留存、渗透率2.反映产品问题指标（1）CTR=点击UV/曝光UV，反应用户点击欲望的指标（2）人均访问页面数=总访问页面数PV/总访问UV3.一定要找到业务功能与产品核心指标的关联性，并且要量化，一定要量化漏斗分析搜索漏斗图每层漏斗的影响因素（1）搜索主界面的全部 UV：这是引流渠道，看用户是通过桌面图标进入搜索还是其他路径；（2）店面页 UV：搜索框搜索、热点搜索、语音搜索；（3）详情页查看 UV：客服、评论、店铺设计、商品属性；（4）加入购物车 UV：尺寸、颜色、数量；（5）提交订单 UV：物流、是否支持7天无理由退货、发票、运费；（6）收银台 UV：支付方式是否多样；（7）交易成功 UV：密码错误、冲动消费、界面异常、其他打断。新用户分析去看整个 App 在拉新上可以优化的点，以新用户产品体验为切入点新用户行为漏斗数据把自己当作一个新用户去体验各种路径，并对异常漏斗进行维度拆解（比如，是不是某个渠道的新用户转化率低引起整体偏低）07 互联网金融：芝麻信用分的建模过程是怎样的授信模型1.芝麻信用分五大维度（1）身份特质：你的学历表示人本身的稳定性（2）履约能力：看你消费后按时还款的能力，表示人消费的兜底性（3）信用历史：看你历史的信用（信用卡有无逾期），表示人本身的诚信 （4）人脉关系：看你支付宝好友的信用分是不是都很高，表示个人身份的稳定性及弱价值性（5）行为偏好：看你是喜欢买价格高的还是低的，表示人本身的当前信息，对产品后续决策有非常大的价值2.数据源（1）原始变量：直接存储在数据库里最基础的变量（2）衍生变量：在基础变量的基础上对原始变量进行加工转化时间维度衍生，最近 1 个月交易额、最近 3 个月交易额函数衍生，最大交易额、最小交易额、交易额方差比率衍生，最近 1 个月交易额/最近 3 个月交易额3.数据处理（1）数值型和字符串型字段的缺失性和合理性检验，剔除无效字段（50% 以上即可去掉）（2）数值型字段的相关性验证，把相关性强的先过滤掉（3）对字符串型字段进行离散化处理4.数据标准化MAX-MIN 、 Z-score5.数据建模（1）先理业务目标：根据用户在这 5 个维度的综合芝麻分来给用户提供其他额外服务，比如花呗、借呗、免押金，同时保证用户不违约（2）根据用户的数据，算出用户违约的概率，而这个概率也可以转化为用户的分数，所以逻辑回归模型比较适合（3）具体方案：综合芝麻分是一个综合概率，而这个综合概率实际上是 5 个维度的概率加权，而 5 个维度各自的概率是每个维度的逻辑回归模型，而每个维度的逻辑回归模型是每个维度的训练集和测试集（4）将概率转换成分数6.模型效果混淆矩阵；ROC曲线；坏账率7.模型优化不断地调整权重和系数模型落地1.落地前给出用户样本——给出用户违约概率——估算模型准确度——展开合作2.落地中用机器调用该用户的央行征信报告评估值 X，这个是最重要的因素；接口调用该用户的芝麻信用分 Y；该用户在招联的信用评估情况 Z（金融公司本身就有用户数据）；基于 X、Y、Z，招联内部会根据专家规则法出一套授信方案3.落地后根据坏账情况调参调参方法：先找出是因为某个子模型引起还是所有模型引起的。如果是子模型引起，直接调整该模型的参数即可，如果是整体模型都有问题，那就要重新进行数据处理了，如 WOE 分组，更换衍生变量，字符型字段重新打分等等08 游戏：游戏行业的ROI和付费率是怎么算的指标口径1.常规指标（1）DAU（日活）、WAU（周活）、MAU（月活）（2）留存率：次留、7留、30留存率（3）渗透率：每个子功能的渗透率等于该模块的使用人数除以该产品的日活（4）转化率：使用下一个节点的用户数除以使用上一个节点的用户数2.商业化指标（1）ARPU=付费金额/活跃人数，代表一个时间段内的用户平均收入（2）CPM（千次曝光的成本）、CPC（每个点击用户的成本）（3）ROI（投资回报率）=收入/支出=ARPU*用户数/所有支出用户流失分析如何合理定义流失用户，我们可以参考用户流失的周期，本质上等于回流率的确定，一旦用户回流率稳定，就可以定义这个时间段的天数为用户流失周期用户回流率=回流用户数/流失用户数= 某个周期内的流失用户数在周期结束后又回来了 / 某个周期内的流失用户数看用户在流失前最后一步干了什么，是什么导致用户体验差而流失用户付费分析1.以付费金额分布和付费模块为切入点2.根据1确定未来重点是在高、中、低哪个群体3.进行A/B测试，并每天看收入情况09 销售：传统行业如何做好交易额提升核心指标分析1.销售额完成率2.客单价和销售额改善方案流程1.厘清业务模式2.寻找北极星指标3.主体维度拆解分析4.小发现大猜想5.数据验证三、深度：聚焦微观方法论10 指标体系搭建：指标体系的经典四步指标体系的定义及选取原则1.定义指标体系是在业务的不同阶段，分析师牵头与业务方协助，制定的一套能从各维度去反映业务状况的待实施框架2.指标选取的原则（1）根本性：核心数据一定要理解到位和准确（2）可理解性：所有指标要配上业务解释性（3）结构性：能够充分对业务进行解读建立指标体系的四个步骤1.指标的构成2.指标体系建立的四个步骤（1）厘清业务阶段和方向a.业务前期（创业期），关注用户量，围绕用户量提升做各种维度的拆解，比如渠道b.业务中期（快速发展期），看产品的健康度，关注用户量走势，优化当前的用户量结构c.业务后期（成熟发展期），看收入指标，各种商业化模式的收入，同时做好市场份额和竞品监控（2）确定核心指标（3）指标核心维度拆解通用的拆解方法是先对核心指标进行公式计算，再按照业务路径或者业务模块进行拆解（4）指标宣贯、存档以及落地宣贯：触达到所有相关的业务接口人存档：对指标的口径和业务逻辑进行详细的描述存档落地：建核心指标的相关报表知乎APP指标体系实操1.厘清当前业务发展的阶段知乎当前处于业务发展期和成熟期之间2.确定核心指标以及拆解核心指标首页推荐模块最重要的指标是问答数，问答数=提问数+回答数=提问人数*人均提问数+回答数*人均回答数3.指标宣贯、存档、落地（1）宣贯：拉上产品和研发开会议过流程，产品（负责使用）、研发（负责打点）。（2）存档：对不太好理解的指标要进行单独的解释，比如什么是日活，具体操作是怎样。 （3）落地：确定好打点之后，就要建表，确保数据第一时间出来，能及时发现问题。11 流量分析：如何分析数据的波动渠道分析1.常见渠道及渠道分类（1）常见的渠道（2）渠道的分类2.渠道推广的整个过程3.渠道的关键指标及分析方法关键指标：关键指标指前期看有效用户数（有主动行为的用户数，排除刷量的嫌疑）和次留，中期看次日、7 日、30 日留存，后期看 ROI。分析方法：结构分析、趋势分析、对比分析、作弊分析转化与价值分析1.漏斗分析如果需要提升某一步转化率，核心思想都是按照用户基础属性和行为属性来细分2.功能模块分析（1）功能模块的常规分析功能渗透率=功能用户数/大盘用户数（使用某功能用户在大盘的占比）功能的功能留存率：第一天使用该功能同时第二天也使用该功能的用户数/第一天使用该功能的用户数；功能大盘留存率：第一天使用该功能同时第二天是大盘用户的用户数/第一天使用该功能用户数（2）功能模块的价值分析功能核心用户数：有多少用户是这功能的核心用户，它的定义是符合某种要求的功能用户数，一般用使用次数、使用时长、使用天数等具备某种行为来定义“核心”。功能 A 对大盘留存的提升贡献=功能A渗透率*功能A的大盘留存率提升数功能带来的收入对比：每个功能每个月赚多少钱流量波动逻辑性分析1.日活日活波动受外部影响和内部影响外部影响包括行业变化和竞品变化，而竞品的变化跟竞品的策略有关，所以外部影响就分为常识、外部事件、竞品策略。内部影响包含数据统计、用户基础属性、用户行为属性2.留存留存波动包含新用户留存和老用户留存，新用户留存与渠道和渠道过程有关，老用户留存有两个影响因素：核心功能用户留存、非核心非功能用户留存12 路径分析：用户的使用路径网络分析路径分析定义路径分析：基于用户的所有行为，去挖掘出若干条重要的用户路径，通过优化界面交互让产品用起来更加流畅和符合用户习惯，产生更多价值。先有数据再验证假设路径分析案例——以美团APP为例1.日志介绍：记录用户最详细的行为信息2.日志分析步骤（1）对所有功能用户的量级进行查看，筛选出重要功能（2）对筛选出的功能进行时间序列的排序，抽样关联（3）数据的标准化及路径画图（4）启发路径分析思考1.要做维度拆解2.不连续路径如何分析3. PC 端的路径分析13 竞品分析：教你如何做竞品分析为什么要做竞品分析1.做竞品分析的情况（1）当你的产品准备进入某个行业时，需要先把该行业的竞品分析清楚，主要侧重行业规模和前景的分析（2）当你的产品发展处于下降阶段，需要看竞争对手在做什么，主要侧重头部玩家的玩法分析（3）当你的产品发展处于瓶颈阶段，需要看竞争对手的数据和功能迭代，持续监控对手数据，从中寻找突破2.竞品分析包含两个点（1）竞品的选择：哪些才是竞品？（2）分析什么点，这就需要你知道分析的背景是什么，从而有针对性切入竞品分析的步骤1.确定分析目的（1）当你尝试进入某个新行业，需要评估可行性（2）纯粹看竞品的功能、玩法和数据，学习优点（3）通过看竞品的不同版本迭代的功能、玩法和数据，揣摩竞品想干什么，目的以预防为主2.挑选1~2家竞品，进行对比分析（1）跟自身对比（2）功能体验分析（3）运营手法分析（4）宏观和微观的数据分析：基础数据、财务数据、市场数据3.给出初步分析结论爱奇艺与优酷的竞品分析分析目的是提升优酷会员数，分析对象为爱奇艺1.先看基础数据，外部数据源基本上可以从 Google、百度、Questmoblie、百度指数获取2.产品对比3.竞品之间的运营手法对比14 营销活动：日常运营活动的分析模板营销活动当前现状1.运营人员关注：带来多少用户量的增长，拉来多少新增用户，外界传播量能覆盖多少人2.活动报告包括参与人数、拉新数、用户画像3.营销活动分析：活动效果评估（本活动和活动对比）和活动优化建议，保持分析的连贯性、对比性、公正性营销活动具体分析1.活动前好好准备——前1~2周（1）活动前和运营方商定本次活动的目标（2）活动前和研发沟通好埋点：在埋点这件事上，分析师应该是主导地位，包括字段名、埋点位置、上报方式等。（3）提前搭建好指标体系和报表（4）定好输出格式2.活动中好好观察——期间每一天，包括预热（1）观察第1天的数据，看指标体系的报表数据是否有异常（2）观察1~3天数据，预估活动目标的完成度（3）定时输出活动报告（4）活动1周后数据复盘3.活动后好好复盘——公正性（1）复盘活动对大盘的影响（2）复盘活动的短期效果，目标完成度，参与人数、拉新、品牌传播指数（3）复盘活动的长期效果，通过活动带来的长期用户数，而不是低价值用户数（4）复盘活动存在的问题，包括产品设计和用户反馈案例讲解——百度APP1.活动介绍2.活动指标体系搭建3.活动后复盘——绝不是简单的数字罗列4.活动后复盘——总结15 用户增长：用户增长的本质是什么用户增长模型1.AARRR：获取—激活—留存—变现—推荐2.改进模型：留存—变现—推荐—拉新—激活3.改进模型：变现—推荐—拉新—激活—留存国内用户增长现状1.用户增长的书《增长黑客》《增长黑客实战》《引爆用户增长》2.用户增长大会：Growing IO3.增长思维（1）北极星指标：找到最核心的指标（2）A/B测试增长案例解析不要玩概念，要独立思考和辩证性思维与其关注别人，不如多研究用户数据学习他人的优点，套用到自己身上来分析师要多看产品、运营的书，所有的分析增长都要靠产品、运营闭环只有成体系才是可传播、可继承的四、专题分析标准化流程16 问题定义和拆解：如何定义问题、拆解问题举个例子（问题识别）问题识别的方法论遇到N多问题，专题分析主要问题怎么找主要问题：先列出所有问题，再根据最大概率法则，一项一项来试，是否解决一个问题，其他都迎刃而解？问题拆解步骤：先快速按照你的理解去做拆解拿着你的拆解去跟业务方的人对修改第一步的思维导图，做完后，请教你的leader再修改一次，汇报给业务方leader问题拆解例子17 数据获取与分析：常见的SQL技巧和分析方法数据获取前期准备了解清楚业务方和研发说的是哪张表、哪份日志；了解这些表和日志的筛选条件是什么，为什么要这么筛选；了解这些表和日志之前有什么坑，是不是哪天数据有缺失；验证现在是否有坑，select * ，先跑一个核心数据看下SQL提数常见问题及解决方案被各种各样的其他事情打扰：集中时间管理遇到一些坑需要思考：遇到坑之后用文档详细记下来突然找到一个新的点，就一直往下深挖：跳出小圈子，先把问题的拆解模块做完自己本身不会提数和分析，不知道如何看数据：要学如何提数常见的分析方法结构分析对比分析时间序列分析相关性分析机器学习18 报告撰写：专题报告的完美标准化格式 报告撰写的原则1.主题一脉相承分叉：只有一个主题，每页PPT都是围绕这主题来分叉展开2.通俗简单易懂：数据分析师的报告一定要简单易懂，文字要偏大白话3.结论和闭环先行：要有分析结论，且落地性强报告的组成部分1.背景：为何要做这份专题报告，即问题的识别2.分析结论：如果是面向管理层的汇报，结论可以先行3.分析框架：即问题的拆解，往往这里不需要很细4.第一个关键点结论，第一个关键点的支撑数据依次摆放5.第二个关键点结论，第二个关键点的支撑数据依次摆放6.整体结论：这里把结论再汇总一次7.落地项：产品是怎么落地的，要非常具体（时间、人、预期效果）报告点评示例19 AB测试：AB测试的效果监控A/B测试介绍1.A/B测试概念A/B测试是为了Web和App界面或流程制作两个或多个版本，在同一时间维度，分别让组成成分相同（相似）的访客群组（目标人群）随机的访问这些版本，收集各群组的用户体验数据和业务数据，最后分析、评估出最好版本，正式采用。2.A/B测试的整体流程（1）根据数据分析得到某建议项（2）A/B测试落地（3）根据某落地项，研发和设计人员进行开发设计（4）研发人员数据采集（5）分析师跟进A/B测试效果，当显著性在95%以上并且维持了一段实践，实验就可以结束了整体节奏要按照灰度、5%、10%、20%、50%、100%来控制。3.常见的两种A/B测试类型（1）UI界面型（2）算法策略型4.实际工作中的问题当上线新功能时就开始做A/B测试，否则无法对照新功能带来的效果A/B测试注意事项1.A/B两个组是否真的相同2.策略是否生效：去抽样看是否进行了A/B测试3.A/B测试评估指标体系：考虑好要有哪些指标来评估效果4.多观察几天数据：一般3天后数据才可正式使用5.A/B测试的存档规划：具体内容（What）、为何测试（Why）、测试时间（When）、测试负责人（Who）、预期效果和实际效果（How much）五、人人都是数据分析师20 行业分析：行业分析及框架分析行业分析目标1.目标（1）转型，希望通过行业分析看一下公司转型到某个行业有没有一些切入点（2）用户需求整体的行业分析，比如看用户的需求还在不在2.五大模块在分析的目标基础上，可以分为五大模块：界定范围、市场规模、社会热点事件、头部玩家、未来预测电商行业分析举例1.界定范围——在全局视野下找切入点2.市场规模（1）交易额（2）用户量3.社会热点事件人均可支配收入、微信日活、物流4.头部玩家产品分析、用户分析5.未来预测（1）当前对于电商这个领域。仍然有大量的用户还没有进入，还有非常大的增量空间，注意这里不是存量空间，是增量空间；（2）当前国内的网民数还真不是像大家想得那么多，未来厂商的争夺会更加激烈；（3）短视频是非常好的一个渠道，或者说入口；（4）当前，国内在人均可支配收入上面不足。大部分都是 2 万元左右，也就是说未来的用户仍然会追求性价比；（5）对于拼多多 App，因为它用户的教育程度，各方面以及低于它的所见所识，相对来说都要比手淘京东要差一点。所以未来在做面向该类群体做产品的时候，要结合该类用户的特征，比如说你的产品要尽量简单粗暴，让用户快速下单；（6）对于唯品会，未来拼多多对唯品会的威胁可能会大一点21 数仓：数据仓库的三种类型表数据研发工程师和数据分析师的关系1.大数据体系（1）日志采集和传输（2）数据建模（3）数据管理（4）数据应用2.关系（1）大公司：分工明确，分析师有点“风险性”，研发工程师相对比较稳（2）小公司：全部是数据研发工程师，分析师的活也干了，所以看似什么都懂，但不会很专App日志采集中的埋点1.埋点前中期，数据分析师主动参与到埋点的讨论2.埋点后期，文档化埋点这件事一定是分析师牵头，虽然很烦琐，但非常重要数据建模步骤及举例1.为什么要建模（1）日志量太大，跑数很慢（2）日志太乱，很多重要的数拿不出来2.建模好处（1）提高整体计算效率，减少重复开发（2）历史数据追踪，中间表数据可以存储一年（3）更好适应业务发展，修改影响范围较小（4）清晰数据结构，分析师更容易理解3.建模步骤日志传输——ODS——DWS——DM（1）ODS层：日志原始初步加工，明显的不合理清洗，比如字段取值过滤（2）DWS层：对底层日志进行用户粒度的聚合（3）DM层：常规应用，维度和指标的呈现数据管理1.计算管理：Join 的时候要注意数据倾斜，选择哪张表很关键，对 MR 内部原理的掌握也很重要2.数据存储管理：核心的表尽量保存久一点，分析师要对表的存储周期有概念3.权限管理：分析师往往是管理员权限，采用最小可满足原则给别人开权限22 用户研究：用户研究和数据分析的根本联系与区别什么是用户研究1.这个功能能满足用户什么需求2.用户当前反馈最多的问题是什么，哪些可以重点解决3.针对上面两个问题，需要进行线上或者线下调研，获得数据反馈4.用户研究贯穿整个项目生命周期（1）项目前期：用户需求情况、用户基础画像情况、用户对于低价商品的迫切度。（2）项目中期：用户行为习惯。 （3）项目后期：用户对产品的反馈点、竞品使用情况用户研究的步骤和关键点1.制定研究目的：有良好的的背景和具体问题2.选择研究方法：定量和定性方法要对3.研究结论产出：精而快用户研究的注意事项1.用户说什么不重要，更加重要的是用户为何会这样说2.不要直接问用户喜欢什么，用户对他们的心理过程根本就不了解，这里面最好的工作法是田野工作法（现场调研）3.定性分析注重用户分类，定量分析注重样本量和样本代表性4.结束访谈后，尽快整理成文档，寻找琐碎记忆5.用户报告追求精而快6.数据分析师一定要有用户研究的意识23 时间管理：优秀的数据分析师如何做时间管理职场时间管理方法论事情优先级排序状态好的时候做最重要的事情，状态不好的时候做杂事（不重要的事情）对最重要的事情进行效果反馈并反思有点可控的小压力职场时间管理的关键点1.早起2.阶段性熬夜3.上下班时间4.会议时间：个人汇报、信息的同步和了解、管理层的思考方式5.周六日职场时间管理感触1.不是工作太辛苦，而是我们越来越懒2.兴趣是伪命题，工匠精神才是源动力内容来源于网上，侵删