数据类岗位简历优化及面试指南
描述数据类项目：
- 描述数据源
在描述数据源时，将数据具体化。量化结果时，对于模型项目，可以将最后的准确率与随机准确率相比，对于分析项目，可以将最终的提升幅度与项目预期或同期的其他项目相比。
| 描述 | 改进后 |
|---|---|
| 从大量/海量数据中... | 从300万元的店铺销售额数据中.... |
| 显著提升 | 3%的转化率提升 |
| 模型准确率达90% | 模型准确率达90%,与随机准确率45%相比，有了100%的提升;某品牌最终销售额提高3%，与预定的2%相比，有了50%的提升。 |
- 项目实现描述
应从整体的角度来描述，而不是对分析、挖掘的过程展开详细的描述，忽略了迭代的过程。
flowchart TD
A[沟通、理解需求]-->B[数据分析、挖掘实现]
C[分析结果并进行迭代]-->B
D[上线并监控效果]-->C
B-->D
- 技术点描述
相对于罗列技术，使用以下说法可能效果更好：
使用Python中的sklearn完成XXX 、运用R中的ggplot2完成XX
使用随机森林模型完成订单分类、使用K-Means聚类完成用户的划分
同时，写技术点的细节要适量，否则项目失去重点，过犹不及。在模型部分，不需要把所有模型都写上，如“利用线性回归、逻辑回归、决策树、随机森林等算法完成xxx”
这些具体的技术点是面试重点，因此需要在这方面精心准备
- 项目描述demo
- 通过与xx的沟通，明确项目需求，选取最近X天的x条历史数据进行训练；
- 通过Hive从数据库中提取X个备选变量，利用Python中的XGBoost包进行训练优化，并根据重要性筛选出X个变量；
- 模型上线后，在召回率为X%的基础上，准确率从随即准确率为X%，提升至X%,涨幅达到X%；
- 上线后自动化生成监控报表，并根据变量的重要性，随着时间的变化，进行周期为X天/周/月的迭代过程。
项目丰富途径
- 大厂竞赛 ：如阿里巴巴的天池大赛、华为codecraft算法竞赛等
- 自媒体：在各大平台发表技术类文章，形成自己的专栏或成为公众号号主。
面试技巧：
- 提前熟悉业务场景、企业同行情况
数据类岗位准备方向
数据分析： 统计学、机器学习、数据库、业务
数据仓库：数据库
数据倾斜、窗口函数、维护数据字典、L1L2范数、AB测试
面试题汇总
数分:
- 划分连续型随机变量和离散型随机变量的依据
- 常见分布的分布函数/概率密度函数，以及分布的特性，如指数分布的无记忆性
- 随机变量常用特征的解释(期望、方差等)
- 中位数是否等于期望
- 常见分布的特征值
- 如何给没有学过统计学的人解释正态分布
- 列举常用的大数定律及其区别
- 阐述中心极限定理和正态分布的直接关系
- 如何利用编程语言设计实验证明中心极限定理
- 阐述假设检验的原理
- 在假设检验中原假设和备择假设选择的依据
- 阐述假设检验中的两类错误
- 解释P-value、显著性水平、检验效能
- 解释z检验和t检验
- 贝叶斯派统计和频率派统计的区别
- 贝叶斯定理和全概率公式的应用
- 贝叶斯定理解释“三门问题”
数据挖掘:
- 数据集的划分方式，及各种数据集的作用
- 阐述欠拟合和过拟合，解释产生的原因
- 常用的模型分类方法有哪些，如监督/非监督、参数/非参数有哪些
- 模型中参数和超参数的区别
- 线性回归模型对误差所做的假设
- 线性回归模型调优的方法
- 线性回归模型的优缺点
- 逻辑回归和线性回归的异同点
- 逻辑回归中L1、L2正则解释及其区别
- 决策树选择分支的几种方式及其区别
- 随机森林预测结果优于决策树的原因
- 随机森林与GBDT模型的异同点
- 针对预测、二分类、多分类的模型评估方法
- 解释准确率和召回率
- 阐述ROC和AUC的联系
- 简述混淆矩阵
基础知识
统计知识
1. 随机变量
graph LR
A(随机变量)-->B(离散型随机变量)
A-->C(连续型随机变量)
B-->D(伯努利分布/0-1分布)
B-->二项分布
B-->泊松分布
C-->均匀分布
C-->正态分布
C-->指数分布
-
概念
随机实验： 在相同条件下对某随机现象进行大量重复观测。
举个栗子，APP给用户发放优惠券，以提升用户活跃度，促进用户消费。用户收到优惠券后是否会使用可以看作随机现象，将所有用户的优惠券使用情况进行汇总，计算优惠券的转化率，可以视为随机试验。
随机变量(X)： 描述随机试验的结果，如抛硬币朝上的次数、优惠券的转化率， -
常用特征
| 数字特征 | 表示 | 描述 | 公式 |
|---|---|---|---|
| 期望 | E(x) | 表示随机变量X的平均水平。将x所对应的随机试验重复多次，随着次数增加，X的均值会趋近于E(x) | |
| 方差/标准差 | D(x)/Var(x) | 刻画随机变量X的波动大小，方差越大，结果的未执行就越大 | |
| 协方差/相关系数 |
- 类型
离散型随机变量
连续性随机变量
1.2 离散型随机变量
- 伯努利分布(0-1分布)
\[\begin{equation}
\begin{split}
Pr(X=1)=p \\
Pr(X=0)=1-p
\end{split}
\end{equation}
\]
- 二项分布(n重伯努利分布)
n个重复独立的伯努利分布(重复独立：每个伯努利分布事件发生的概率均为p；各个试验的结果互相独立，不受其他试验的干扰)
如发放1000张优惠券，可以近似看作1000个互相独立，且每张优惠券被使用的概率为p的伯努利分布所组成的二项分布，最终得到有x张优惠券被使用的概率为：
\[Pr(X=x)=(_k^n)p^k(1-p)^{n-k}
\]
- 泊松分布
适合描述单位时间/空间内随机事件发生的次数
\[\begin{equation}
\begin{split}
Pr(X=k)=\frac{\lambda^k}{k!}e^{-\lambda} \\
其中，\lambda表示单位时间/单位面积随机事件平均发生的次数
\end{split}
\end{equation}
\]
1.3 连续性随机变量
- 分布函数(累积分布函数CDF cumulative distribution function)
\[\begin{equation}
\begin{split}
F(x)=Pr(X<=x)，即随机变量X<=x的概率 \\
如果存在f(x)，使得F(x)=\int^x_{-\infty}f(x)dx，\\
则为概率密度函数PDF(Probability Density Function)
\end{split}
\end{equation}
\]
- 均匀分布
即概率密度函数在结果区间内为固定数值的分布
\[f(x)=\frac{1}{b-a},x\in[a,b]
\]
举个例子：
公交车平均30分钟发一班车，乘客每次等车的时间x为5-15分钟的概率为
\[f(x)=\int_5^{15}\frac{1}{30-0}dx=\frac{1}{3}
\]
均匀分布是一种比较特殊的分布，这种完全的随机性分布场景在实际工作中较少碰到，而前面的随机变量的随机性都是基于一些规律的，可能会与均匀分布有些矛盾。
- 正态分布
\[\begin{equation}
\begin{split}
概率密度函数满足f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{\frac{(x-\mu)^2}{2\sigma^2}}，则随机变量服从正态分布，其中\mu为期望，\sigma为方差
\end{split}
\end{equation}
\]
- 指数分布
描述泊松过程中事件之间的时间的概率分布，即时间以恒定的平均速率连续且独立发生的过程。
\[\begin{equation}
\begin{split}
f(x)=\lambda{e}^{-\lambda x}(x>0)，其中\lambda对应于泊松分布中在单位时间内发生某事件的次数 \\
\textbf{特点：无记忆性}\text{，即P(X>t+s|X>t)=P(X>s)}
\end{split}
\end{equation}
\]