机器学习常见面试题

1、L1范式和L2方式的区别

(1)L1范式是对应参数向量绝对值之和

(2)L1范式具有稀疏性

(3)L1范式可以用来作为特征选择,并且可解释性较强(这里的原理是在实际Loss function中都需要求最小值,根据L1的定义可知L1最小值只有0,故可以通过这种方式来进行特征选择)

(4)L2范式是对应参数向量的平方和,再求平方根

(5)L2范式是为了防止机器学习的过拟合,提升模型的泛化能力

2、优化算法及其优缺点

温馨提示:在回答面试官的问题的时候,往往将问题往大的方面去回答,这样不会陷于小的技术上死磕,最后很容易把自己嗑死了。

(1)随即梯度下降

优点:可以一定程度上解决局部最优解的问题

缺点:收敛速度较慢

(2)批量梯度下降

优点:容易陷入局部最优解

缺点:收敛速度较快

(3)mini_batch梯度下降

综合随即梯度下降和批量梯度下降的优缺点,提取的一个中和的方法。

(4)牛顿法

牛顿法在迭代的时候,需要计算Hessian矩阵,当维度较高的时候,计算Hessian矩阵比较困难。

(5)拟牛顿法

拟牛顿法是为了改进牛顿法在迭代过程中,计算Hessian矩阵而提取的算法,它采用的方式是通过逼近Hessian的方式来进行求解。

(6)共轭梯度

(7)启发式的优化算法

启发式的优化算法有遗传算法,粒子群算法等。这类算法的主要思想就是设定一个目标函数,每次迭代根据相应的策略优化种群。直到满足什么样的条件为止。

3、RF与GBDT之间的区别

(1)相同点

都是由多棵树组成

最终的结果都是由多棵树一起决定

(2)不同点

组成随机森林的树可以分类树也可以是回归树,而GBDT只由回归树组成

组成随机森林的树可以并行生成,而GBDT是串行生成

随机森林的结果是多数表决表决的,而GBDT则是多棵树累加之和

随机森林对异常值不敏感,而GBDT对异常值比较敏感

随机森林是通过减少模型的方差来提高性能,而GBDT是减少模型的偏差来提高性能的

随机森林不需要进行数据预处理,即特征归一化。而GBDT则需要进行特征归一化

(3)RF:

优点:

易于理解,易于可视化

不需要太多的数据预处理,即数据归一化

不易过拟合

易于并行化

缺点:

不适合小样本数据,只适合大样本数据

大多数情况下,RF的精度低于GBDT

适合决策边界的是矩阵,不适合对角线型

(4)GBDT

优点:精度高

缺点:

参数较多,容易过拟合

不易并行化

4、SVM的模型的推导

5、SVM与树模型之间的区别

(1)SVM

SVM是通过核函数将样本映射到高纬空间,再通过线性的SVM方式求解分界面进行分类。

对缺失值比较敏感

可以解决高纬度的问题

可以避免局部极小值的问题

可以解决小样本机器学习的问题

(2)树模型

可以解决大样本的问题

易于理解和解释

会陷入局部最优解

易过拟合

6、梯度消失和梯度膨胀

(1)梯度消失:

根据链式法则,如果每一层神经元对上一层的输出的偏导乘上权重结果都小于1的话,那么即使这个结果是0.99,在经过足够多层传播之后,误差对输入层的偏导会趋于0

可以采用ReLU激活函数有效的解决梯度消失的情况

(2)梯度膨胀

根据链式法则,如果每一层神经元对上一层的输出的偏导乘上权重结果都大于1的话,在经过足够多层传播之后,误差对输入层的偏导会趋于无穷大

可以通过激活函数来解决

7、LR的原理和Loss的推导

发表评论
留言与评论(共有 0 条评论)
   
验证码:

相关文章

推荐文章

'); })();