传统机器学习算法 (例如：决策树，人工神经网络，支持向量机，朴素贝叶斯等) 都是通过弱学习机（weak learners）来对目标进行预测（分类）。但是，以决策树算法为例，决策树算法在递归过程中，可能会过度分割样本空间，最终导致过拟合。集成学习 (Ensemble Learning) 算法的基本思想就是将多个弱学习机组合，从而实现一个预测效果更好的集成学习机[^1]。集成学习在统计（Statistical）、 计算（computational） 以及 表示（representation） 上相较之弱学习机有较大改善[^2]。Bagging和Boosting对比如下：
红色线条代表训练过程；绿色线条代表
Boosting更新权重得到的权重训练集；蓝色线条代表结合策略；中间蓝色方块代表得到的训练集（Bagging通过随机采样，Boosting则是更新权重得到训练集）
GAN笔记
论文《attention is all you need》阅读笔记
本文主要内容包括如下几点：
一、特征选择算法
具体介绍了：传统的特征选择算法（Wrapper methods、Filter methods、Embedded methods），以及：Laplacian Score拉普拉斯分数、Fisher Score等
二、数据降维算法
本文通过结合如下论文以及blog：
1、贝叶斯优化研究综述：https://doi.org/10.13328/j.cnki.jos.005607.
2、高斯回归可视化：https://jgoertler.com/visual-exploration-gaussian-processes/
3、贝叶斯优化：http://arxiv.org/abs/1012.2599
对贝叶斯优化进行较为全面的介绍，以及部分代码复现
如果⼀个机器学习模型运⾏良好，为什么我们仅仅信任该模型⽽忽略为什么做出特定的决策呢？
诸如分类准确性之类的单⼀指标⽆法完整地描述⼤多数实际任务。当涉及到预测模型时，需要作出权衡：你是只想知道预测是什么？例如，客户流失的概率或某种药物对病⼈的疗效。还是想知道为什么做出这样的预测？这种情况下可能为了可解释性付出预测性能下降的代价。在某些情况下，你不必关⼼为什么要做出这样的预测，只要知道模型在测试数据集的预测性能良好就⾜够了。但是在其他情况下，了解 “为什么” 可以帮助你更多地了解问题、数据以及模型可能失败的原因。有些模型可能不需要解释，因为它们是在低风险的环境中使⽤的，这意味着错误不会造成严重后果 (例如，电影推荐系统)，或者该⽅法已经被⼴泛研究和评估 (例如，光学字符识别 OCR)。对可解释性的需求来⾃问题形式化的不完整性，这意味着对于某些问题或任务，仅仅获得预测结果是不够的。该模型还必须解释是怎么获得这个预测的，因为正确的预测只部分地解决了你的原始问题。
如果⼀个机器学习模型运⾏良好，为什么我们仅仅信任该模型⽽忽略为什么做出特定的决策呢？
诸如分类准确性之类的单⼀指标⽆法完整地描述⼤多数实际任务。当涉及到预测模型时，需要作出权衡：你是只想知道预测是什么？例如，客户流失的概率或某种药物对病⼈的疗效。还是想知道为什么做出这样的预测？这种情况下可能为了可解释性付出预测性能下降的代价。在某些情况下，你不必关⼼为什么要做出这样的预测，只要知道模型在测试数据集的预测性能良好就⾜够了。但是在其他情况下，了解 “为什么” 可以帮助你更多地了解问题、数据以及模型可能失败的原因。有些模型可能不需要解释，因为它们是在低风险的环境中使⽤的，这意味着错误不会造成严重后果 (例如，电影推荐系统)，或者该⽅法已经被⼴泛研究和评估 (例如，光学字符识别 OCR)。对可解释性的需求来⾃问题形式化的不完整性，这意味着对于某些问题或任务，仅仅获得预测结果是不够的。该模型还必须解释是怎么获得这个预测的，因为正确的预测只部分地解决了你的原始问题。
介绍K近邻算法基本原理
由于自己经常通过hexo来写自己的blog那么万一那一天树莓派坏了（自己用树莓派做服务器），那么里面所有的东西都需要重新写那太遭罪了，所以去网上找了将hexo进行备份的操作。
⭐以下操作在⏱️2023.6.4⏱️可以完美实现.
介绍支持向量机基本原理
前言：人类科技就是不断烧开水（发电）、丢石头（航天等）。深度学习就是一个不断解方程的过程（参数量格外大的方程）
本文内容：
1、介绍VGG16基本原理
2、VGG16 pytorch复现
本文关于深度学习模型优化主要围绕下面两个方面展开：
1、优化问题：深度神经网络的优化十分困难。集中在下面三个原因：1、神经网络的损失函数是一个非凸函数，找到全局最优解通常比较困难。2、深度神经网络的参数多，训练数据大。3、深度神经网络存在梯度消失或爆炸问题，导致基于梯度的优化方法经常失效。
2、泛化问题：由于深度神经网络的复杂度比较高，并且拟合能力很强，很容易在训练集上产生过拟合。因此在训练深度神经网络时，同时也需要通过一定 的正则化方法来改进网络的泛化能力。
所有代码都是基于pytorch
介绍逻辑斯蒂回归基本原理
