Day75:交叉验证 交叉验证的使用步骤
liebian365 2024-12-30 05:08 27 浏览 0 评论
什么是交叉验证法？
它的基本思想就是将原始数据（dataset）进行分组，一部分做为训练集来训练模型，另一部分做为测试集来评价模型。
为什么用交叉验证法？
- 交叉验证用于评估模型的预测性能，尤其是训练好的模型在新数据上的表现，可以在一定程度上减小过拟合[泛化误差的估计]。【K交叉检验，可以用不同的数据作为测试集，来评估预测性能，预测泛化误差，肯定更准】
- 还可以从有限的数据中获取尽可能多的有效信息[充分利用数据]。
主要有哪些方法？优缺点？
1. 留出法 （holdout cross validation）
- 就是普通的trian set、 val set、 test set
2. k 折交叉验证（k-fold cross validation）：
k 折交叉验证通过对 k 个不同分组训练的结果进行平均来减少方差，因此模型的性能对数据的划分就不那么敏感。
- 第一步，不重复抽样将原始数据随机分为 k 份。
- 第二步，每一次挑选其中 1 份作为测试集，剩余 k-1 份作为训练集用于模型训练。
- 第三步，重复第二步 k 次，这样每个子集都有一次机会作为测试集，其余机会作为训练集。
- 在每个训练集上训练后得到一个模型，
- 用这个模型在相应的测试集上测试，计算并保存模型的评估指标，
- 第四步，计算 k 组测试结果的平均值作为模型精度的估计，并作为当前 k 折交叉验证下模型的性能指标。
k 一般取 10：
- 数据量小的时候，k 可以设大一点，这样训练集占整体比例就比较大，不过同时训练的模型个数也增多。
- 数据量大的时候，k 可以设小一点。
注意：
- 多次 k 折交叉验证再求均值，例如：10 次 10 折交叉验证，以求更精确一点。
- 划分时有多种方法，例如对非平衡数据可以用分层采样，就是在每一份子集中都保持和原始数据集相同的类别比例。
- 模型训练过程的所有步骤，包括模型选择，特征选择等都是在单个折叠 fold 中独立执行的。
3.留一法（Leave one out cross validation）
- 当 k＝m 即样本总数时，叫做 留一法（Leave one out cross validation），每次的测试集都只有一个样本，要进行 m 次训练和预测。 这个方法用于训练的数据只比整体数据集少了一个样本，因此最接近原始样本的分布。 但是训练复杂度增加了，因为模型的数量与原始数据样本数量相同。 一般在数据缺乏时使用。
4.Bootstrapping
- 还有一种比较特殊的交叉验证方式，Bootstrapping： 通过自助采样法，即在含有 m 个样本的数据集中，每次随机挑选一个样本，再放回到数据集中，再随机挑选一个样本，这样有放回地进行抽样 m 次，组成了新的数据集作为训练集。
- 这里会有重复多次的样本，也会有一次都没有出现的样本，原数据集中大概有 36.8% 的样本不会出现在新组数据集中。
- 优点是训练集的样本总数和原数据集一样都是 m，并且仍有约 1/3 的数据不被训练而可以作为测试集。
- 缺点是这样产生的训练集的数据分布和原数据集的不一样了，会引入估计偏差。
- 此种方法不是很常用，除非数据量真的很少。
————————————————
参考链接1：https://blog.csdn.net/e01528/article/details/89221713
参考链接2：https://blog.csdn.net/aliceyangxi1987/article/details/73532651
相关推荐
- “版本末期”了?下周平衡补丁!国服最强5套牌!上分首选
-
明天，酒馆战棋就将迎来大更新，也聊了很多天战棋相关的内容了，趁此机会，给兄弟们穿插一篇构筑模式的卡组推荐！老规矩，我们先来看10职业胜率。目前10职业胜率排名与一周前基本类似，没有太多的变化。平衡补丁...
- VS2017 C++ 程序报错“error C2065:“M_PI”: 未声明的标识符"
-
首先，程序中头文件的选择，要选择头文件，在文件中是没有对M_PI的定义的。选择：项目——>”XXX属性"——>配置属性——>C/C++——>预处理器——>预处理器定义，...
- 东营交警实名曝光一批酒驾人员名单 88人受处罚
-
齐鲁网·闪电新闻5月24日讯酒后驾驶是对自己和他人生命安全极不负责的行为，为守护大家的平安出行路，东营交警一直将酒驾作为重点打击对象。5月23日，东营交警公布最新一批饮酒、醉酒名单。对以下驾驶人醉酒...
- Qt界面——搭配QCustomPlot（qt platform）
-
这是我第一个使用QCustomPlot控件的上位机，通过串口精确的5ms发送一次数据，再将读取的数据绘制到图表中。界面方面，尝试卡片式设计，外加QSS简单的配了个色。QCustomPlot官网：Qt...
- 大话西游2分享赢取种族坐骑手办!PK趣闻录由你书写
-
老友相聚，仗剑江湖！《大话西游2》2021全民PK季4月激燃打响，各PK玩法鏖战齐开，零门槛参与热情高涨。PK季期间，不仅各种玩法奖励丰厚，参与PK趣闻录活动，投稿自己在PK季遇到的趣事，还有机会带走...
- 测试谷歌VS Code AI 编程插件 Gemini Code Assist
-
用ClaudeSonnet3.7的天气测试编码，让谷歌VSCodeAI编程插件GeminiCodeAssist自动编程。生成的文件在浏览器中的效果如下：（附源代码）VSCode...
- 顾爷想知道第4.5期 国服便利性到底需优化啥?
-
前段时间DNF国服推出了名为“阿拉德B计划”的系列改版计划，截至目前我们已经看到了两项实装。不过关于便利性上，国服似乎还有很多路要走。自从顾爷回归DNF以来，几乎每天都在跟我抱怨关于DNF里面各种各样...
- 掌握Visual Studio项目配置【基础篇】
-
1.前言VisualStudio是Windows上最常用的C++集成开发环境之一，简称VS。VS功能十分强大，对应的，其配置系统较为复杂。不管是对于初学者还是有一定开发经验的开发者来说，捋清楚VS...
- 还嫌LED驱动设计套路深?那就来看看这篇文章吧
-
随着LED在各个领域的不同应用需求,LED驱动电路也在不断进步和发展。本文从LED的特性入手，推导出适合LED的电源驱动类型，再进一步介绍各类LED驱动设计。设计必读：LED四个关键特性特性一：非线...
- Visual Studio Community 2022(VS2022)安装图文方法
-
直接上步骤：1，首先可以下载安装一个VisualStudio安装器，叫做VisualStudioinstaller。这个安装文件很小，很快就安装完成了。2，打开VisualStudioins...
- Qt添加MSVC构建套件的方法（qt添加c++11）
-
前言有些时候，在Windows下因为某些需求需要使用MSVC编译器对程序进行编译，假设我们安装Qt的时候又只是安装了MingW构建套件，那么此时我们该如何给现有的Qt添加一个MSVC构建套件呢？本文以...
- Qt为什么站稳c++GUI的top1（qt c）
-
为什么现在QT越来越成为c++界面编程的第一选择，从事QT编程多年，在这之前做C++界面都是基于MFC。当时为什么会从MFC转到QT？主要原因是MFC开发界面想做得好看一些十分困难，引用第三方基于MF...
- qt开发IDE应该选择VS还是qt creator
-
如果一个公司选择了qt来开发自己的产品，在面临IDE的选择时会出现vs或者qtcreator，选择qt的IDE需要结合产品需求、部署平台、项目定位、程序猿本身和公司战略，因为大的软件产品需要明确IDE...
- Qt 5.14.2超详细安装教程，不会来打我
-
Qt简介Qt（官方发音[kju:t]，音同cute）是一个跨平台的C++开库，主要用来开发图形用户界面（GraphicalUserInterface，GUI）程序。Qt是纯C++开...
- Cygwin配置与使用(四)——VI字体和颜色的配置
-
简介：VI的操作模式，基本上VI可以分为三种状态，分别是命令模式（commandmode）、插入模式（Insertmode）和底行模式（lastlinemode），各模式的功能区分如下：1)...
欢迎 你 发表评论:
- 一周热门
- 最近发表
-
- “版本末期”了?下周平衡补丁!国服最强5套牌!上分首选
- VS2017 C++ 程序报错“error C2065:“M_PI”: 未声明的标识符"
- 东营交警实名曝光一批酒驾人员名单 88人受处罚
- Qt界面——搭配QCustomPlot（qt platform）
- 大话西游2分享赢取种族坐骑手办!PK趣闻录由你书写
- 测试谷歌VS Code AI 编程插件 Gemini Code Assist
- 顾爷想知道第4.5期 国服便利性到底需优化啥?
- 掌握Visual Studio项目配置【基础篇】
- 还嫌LED驱动设计套路深?那就来看看这篇文章吧
- Visual Studio Community 2022(VS2022)安装图文方法
- 标签列表
-
- wireshark怎么抓包 (75)
- qt sleep (64)
- cs1.6指令代码大全 (55)
- factory-method (60)
- sqlite3_bind_blob (52)
- hibernate update (63)
- c++ base64 (70)
- nc 命令 (52)
- wm_close (51)
- epollin (51)
- sqlca.sqlcode (57)
- lua ipairs (60)
- tv_usec (64)
- 命令行进入文件夹 (53)
- postgresql array (57)
- statfs函数 (57)
- .project文件 (54)
- lua require (56)
- for_each (67)
- c#工厂模式 (57)
- wxsqlite3 (66)
- dmesg -c (58)
- fopen参数 (53)
- tar -zxvf -c (55)
- 速递查询 (52)