MyBatis 批量插入使用 foreach 循环插入的优化，使用分片多线程
liebian365 2024-11-16 23:13 6 浏览 0 评论
在使用MyBatis进行批量插入数据时，我们常用的方法是在使用insert语句进行批量插入，这种方式在数据量比较少的时候，插入较快，但是当数据量较大的时候，不仅耗时，而且占用的CPU资源比较高。今天我们来对比说明一下，并在最后给出优化的方案。
先设计一张MySQL数据库，用来存储批量插入的数据，以插入用户信息为例，本次表在设计时多设计一些字段，在插入时的差异凸显的更加明显。
接下来我以插入50000条数据为例，由浅入深，分别从循环单条插入、批量插入等进行对比分析。
1、循环单条插入
模拟生成用户的姓名、手机号、身份证号码这些信息，避免因相同数据造成的缓存误差，然后逐条插入数据库中。
随机生成用户姓名：
随机生成11位手机号码：
随机生成身份证号码：
逐条插入用户数据的实现方法（使用JUnit进行单元测试），需要了解JUnit进行单元测试，可以访问上一篇文章SpringBoot框架集成JUnit单元测试：
插入完毕，查看控制台总耗时，以及数据库的数据入库情况：
执行总共耗时1634240ms，也就是27分钟左右。
2、使用foreach批量插入
在同等条件下进行测试验证，还是自动生成用户信息，封装成list，然后一次性插入。
这种方式相对于第一种方式，进行了提升，原理就是将
转换为
此时我们去执行程序发现，程序报错
如果我们将批量插入的50000条数据改成10000条，发现1秒左右就执行结束了。
从上面可以看出，使用foreach进行批量插入，原理上就是让多条insert into插入语句变成一条插入语句，可以带来性能上的提升，但同时也带来了两个问题：
（1）当插入的数据较多时，相当于拼接的sql语句会特别的长，甚至超过sql语句的长度，一旦超出，就会抛出异常导致无法插入。
（2）当插入的数据较多时，也比较耗时，针对这点官方也做了说明，这里我们就不做详细的拓展，我们继续讨论怎么解决这个问题。这里贴一张官方的说明截图。
这句话要表达的意思就是，当插入数量很多时，不能一次性全放在一条语句里。
3、使用foreach配合分片批量插入
既然不能封装成一条SQL，那我们考虑有没有其他的方式，当然有，可以采用分片的方式。
主要原理就是将list集合按"指定长度"进行切分，返回新的List<List<类型>>集合。
可以看出，50000条数据，不到2秒钟就插入完成，大大提高了效率。
这里分片的目的有两个：
1、批量插入，拼接的SQL语句过长，sql语句会有限制；
2、分片后采用stream多线程并行插入可以提高效率；
此外，不管是mysql还是oracle数据库，都可以使用分片进行插入。
相关推荐
- 快递查询教程，批量查询物流，一键管理快递
-
作为商家，每天需要查询许许多多的快递单号，面对不同的快递公司，有没有简单一点的物流查询方法呢？小编的回答当然是有的，下面随小编一起来试试这个新技巧。需要哪些工具？安装一个快递批量查询高手快递单号怎么快...
- 一键自动查询所有快递的物流信息 支持圆通、韵达等多家快递
-
对于各位商家来说拥有一个好的快递软件，能够有效的提高自己的工作效率，在管理快递单号的时候都需要对单号进行表格整理，那怎么样能够快速的查询所有单号信息，并自动生成表格呢？1、其实方法很简单，我们不需要一...
- 快递查询单号查询，怎么查物流到哪了
-
输入单号怎么查快递到哪里去了呢？今天小编给大家分享一个新的技巧，它支持多家快递，一次能查询多个单号物流，还可对查询到的物流进行分析、筛选以及导出，下面一起来试试。需要哪些工具?安装一个快递批量查询高手...
- 3分钟查询物流，教你一键批量查询全部物流信息
-
很多朋友在问，如何在短时间内把单号的物流信息查询出来，查询完成后筛选已签收件、筛选未签收件，今天小编就分享一款物流查询神器，感兴趣的朋友接着往下看。第一步，运行【快递批量查询高手】在主界面中点击【添...
- 快递单号查询，一次性查询全部物流信息
-
现在各种快递的查询方式，各有各的好，各有各的劣，总的来说，还是有比较方便的。今天小编就给大家分享一个新的技巧，支持多家快递，一次能查询多个单号的物流，还能对查询到的物流进行分析、筛选以及导出，下面一起...
- 快递查询工具，批量查询多个快递快递单号的物流状态、签收时间
-
最近有朋友在问，怎么快速查询单号的物流信息呢？除了官网，还有没有更简单的方法呢？小编的回答当然是有的，下面一起来看看。需要哪些工具？安装一个快递批量查询高手多个京东的快递单号怎么快速查询？进入快递批量...
- 快递查询软件，自动识别查询快递单号查询方法
-
当你拥有多个快递单号的时候，该如何快速查询物流信息？比如单号没有快递公司时，又该如何自动识别再去查询呢？不知道如何操作的宝贝们，下面随小编一起来试试。需要哪些工具？安装一个快递批量查询高手快递单号若干...
- 教你怎样查询快递查询单号并保存物流信息
-
商家发货，快递揽收后，一般会直接手动复制到官网上一个个查询物流，那么久而久之，就会觉得查询变得特别繁琐，今天小编给大家分享一个新的技巧，下面一起来试试。教程之前，我们来预览一下用快递批量查询高手...
- 简单几步骤查询所有快递物流信息
-
在高峰期订单量大的时候，可能需要一双手当十双手去查询快递物流，但是由于逐一去查询，效率极低，追踪困难。那么今天小编给大家分享一个新的技巧，一次能查询多个快递单号的物流，下面一起来学习一下，希望能给大家...
- 物流单号查询，如何查询快递信息，按最后更新时间搜索需要的单号
-
最近有很多朋友在问，如何通过快递单号查询物流信息，并按最后更新时间搜索出需要的单号呢？下面随小编一起来试试吧。需要哪些工具？安装一个快递批量查询高手快递单号若干怎么快速查询？运行【快递批量查询高手】...
- 连续保存新单号功能解析，导入单号查询并自动识别批量查快递信息
-
快递查询已经成为我们日常生活中不可或缺的一部分。然而，面对海量的快递单号，如何高效、准确地查询每一个快递的物流信息，成为了许多人头疼的问题。幸运的是，随着科技的进步，一款名为“快递批量查询高手”的软件...
- 快递查询教程，快递单号查询，筛选更新量为1的单号
-
最近有很多朋友在问，怎么快速查询快递单号的物流，并筛选出更新量为1的单号呢？今天小编给大家分享一个新方法，一起来试试吧。需要哪些工具？安装一个快递批量查询高手多个快递单号怎么快速查询？运行【快递批量查...
- 掌握批量查询快递动态的技巧，一键查找无信息记录的两种方法解析
-
在快节奏的商业环境中，高效的物流查询是确保业务顺畅运行的关键。作为快递查询达人，我深知时间的宝贵，因此，今天我将向大家介绍一款强大的工具——快递批量查询高手软件。这款软件能够帮助你批量查询快递动态，一...
- 从复杂到简单的单号查询，一键清除单号中的符号并批量查快递信息
-
在繁忙的商务与日常生活中，快递查询已成为不可或缺的一环。然而，面对海量的单号，逐一查询不仅耗时费力，还容易出错。现在，有了快递批量查询高手软件，一切变得简单明了。只需一键，即可搞定单号查询，一键处理单...
- 物流单号查询，在哪里查询快递
-
如果在快递单号多的情况，你还在一个个复制粘贴到官网上手动查询，是一件非常麻烦的事情。于是乎今天小编给大家分享一个新的技巧，下面一起来试试。需要哪些工具？安装一个快递批量查询高手快递单号怎么快速查询？...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- wireshark怎么抓包 (75)
- qt sleep (64)
- cs1.6指令代码大全 (55)
- factory-method (60)
- sqlite3_bind_blob (52)
- hibernate update (63)
- c++ base64 (70)
- nc 命令 (52)
- wm_close (51)
- epollin (51)
- sqlca.sqlcode (57)
- lua ipairs (60)
- tv_usec (64)
- 命令行进入文件夹 (53)
- postgresql array (57)
- statfs函数 (57)
- .project文件 (54)
- lua require (56)
- for_each (67)
- c#工厂模式 (57)
- wxsqlite3 (66)
- dmesg -c (58)
- fopen参数 (53)
- tar -zxvf -c (55)
- 速递查询 (52)