您的位置 首页 技术

mysql如何实现循环插入千万级数据

mysql如何实现循环插入千万级数据? 1.建表: CREATE TABLE `mysql_genarate` ( `id` int(11) NOT NULL AUTO_INCRE…

mysql如何实现循环插入千万级数据?

1.建表:

CREATE TABLE `mysql_genarate` (  `id` int(11) NOT NULL AUTO_INCREMENT,  `uuid` varchar(50) DEFAULT NULL,  PRIMARY KEY (`id`)) ENGINE=InnoDB AUTO_INCREMENT=5990001 DEFAULT CHARSET=utf8

2.创建一条条循环插入的存储过程

create procedure test_two1()     begin        declare i int default 0;       while i < 3000 do            INSERT into mysql_genarate(uuid) VALUES(UUID());            set i = i + 1;        end while;    end #

使用 call test_two1(); 测试,3000条数据耗时74秒,如果是千万级数据,这个速度将无法忍受。

所以我在网上找了一下优化的方法,发现可以拼接批量插入的sql语句,速度提升很多;

3.优化后的存储过程

CREATE PROCEDURE insertPro(in sum INT)BEGINDECLARE count INT DEFAULT 0;DECLARE i INT DEFAULT 0;set @exesql = concat("insert into mysql_genarate(uuid) values");set @exedata = "";set count=0;set i=0;while count<sum do     set @exedata = concat(@exedata, ",(UUID())");    set count=count+1;    set i=i+1;    if i%1000=0    then         set @exedata = SUBSTRING(@exedata, 2);        set @exesql = concat("insert into mysql_genarate(uuid) values ", @exedata);        prepare stmt from @exesql;        execute stmt;        DEALLOCATE prepare stmt;        set @exedata = "";    end if;end while;if length(@exedata)>0 then     set @exedata = SUBSTRING(@exedata, 2);    set @exesql = concat("insert into mysql_genarate(uuid) values ", @exedata);    prepare stmt from @exesql;    execute stmt;    DEALLOCATE prepare stmt;end if;end;

调用 call insertPro(3000) ,耗时零点几秒,这个速度可以接受。

接着调用 call insertPro(30000000) ;测试3000万条数据插入,结果耗时1824.203s(30分钟)。个人电脑这个速度可以了。

另外,采用java多线程同时拼接sql,每10000条提交一次的方式,在8个线程同时运行的情况下,3000万条数据插入耗时336s,1亿条数据插入耗时1087s。

相关参考:MySQL教程

以上就是mysql如何实现循环插入千万级数据的详细内容,更多请关注24课堂在线网其它相关文章!

本文来自网络,不代表24小时课堂在线立场,转载请注明出处:https://www.24ketang.cn/68083.html

为您推荐

返回顶部