新之助meow

Kratos
专注于用户阅读体验的响应式博客主题
  1. 首页
  2. 未分类
  3. 正文

mysqldump 导出的sql文件导入时慢的优化

2018年2月14日 684点热度 0人点赞 0条评论

导入使用source 命令是单线程导入,top -H观察单核cpu已经接近100%。

1、寻找多线程导出导入工具

方案一

http://seanlook.com/2016/11/17/python-mysqldump-out-in-concurrency-magic/

https://github.com/seanlook/mypumpkin

表级多并发,对我单一表4亿数据不好用

方案二 mydumper

https://blog.imdst.com/mysqlduo-xian-cheng-bei-fen-gong-ju-mydumper-2/

应该可以加速,但这个需要用这个工具重新导出,我已经用mysqldump导出了,不用了

 

2、优化mysql的参数提升导入速度

参考https://yq.aliyun.com/ziliao/22681

注释掉binlog 和replaylog 参数关闭binlog和replaylog

将innodb_flush_log_at_trx_commit这个参数改为0

测试导入速度提升5倍

还可以通过mysqldump分别调出库结构和数据,先创建库结构,然后删除大表的索引,然后再导入数据,后补充索引的方式进一步优化。

 

3、可以考虑写一个脚本解析mysqldump导出的sql文件,遇到insert时就开启多线程导入,如果不是,则走单线程。有时间在弄

参考http://liyangliang.me/posts/2017/02/load-data-into-mysql-using-python-multiprocessing/

标签: 暂无
最后更新:2018年2月14日

tjccn_wx@hotmail.com

这个人很懒,什么都没留下

点赞
< 上一篇
下一篇 >

文章评论

razz evil exclaim smile redface biggrin eek confused idea lol mad twisted rolleyes wink cool arrow neutral cry mrgreen drooling persevering
取消回复

归档

  • 2026 年 10 月
  • 2024 年 2 月
  • 2023 年 7 月
  • 2023 年 1 月
  • 2022 年 10 月
  • 2022 年 9 月
  • 2022 年 6 月
  • 2022 年 4 月
  • 2022 年 3 月
  • 2022 年 2 月
  • 2021 年 11 月
  • 2021 年 10 月
  • 2021 年 9 月
  • 2021 年 1 月
  • 2020 年 12 月
  • 2020 年 11 月
  • 2020 年 10 月
  • 2020 年 9 月
  • 2020 年 7 月
  • 2020 年 6 月
  • 2020 年 5 月
  • 2020 年 4 月
  • 2020 年 3 月
  • 2020 年 2 月
  • 2019 年 10 月
  • 2019 年 8 月
  • 2019 年 7 月
  • 2019 年 4 月
  • 2019 年 3 月
  • 2018 年 12 月
  • 2018 年 11 月
  • 2018 年 10 月
  • 2018 年 6 月
  • 2018 年 5 月
  • 2018 年 4 月
  • 2018 年 3 月
  • 2018 年 2 月
  • 2018 年 1 月
  • 2017 年 12 月
  • 2017 年 11 月
  • 2017 年 10 月
  • 2017 年 9 月
  • 2017 年 8 月
  • 2017 年 7 月
  • 2017 年 6 月
  • 2017 年 5 月
  • 2017 年 4 月
  • 2017 年 3 月
  • 2017 年 2 月
  • 2017 年 1 月
  • 2016 年 12 月
  • 2016 年 11 月
  • 2016 年 10 月
  • 2016 年 9 月
  • 2016 年 8 月
  • 2016 年 7 月
  • 2016 年 6 月
  • 2016 年 5 月
  • 2016 年 4 月
  • 2016 年 3 月
  • 2015 年 12 月
  • 2015 年 8 月

分类

  • android
  • mysql
  • nethunter
  • proxmark
  • 未分类

COPYRIGHT © 2026 新之助meow. ALL RIGHTS RESERVED.

Theme Kratos Made By Seaton Jiang