遷移數(shù)據(jù)常用

1、導(dǎo)出文件 -?mysqldump 命令?

?mysqldump?是 Mysql 自帶的邏輯備份工具。其備份原理是通過(guò)協(xié)議連接到 Mysql 數(shù)據(jù)庫(kù)，將需要備份的數(shù)據(jù)查詢出來(lái)轉(zhuǎn)換成對(duì)應(yīng)的?insert?語(yǔ)句。當(dāng)需要還原這些數(shù)據(jù)時(shí)，只要執(zhí)行這些 insert 語(yǔ)句，即可將對(duì)應(yīng)的數(shù)據(jù)還原。?

常用命令：

mysqldump?-uroot?-p123456?--all-databases??>/tmp/all.sqlmysqldump -uroot -p123456 --databases db >/tmp/db.sqlmysqldump?-uroot?-p123456?--databases??db??--tables?a?>/tmp/a.sqlmysqldump?-uroot?-p123456?--databases?db?--tables?a?--where='id=1'?>/tmp/a.sqlmysqldump -uroot -p123456 --no-data --databases db >/tmp/db.sql

2、導(dǎo)入文件 - source 命令

source?命令可以將導(dǎo)出的 sql 文件導(dǎo)入進(jìn)指定數(shù)據(jù)庫(kù)。

操作步驟：

• use 數(shù)據(jù)庫(kù)；

• soucre 已導(dǎo)出的 sql 文件。

遷移思路

1. 數(shù)據(jù)庫(kù)A歷史數(shù)據(jù)遷移到 hdfs(一種分布式文件系統(tǒng))上進(jìn)行歸檔；

2. 刪除數(shù)據(jù)庫(kù)A已歸檔的表，使用 drop 命令；

3. 數(shù)據(jù)庫(kù)A上新建表，用于數(shù)據(jù)庫(kù)B遷移；

4. 數(shù)據(jù)庫(kù)B中除未完成單外都遷移至數(shù)據(jù)庫(kù)A；

5. 腳本進(jìn)行刪除數(shù)據(jù)庫(kù)B上已遷移數(shù)據(jù)。?

阿丁開(kāi)講

1、參數(shù)介紹

在 Innodb 存儲(chǔ)引擎中，innodb_file_per_table 參數(shù)是用來(lái)控制表數(shù)據(jù)的存儲(chǔ)方式的。

當(dāng)參數(shù)為 OFF 的時(shí)候，所有數(shù)據(jù)都存放于默認(rèn)路徑下名為 ibdata* 的共享表空間里，即將數(shù)據(jù)庫(kù)所有的表數(shù)據(jù)及索引文件存放到一個(gè)文件中。在刪除數(shù)據(jù)表的時(shí)候，ibdata*?文件不會(huì)自動(dòng)收縮。

當(dāng)參數(shù)為 ON 的時(shí)候，每一個(gè)表都將存儲(chǔ)在一個(gè)以 .ibd 為后綴的文件中。這樣每個(gè)表都有了自己獨(dú)立的表空間，通過(guò) drop table 命令就可以將表空間進(jìn)行回收。?

從 Mysql 5.6.6?版本開(kāi)始，innodb_file_per_table?默認(rèn)為 ON 狀態(tài)。

2、參數(shù)設(shè)置

通過(guò) show variables like '%per_table%' 命令，可以查看 innodb_file_per_table 參數(shù)的當(dāng)前狀態(tài)：

如果想修改參數(shù)的狀態(tài)，可通過(guò) SET GLOBAL 動(dòng)態(tài)地修改為 ON 或 OFF，也可以在 中做永久性修改。需要注意的是，在 中修改后生效的話需要重啟 mysqld 服務(wù)。?

疑問(wèn)：如果之前參數(shù)為 OFF 狀態(tài)，設(shè)置為 ON 狀態(tài)后，表空間如何分配？

答案是僅對(duì)后續(xù)操作生效。

什么意思呢？修改前的數(shù)據(jù)還維持原狀，也就是說(shuō)之前的數(shù)據(jù)繼續(xù)存放于 ibdata* 文件中，修改后的使用獨(dú)立表空間。?

所以建議在開(kāi)始就將該參數(shù)設(shè)置為 ON 狀態(tài)。

第二天

?

阿丁二次開(kāi)講

在這之前要先介紹下 Innodb 存儲(chǔ)數(shù)據(jù)所用的 B+ 樹(shù)結(jié)構(gòu)，畫個(gè)圖你理解下：

在圖中，P 代表一頁(yè)數(shù)據(jù)，R 代表一行數(shù)據(jù)。

假設(shè)我們要?jiǎng)h掉 R2 這條記錄，InnoDB 引擎只會(huì)將其標(biāo)記為刪除狀態(tài)，并不會(huì)真正把這行數(shù)據(jù)所占的空間釋放掉，也就是說(shuō)這個(gè)坑位還留著。如果后續(xù)所插入的數(shù)據(jù)在 R1 與 R3 之間的話，這個(gè)空間是可以被使用上的。

假設(shè)我們恰好刪除了 R1、R2、R3 這三條記錄，也就是說(shuō) P1 這一頁(yè)的數(shù)據(jù)都被刪掉了，那么 P1 所在的空間都會(huì)被標(biāo)記為可復(fù)用。如果插入的數(shù)據(jù)需要使用新頁(yè)的話，P1 的坑位就可以被利用起來(lái)了。?

那么你可能會(huì)問(wèn)了，我插入的數(shù)據(jù)恰好巧妙的避開(kāi)了這些位置呢。那我還能說(shuō)啥，騷唄。這樣會(huì)造成很多空間被浪費(fèi)，如果刪除大量的數(shù)據(jù)的話，被浪費(fèi)的空間也會(huì)是巨大的。

optimize table 的本質(zhì)是 ALTER TABLE xxx ENGINE = InnoDB;

在版本之前，重建表的過(guò)程是這樣的：

然后用臨時(shí)文件替換舊表，這樣便實(shí)現(xiàn)了表的重建。

注意

1、控制遷移速度，防止主從延遲導(dǎo)致線上故障；

2、創(chuàng)建大表時(shí)，使用下面的建表語(yǔ)句可節(jié)省 50% 左右的空間：

ROW_FORMAT=COMPRESSED?KEY_BLOCK_SIZE=8

3、使用 optimize table 壓縮表時(shí)，需要留夠一定的空間。

關(guān)于作者

作者：大家好，我是萊烏，BAT搬磚工一枚。從小公司進(jìn)入大廠，一路走來(lái)收獲良多，想將這些經(jīng)驗(yàn)分享給有需要的人，因此創(chuàng)建了公眾號(hào)「IT界農(nóng)民工」。定時(shí)更新，希望能幫助到你。

總結(jié)

以上是生活随笔為你收集整理的diskgenius 数据迁移_活见鬼，明明删除了数据，空间却没减少！ - *IT界农民工*的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。