MongoDB簡介

MongoDB 是一個基于分布式文件存儲的數(shù)據(jù)庫。由 C++ 語言編寫。旨在為 WEB 應(yīng)用提供可擴展的高性能數(shù)據(jù)存儲解決方案。

MongoDB 是一個介于關(guān)系數(shù)據(jù)庫和非關(guān)系數(shù)據(jù)庫之間的產(chǎn)品，是非關(guān)系數(shù)據(jù)庫當(dāng)中功能最豐富，最像關(guān)系數(shù)據(jù)庫的。

MongoDB是一個文檔數(shù)據(jù)庫，在存儲小文件方面存在天然優(yōu)勢。隨著業(yè)務(wù)求的變化，需要將線上MySQL數(shù)據(jù)庫中的行記錄，導(dǎo)入到MongoDB中文檔記錄。

一、場景：線上MySQL數(shù)據(jù)庫某表遷移到MongoDB，字段無變化。

二、Python模塊：

使用Python的torndb,pymongo和time模塊。

*注釋：首先安裝setup.py,pip,MySQLdb

執(zhí)行如下命令即可：

pip install torndb

pip install pymongo

三、腳本內(nèi)容如下：[root ~]#cat nmytomongo.py

#!/usr/bin/env python#fielName: mytomongo.py#Author:xkops#coding: utf-8import torndb,pymongo,time# connect to mysql databasemysql = torndb.Connection(host=’127.0.0.1′, database=’database’, user=’username’, password=’password’)#connect to mongodb and obtain total lines in mysqlmongo = pymongo.MongoClient(‘mongodb://ip’).databasemongo.authenticate(‘username’,password=’password’)countlines = mysql.query(‘SELECT max(table_field) FROM table_name’)count = countlines[0][‘max(table_field)’]#count = 300print counti = 0 j = 100start_time = time.time()#select from mysql to insert mongodb by 100 lines.for i in range(0,count,100): #print a,b #print i #print ‘SELECT * FROM quiz_submission where quiz_submission_id > %d and quiz_submission_id <= %d’ %(i,j) submission = mysql.query(‘SELECT * FROM table_name where table_field > %d and table_field <= %d’ %(i,j)) #print submission if submission: #collection_name like mysql table_name mongo.collection_name.insert_many(submission) else: i +=100 j +=100 continue i +=100 j +=100end_time = time.time()deltatime = end_time – start_timetotalhour = int(deltatime / 3600)totalminute = int((deltatime – totalhour * 3600) / 60)totalsecond = int(deltatime – totalhour * 3600 – totalminute * 60)#print migrate data total time consuming.print “Data Migrate Finished,Total Time Consuming: %d Hour %d Minute %d Seconds” %(totalhour,totalminute,totalsecond)

*注釋：按照自己的需求更改上述代碼中的數(shù)據(jù)庫地址，用戶，密碼，庫名，表名以及字段名等。

四、執(zhí)行遷移腳本:[root ~]#python nmytomongo.py &> /tmp/migratelog.txt &

腳本執(zhí)行完成后查看/tmp/migratelog.txt數(shù)據(jù)遷移消耗的時間。

您可能感興趣的文章:每天遷移MySQL歷史數(shù)據(jù)到歷史庫Python腳本MySQL數(shù)據(jù)庫遷移data文件夾位置詳細(xì)步驟MySQL下海量數(shù)據(jù)的遷移步驟分享mysql5.5數(shù)據(jù)庫data目錄遷移方法詳解mysql 備份與遷移 數(shù)據(jù)同步方法python制作mysql數(shù)據(jù)遷移腳本

總結(jié)

以上是生活随笔為你收集整理的python做mysql数据迁移_Python中MySQL数据迁移到MongoDB脚本的方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。