python操作數據庫之批量導入

Python語法簡潔清晰，特色之一是強制用空白符(white space)作為語句縮進。

Python具有豐富和強大的庫。它常被昵稱為膠水語言，能夠把用其他語言制作的各種模塊（尤其是C/C++）很輕松地聯結在一起。常見的一種應用情形是，使用Python快速生成程序的原型（有時甚至是程序的最終界面），然后對其中[3] 有特別要求的部分，用更合適的語言改寫，比如3D游戲中的圖形渲染模塊，性能要求特別高，就可以用C/C++重寫，而后封裝為Python可以調用的擴展類庫。需要注意的是在您使用擴展類庫時可能需要考慮平臺問題，某些可能不提供跨平臺的實現。

批量從mongodb導入數據到redis

結構圖如下

python->mongodb:python取出mongodb數據

mongodb->redis:mongodb數據經過處理后保存到redis

python代碼如下：

# -*- coding: utf-8 -*-

import redis

import pymongo

import logging

class savequestionmafengwo(object):

def __init__(self):

logging.basicConfig(filename = "./save-mafengwo-question.log", level = logging.DEBUG)

self.redis_pool_conn=self.redis_pool()

self.redis_db=self.connection_redis_db();

self.mongo_db=self.connection_mongo_db();

self.url='http://www.mafengwo.cn/wenda/detail-';

self.hz='.html';

def redis_pool(self):

pool_redis=redis.ConnectionPool(host='IP',port=PORT,db=DB,password=PASS);

return pool_redis;

def connection_redis_db(self):

pool=self.redis_pool_conn;

redis_db = redis.Redis(connection_pool=pool)

return redis_db;

def get_data(self,start):

mongo=self.mongo_db

qas=mongo.find({"source":"mafengwo","type":"question"},{"qid":1}).skip(start).limit(40000);

return qas;

def put_data(self,start):

qas=self.get_data(start);

i=start

for qa in qas:

try:

urlF = self.url + str(qa['qid']) + self.hz;

self.redis_set_value(urlF);

logging.debug(str(i) + "------" + urlF)

i = i + 1

except:

logging.debug("error:" + str(qa['_id']))

raise

def connection_mongo_db(self):

client = pymongo.MongoClient("IP", PORT)

mydb = client.hello # new a database

mydb.authenticate('USER', 'PASS') # check auth

muser = mydb.QA# new a table

return muser;

def redis_set_value(self,urlF):

db =self.redis_db

db.set(urlF,"1");

if __name__ == '__main__':

savequestionmafengwo=savequestionmafengwo();

start={0,40000}

for st in start:

savequestionmafengwo.put_data(start)

總結

以上是生活随笔為你收集整理的python处理完数据导入数据库_python操作数据库之批量导入的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。