前言：

今天為大家?guī)?lái)的內(nèi)容是：用python解決動(dòng)態(tài)的定義變量名(并給其賦值方法：大數(shù)據(jù)處理)具有很好的參考價(jià)值，希望對(duì)大家有所幫助。喜歡本文內(nèi)容的記得點(diǎn)贊轉(zhuǎn)發(fā)收藏不迷路哦！！！

最近消費(fèi)kafka數(shù)據(jù)到磁盤(pán)的時(shí)候遇到了這樣的問(wèn)題：

需求：每天大概有1千萬(wàn)條數(shù)據(jù)，每條數(shù)據(jù)包含19個(gè)字段信息，需要將數(shù)據(jù)寫(xiě)到服務(wù)器磁盤(pán)，以第二個(gè)字段作為大類(lèi)建立目錄，第7個(gè)字段作為小類(lèi)配合時(shí)間戳作為文件名，臨時(shí)文件后綴tmp，當(dāng)每個(gè)文件的寫(xiě)入條數(shù)(可配置，比如100條)達(dá)到要求條數(shù)時(shí)，將后綴tmp改為out。

問(wèn)題：大類(lèi)共有30個(gè)，小類(lèi)不計(jì)其數(shù)而且未知，比如大類(lèi)為A,小類(lèi)為a

時(shí)間戳為20180606095835234則A目錄下的文件名為20180606095835234_a.tmp

這樣一來(lái)需要在此文件寫(xiě)滿(mǎn)100條時(shí)，更新時(shí)間戳生成第二個(gè)文件名，如果此時(shí)有1000個(gè)文件都在寫(xiě)則需要有1000個(gè)時(shí)間戳，和1000個(gè)計(jì)數(shù)器記錄每個(gè)文件當(dāng)前的條數(shù)，如果分別定義1000個(gè)變量顯然是不劃算的。

嘗試：中間過(guò)程想到了動(dòng)態(tài)定義變量名，即

定義第七個(gè)字段：seven = data.split('|')[7]

定義文件名：filename = time_stamp + '_' + seven+'.tmp'，

定義文件計(jì)數(shù)器：seven + ‘_num' = 0

定義文件時(shí)間戳：seven + '_stamp' = time.time( )

想法其實(shí)是沒(méi)問(wèn)題的，但是這里用到了一個(gè)不常用的語(yǔ)法：用一個(gè)變量名和一個(gè)字符串拼接出來(lái)一個(gè)新的變量名，并繼續(xù)賦值(不知道我的表述是否清楚)，試過(guò)了用local()函數(shù)、global()函數(shù)、exec()函數(shù)都沒(méi)有達(dá)到預(yù)期效果，也許是把問(wèn)題想的太復(fù)雜了

解決：最后使用三個(gè)字典將這個(gè)問(wèn)題完美解決，

定義一個(gè)字典用來(lái)存計(jì)數(shù)器，字典的每一個(gè)鍵對(duì)應(yīng)一個(gè)文件名，值對(duì)應(yīng)當(dāng)前計(jì)數(shù)，并實(shí)時(shí)更新；

定義一個(gè)字典用來(lái)存時(shí)間戳，鍵對(duì)應(yīng)一個(gè)文件名，值對(duì)應(yīng)時(shí)間戳，達(dá)到100條就更新一次；

定義一個(gè)字典用來(lái)存大類(lèi)，鍵對(duì)應(yīng)代號(hào)，值對(duì)應(yīng)分類(lèi)；

局部功能代碼如下：

結(jié)尾：

以上這篇python 解決動(dòng)態(tài)的定義變量名,并給其賦值的方法(大數(shù)據(jù)處理)就是小編分享給大家的全部?jī)?nèi)容了。

最后多說(shuō)一句，小編是一名python開(kāi)發(fā)工程師，這里有我自己整理了一套最新的python系統(tǒng)學(xué)習(xí)教程，包括從基礎(chǔ)的python腳本到web開(kāi)發(fā)、爬蟲(chóng)、數(shù)據(jù)分析、數(shù)據(jù)可視化、機(jī)器學(xué)習(xí)等。想要這些資料的可以關(guān)注小編，并在后臺(tái)私信小編：“07”即可領(lǐng)取。

總結(jié)

以上是生活随笔為你收集整理的python 定义变量_用python解决动态的定义变量名（并给其赋值方法：大数据处理）...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。