1.工作中遇到的python坑

1.1 合并文件

問題：正常將文件依次讀取并append時，莫名出現(xiàn)很多空行。

解決：在append前刪除空行：

data_tmp

1.2 重復(fù)數(shù)據(jù)行

問題： append多日文件時，由于人工誤操作，容易存在重復(fù)數(shù)據(jù)行

解決： 去重并設(shè)序號：

data.drop_duplicates(keep='first',inplace='True') data.reset_index(drop=True,inplace=True)

1.3 數(shù)字變形

問題： cargo_id較長，轉(zhuǎn)為int32易出現(xiàn)變形

解決：轉(zhuǎn)為int64或字符串格式:

data['cargo_id'].fillna(0).astype("int64")

1.4 轉(zhuǎn)化為數(shù)字類型

問題： 轉(zhuǎn)換為數(shù)字類型convert_objects從0.21.0已不推薦使用

解決：

pd.to_numeric(data['truck_length'], errors='coerce')

1.5 替換空格

問題： 替換空格，np.where(data.is_deal == ' ', 1, data.is_deal)，出現(xiàn)invalid type comparison錯誤

解決：

data['is_deal'] = data['is_deal'].apply(lambda x: 1 if x == " " else x)

1.6 鏈?zhǔn)劫x值

問題： 某列滿足條件，另一列取值（出現(xiàn)鏈?zhǔn)劫x值時，pandas不能夠確定到底返回的是一個引用還是一個拷貝。所以遇到這種情況就干脆報(bào)warning）：data['cargo_tag'][(data['tags_1'].str.contains('|'.join(invalid_reason)) == True)] = 'invalid'，A value is trying to be set on a copy of a slice from a DataFrame

解決：

data.loc[data['tags_1'].str.contains('|'.join(invalid_reason)) == True,'cargo_tag'] ='invalid'

1.7 python建立數(shù)據(jù)表

問題： 建數(shù)據(jù)表Failed with exception java.io.IOException

解決：

1. csv分隔符是","，

2. hive -e 單引號

1.8 判斷內(nèi)容是否一致

問題： 判斷兩個list內(nèi)容是否一致時，不能僅dataNew == dataOld。因?yàn)闀许樞虿灰恢碌那闆r

解決：

dataNew.sort() dataOld.sort()

或

eval

2.把python中較難理解部分講清楚的博客

2.1 python中的main函數(shù)意義

python main函數(shù)?www.cnblogs.com__main__ --- 頂層腳本環(huán)境 - Python 3.7.4 文檔?docs.python.orgPython 中的 if __name__ == '__main__' 該如何理解?blog.konghy.cn

2.2 python中self的使用和意義

https://blog.csdn.net/CLHugh/article/details/75000104?blog.csdn.net一篇文章讓你徹底搞清楚Python中self的含義 - jessonsh - 博客園?www.cnblogs.com大家是如何理解Python中的self？?www.zhihu.com

2.3 pycharm調(diào)試分享

大咪：新手必會，pycharm的調(diào)試功能(史上最詳篇)?zhuanlan.zhihu.comhttps://www.bilibili.com/video/av40673678?www.bilibili.com

2.4 pycharm設(shè)置自動模板

Pycharm: 代碼跳轉(zhuǎn)回退?segmentfault.comhttps://blog.csdn.net/qq_32040767/article/details/78981528?blog.csdn.net人類身份驗(yàn)證 - SegmentFault?segmentfault.com

2.5 crontab定時任務(wù)

https://blog.csdn.net/m0_37886429/article/details/74178091?blog.csdn.netLinux Crontab 定時任務(wù)?www.runoob.com

2.6 pickle模塊

https://blog.csdn.net/sxingming/article/details/52164249?blog.csdn.net

2.7 eval() 函數(shù)

Python eval() 函數(shù)?www.runoob.comhttps://blog.csdn.net/zhanh1218/article/details/37562167?blog.csdn.net

2.8 解決Pycharm無法導(dǎo)入包問題

https://blog.csdn.net/u014496330/article/details/55211398?blog.csdn.net

總結(jié)

以上是生活随笔為你收集整理的python contains类似函数_01--实际工作中，python基础理念和数据处理的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。