1.工作中遇到的python坑

1.1 合并文件

問題：正常將文件依次讀取并append時，莫名出現很多空行。

解決：在append前刪除空行：

data_tmp

1.2 重復數據行

問題： append多日文件時，由于人工誤操作，容易存在重復數據行

解決： 去重并設序號：

data.drop_duplicates(keep='first',inplace='True') data.reset_index(drop=True,inplace=True)

1.3 數字變形

問題： cargo_id較長，轉為int32易出現變形

解決：轉為int64或字符串格式:

data['cargo_id'].fillna(0).astype("int64")

1.4 轉化為數字類型

問題： 轉換為數字類型convert_objects從0.21.0已不推薦使用

解決：

pd.to_numeric(data['truck_length'], errors='coerce')

1.5 替換空格

問題： 替換空格，np.where(data.is_deal == ' ', 1, data.is_deal)，出現invalid type comparison錯誤

解決：

data['is_deal'] = data['is_deal'].apply(lambda x: 1 if x == " " else x)

1.6 鏈式賦值

問題： 某列滿足條件，另一列取值（出現鏈式賦值時，pandas不能夠確定到底返回的是一個引用還是一個拷貝。所以遇到這種情況就干脆報warning）：data['cargo_tag'][(data['tags_1'].str.contains('|'.join(invalid_reason)) == True)] = 'invalid'，A value is trying to be set on a copy of a slice from a DataFrame

解決：

data.loc[data['tags_1'].str.contains('|'.join(invalid_reason)) == True,'cargo_tag'] ='invalid'

1.7 python建立數據表

問題： 建數據表Failed with exception java.io.IOException

解決：

1. csv分隔符是","，

2. hive -e 單引號

1.8 判斷內容是否一致

問題： 判斷兩個list內容是否一致時，不能僅dataNew == dataOld。因為會有順序不一致的情況

解決：

dataNew.sort() dataOld.sort()

或

eval

2.把python中較難理解部分講清楚的博客

2.1 python中的main函數意義

python main函數?www.cnblogs.com__main__ --- 頂層腳本環境 - Python 3.7.4 文檔?docs.python.orgPython 中的 if __name__ == '__main__' 該如何理解?blog.konghy.cn

2.2 python中self的使用和意義

https://blog.csdn.net/CLHugh/article/details/75000104?blog.csdn.net一篇文章讓你徹底搞清楚Python中self的含義 - jessonsh - 博客園?www.cnblogs.com大家是如何理解Python中的self？?www.zhihu.com

2.3 pycharm調試分享

大咪：新手必會，pycharm的調試功能(史上最詳篇)?zhuanlan.zhihu.comhttps://www.bilibili.com/video/av40673678?www.bilibili.com

2.4 pycharm設置自動模板

Pycharm: 代碼跳轉回退?segmentfault.comhttps://blog.csdn.net/qq_32040767/article/details/78981528?blog.csdn.net人類身份驗證 - SegmentFault?segmentfault.com

2.5 crontab定時任務

https://blog.csdn.net/m0_37886429/article/details/74178091?blog.csdn.netLinux Crontab 定時任務?www.runoob.com

2.6 pickle模塊

https://blog.csdn.net/sxingming/article/details/52164249?blog.csdn.net

2.7 eval() 函數

Python eval() 函數?www.runoob.comhttps://blog.csdn.net/zhanh1218/article/details/37562167?blog.csdn.net

2.8 解決Pycharm無法導入包問題

https://blog.csdn.net/u014496330/article/details/55211398?blog.csdn.net

總結

以上是生活随笔為你收集整理的python contains类似函数_01--实际工作中，python基础理念和数据处理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。