Python讀寫csv文件

覺得有用的話,歡迎一起討論相互學(xué)習(xí)~Follow Me

前言

逗號(hào)分隔值(Comma-Separated Values，CSV，有時(shí)也稱為字符分隔值，因?yàn)榉指糇址部梢圆皇嵌禾?hào))，其文件以純文本形式存儲(chǔ)表格數(shù)據(jù)(數(shù)字和文本)。純文本意味著該文件是一個(gè)字符序列，不含必須像二進(jìn)制數(shù)字那樣被解讀的數(shù)據(jù)。CSV文件由任意數(shù)目的記錄組成，記錄間以某種換行符分隔；每條記錄由字段組成，字段間的分隔符是其它字符或字符串，最常見的是逗號(hào)或制表符。通常，所有記錄都有完全相同的字段序列.

特點(diǎn)

讀取出的數(shù)據(jù)一般為字符類型，如果是數(shù)字需要人為轉(zhuǎn)換為數(shù)字

以行為單位讀取數(shù)據(jù)

列之間以半角逗號(hào)或制表符為分隔，一般為半角逗號(hào)

一般為每行開頭不空格，第一行是屬性列，數(shù)據(jù)列之間以間隔符為間隔無空格，行之間無空行。

行之間無空行十分重要，如果有空行或者數(shù)據(jù)集中行末有空格，讀取數(shù)據(jù)時(shí)一般會(huì)出錯(cuò)，引發(fā)[list index out of range]錯(cuò)誤。PS：已經(jīng)被這個(gè)錯(cuò)誤坑過很多次！

使用python I/O寫入和讀取CSV文件

使用PythonI/O寫入csv文件

以下是將"birthweight.dat"低出生體重的dat文件從作者源處下載下來，并且將其處理后保存到csv文件中的代碼。

import csv

import os

import numpy as np

import random

import requests

# name of data file

# 數(shù)據(jù)集名稱

birth_weight_file = 'birth_weight.csv'

# download data and create data file if file does not exist in current directory

# 如果當(dāng)前文件夾下沒有birth_weight.csv數(shù)據(jù)集則下載dat文件并生成csv文件

if not os.path.exists(birth_weight_file):

birthdata_url = 'https://github.com/nfmcclure/tensorflow_cookbook/raw/master/01_Introduction/07_Working_with_Data_Sources/birthweight_data/birthweight.dat'

birth_file = requests.get(birthdata_url)

birth_data = birth_file.text.split('\r\n')

# split分割函數(shù),以一行作為分割函數(shù)，windows中換行符號(hào)為'\r\n',每一行后面都有一個(gè)'\r\n'符號(hào)。

birth_header = birth_data[0].split('\t')

# 每一列的標(biāo)題，標(biāo)在第一行，即是birth_data的第一個(gè)數(shù)據(jù)。并使用制表符作為劃分。

birth_data = [[float(x) for x in y.split('\t') if len(x) >= 1] for y in birth_data[1:] if len(y) >= 1]

print(np.array(birth_data).shape)

# (189, 9)

# 此為list數(shù)據(jù)形式不是numpy數(shù)組不能使用np,shape函數(shù),但是我們可以使用np.array函數(shù)將list對(duì)象轉(zhuǎn)化為numpy數(shù)組后使用shape屬性進(jìn)行查看。

with open(birth_weight_file, "w", newline='') as f:

# with open(birth_weight_file, "w") as f:

writer = csv.writer(f)

writer.writerows([birth_header])

writer.writerows(birth_data)

f.close()

常見錯(cuò)誤list index out of range

其中我們重點(diǎn)需要講的是 with open(birth_weight_file, "w", newline='') as f: 這個(gè)語句。表示寫入csv文件,如果不加上參數(shù) newline='' 表示以空格作為換行符，而是用 with open(birth_weight_file, "w") as f: 語句。則生成的表格中會(huì)出現(xiàn)空行。

不僅僅是用python I/O進(jìn)行csv數(shù)據(jù)的讀寫時(shí)，利用其余方法讀寫csv數(shù)據(jù)，或者從網(wǎng)上下載好csv數(shù)據(jù)集后都需要查看其每行后有沒有空格，或者有沒有多余的空行。避免不必要的錯(cuò)誤~影響數(shù)據(jù)分析時(shí)的判斷。

使用PythonI/O讀取csv文件

使用python I/O方法進(jìn)行讀取時(shí)即是新建一個(gè)List 列表然后按照先行后列的順序(類似C語言中的二維數(shù)組)將數(shù)據(jù)存進(jìn)空的List對(duì)象中，如果需要將其轉(zhuǎn)化為numpy 數(shù)組也可以使用np.array(List name)進(jìn)行對(duì)象之間的轉(zhuǎn)化。

birth_data = []

with open(birth_weight_file) as csvfile:

csv_reader = csv.reader(csvfile) # 使用csv.reader讀取csvfile中的文件

birth_header = next(csv_reader) # 讀取第一行每一列的標(biāo)題

for row in csv_reader: # 將csv 文件中的數(shù)據(jù)保存到birth_data中

birth_data.append(row)

birth_data = [[float(x) for x in row] for row in birth_data] # 將數(shù)據(jù)從string形式轉(zhuǎn)換為float形式

birth_data = np.array(birth_data) # 將list數(shù)組轉(zhuǎn)化成array數(shù)組便于查看數(shù)據(jù)結(jié)構(gòu)

birth_header = np.array(birth_header)

print(birth_data.shape) # 利用.shape查看結(jié)構(gòu)。

print(birth_header.shape)

#

# (189, 9)

# (9,)

使用Pandas讀取CSV文件

import pandas as pd

csv_data = pd.read_csv('birth_weight.csv') # 讀取訓(xùn)練數(shù)據(jù)

print(csv_data.shape) # (189, 9)

N = 5

csv_batch_data = csv_data.tail(N) # 取后5條數(shù)據(jù)

print(csv_batch_data.shape) # (5, 9)

train_batch_data = csv_batch_data[list(range(3, 6))] # 取這20條數(shù)據(jù)的3到5列值(索引從0開始)

print(train_batch_data)

# RACE SMOKE PTL

# 184 0.0 0.0 0.0

# 185 0.0 0.0 1.0

# 186 0.0 1.0 0.0

# 187 0.0 0.0 0.0

# 188 0.0 0.0 1.0

使用Tensorflow讀取CSV文件

本人在平時(shí)一般都是使用Tensorflow處理各類數(shù)據(jù)，所以對(duì)于使用Tensorflow讀取數(shù)據(jù)在此不過多的進(jìn)行解釋。下面貼上一段代碼，如果有不懂的地方可以看我原來的博客內(nèi)容。

'''使用Tensorflow讀取csv數(shù)據(jù)'''

filename = 'birth_weight.csv'

file_queue = tf.train.string_input_producer([filename]) # 設(shè)置文件名隊(duì)列，這樣做能夠批量讀取文件夾中的文件

reader = tf.TextLineReader(skip_header_lines=1) # 使用tensorflow文本行閱讀器，并且設(shè)置忽略第一行

key, value = reader.read(file_queue)

defaults = [[0.], [0.], [0.], [0.], [0.], [0.], [0.], [0.], [0.]] # 設(shè)置列屬性的數(shù)據(jù)格式

LOW, AGE, LWT, RACE, SMOKE, PTL, HT, UI, BWT = tf.decode_csv(value, defaults)

# 將讀取的數(shù)據(jù)編碼為我們?cè)O(shè)置的默認(rèn)格式

vertor_example = tf.stack([AGE, LWT, RACE, SMOKE, PTL, HT, UI]) # 讀取得到的中間7列屬性為訓(xùn)練特征

vertor_label = tf.stack([BWT]) # 讀取得到的BWT值表示訓(xùn)練標(biāo)簽

# 用于給取出的數(shù)據(jù)添加上batch_size維度，以批處理的方式讀出數(shù)據(jù)。可以設(shè)置批處理數(shù)據(jù)大小，是否重復(fù)讀取數(shù)據(jù)，容量大小，隊(duì)列末尾大小，讀取線程等屬性。

example_batch, label_batch = tf.train.shuffle_batch([vertor_example, vertor_label], batch_size=10, capacity=100, min_after_dequeue=10)

# 初始化Session

with tf.Session() as sess:

coord = tf.train.Coordinator() # 線程管理器

threads = tf.train.start_queue_runners(coord=coord)

print(sess.run(tf.shape(example_batch))) # [10 7]

print(sess.run(tf.shape(label_batch))) # [10 1]

print(sess.run(example_batch)[3]) # [ 19. 91. 0. 1. 1. 0. 1.]

coord.request_stop()

coord.join(threads)

'''

對(duì)于使用所有Tensorflow的I/O操作來說開啟和關(guān)閉線程管理器都是必要的操作

with tf.Session() as sess:

coord = tf.train.Coordinator() # 線程管理器

threads = tf.train.start_queue_runners(coord=coord)

# Your code here~

coord.request_stop()

coord.join(threads)

'''

還有其他使用python讀取文件的各種方法，這里介紹三種，不定期進(jìn)行補(bǔ)充。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的python读csv最快方法_使用Python读写csv文件的三种方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。