我有幾個fastq文件，平均有500.000.000行(125000.000個序列)。有沒有一種快速讀取這些fastq文件的方法。

我想做的是，讀取每個序列并使用前16個序列作為條形碼。然后統(tǒng)計每個文件中的條形碼數(shù)量。

以下是我的腳本，耗時數(shù)小時：import os, errno

from Bio import SeqIO

import gzip

files = os.listdir(".")

for file in files[:]:

if not file.endswith(".fastq.gz"):

files.remove(file)

maps = {}

for file in files:

print "Now Parsing file %s"%file

maps[file] = {}

with gzip.open(file,"r") as handle:

recs = SeqIO.parse(handle,"fastq")

for rec in recs:

tag = str(rec.seq)[0:16]

if tag not in map[file]:

maps[file][tag] = 1

else:

maps[file][tag] += 1

我有250 GB內(nèi)存和20個CPU，可以用于多線程。。。

謝謝。

總結(jié)

以上是生活随笔為你收集整理的python向服务器上传fq文件,用python-fas读取大型fastq文件的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。