目標：爬影視網(wǎng)站ts文件到本地，合并成mp4文件

下載ts文件

本著不重復(fù)造輪子的精神(好吧其實是我懶)，想用迅雷批量下載爬取，但是迅雷提供的通配符過于簡單無法構(gòu)造URL，只能自己寫腳本

如下：

# -*- coding: utf-8 -*-

import os

import requests

from multiprocessing import Pool

OVER_INDEX = 1600

L = 6

def download(url, n):

try:

r = requests.get(url)

if r.status_code != 200:

print("Requests Failed Code:{},Msg:{}".format(r.status_code, r.text))

print("{}.ts DownLoading...".format(n))

with open("./video/{}.ts".format(n), "wb") as f:

f.write(r.content)

print("{}.ts DownLoad Over...".format(n))

except Exception as e:

print(e)

if __name__ == '__main__':

po = Pool(100)

for i in range(OVER_INDEX):

distance = L - len(str(i))

n = "{}{}".format("0" * distance, i) if distance != 0 else i

url = "https://youku.cdn7-okzy.com/20200204/16986_7277c4b6/1000k/hls/ac79fd06c1b{}.ts".format(n)

po.apply_async(download, args=(url, n))

po.close()

po.join()

print("Over File DownLoad...")

異常

爬取二進制文件使用

r.content()

多進程池爬取后期表現(xiàn)為，順序執(zhí)行(跟單進程無異)

netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}

查看發(fā)現(xiàn) TIME_WAIT 79，查看監(jiān)視器，并不是網(wǎng)絡(luò)資源耗盡，查看multiprocessing發(fā)現(xiàn)，猜想池中維持指定個數(shù)進程，一個任務(wù)結(jié)束才會執(zhí)行下一個任務(wù)，如果達到平衡狀態(tài)，一段時間內(nèi)進程池內(nèi)只有一個空位，那么表現(xiàn)就會想像同步執(zhí)行。嘗試擴容進程池改，運行正常

po = Pool(100)

爬取文件結(jié)束，開始合并

因為是Mac環(huán)境，無法使用Win自帶copy命令，各腳本不是失效就是報錯，軟件也寥寥無幾

經(jīng)查文檔，采取如下方案

安裝 FFmepg

brew install ffmpeg

各種庫一堆裝，忘記了換源，下載編譯了好幾小時，還好沒報錯。

合并

ffmpeg -f concat -i file_list.txt -c copy output.mp4

其中file_list為如下格式文本文件

file 'input1.ts'

file 'input2.ts'

file 'input3.ts'

采用腳本生成

filePath = "/Users/ls/project/DownVideo/video"

file_list=sorted(os.listdir(filePath))

with open("./video/file_list.txt","w+") as f:

for file in file_list:

f.write("file '{}'\n".format(file))

結(jié)束

到這里倒騰結(jié)束了，寫腳本沒有花太多時間，主要查找合并ts到mp4的辦法，如果是win copy是真的簡單，格式工廠這類軟件也多，但在Mac下就要自己動手豐衣足食，各有各的好處。后面可以利用tqbm擴展進度條，和利用retry增加爬取異常時重試機制。

總結(jié)

以上是生活随笔為你收集整理的python拼接大量ts文件_Python爬取.ts文件，合并为mp4的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。