1、安裝Python requests模塊（通過(guò)pip）：

環(huán)境搭建好了！

2、測(cè)試一下抓取URL的過(guò)程：

抓取出來(lái)的URL有JavaScript代碼，正則上還有待更加完善，有興趣的可以研究下~！

工具源代碼:

#coding:utf-8

import sys

import re

import requests

#獲取輸入U(xiǎn)RL，并獲取網(wǎng)頁(yè)text

input = raw_input("please input URL format like this(http://www.baidu.com):")

print 'input : %s' % input

r = requests.get(input)

data = r.text

#利用正則查找所有URL

link_list =re.findall(r"(?<=href=\").+?(?=\")|(?<=href=\').+?(?=\')" ,data)

count = 0

for url in link_list:

??? file = open("c:\\test.txt", "a")

??? file.write(url+"\n")

??? count = count + 1

??? print url

print '\n'

print 'total URL is:' + str(count)

print '\n'

print 'crawling achieve...'

file.close()

總結(jié)

以上是生活随笔為你收集整理的python抓取网站URL小工具的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。