前言

周末自己在家閑著沒事，刷著微信，玩著手機(jī)，發(fā)現(xiàn)自己的微信頭像該換了，就去網(wǎng)上找了一下頭像，看著圖片，自己就想著作為一個(gè)碼農(nóng)，可以把這些圖片都爬取下來做成一個(gè)微信小程序，說干就干，了解一下基本都知道怎么做了，整理分享一波給大家。

目錄：

• 安裝node，并下載依賴
• 搭建服務(wù)
• 請(qǐng)求我們要爬取的頁面，返回json

安裝node
我們開始安裝node，可以去node官網(wǎng)下載node下載地址，下載完成后運(yùn)行node使用，

node -v

安裝成功后會(huì)出現(xiàn)你所安裝的版本號(hào)。

接下來我們使用node, 打印出hello world，新建一個(gè)名為index.js文件輸入
console.log('hello world')
運(yùn)行這個(gè)文件

node index.js

就會(huì)在控制面板上輸出hello world
搭建服務(wù)器
新建一個(gè)·名為node的文件夾
首先你需要下載express依賴

npm install express

在新建一個(gè)名為demo.js的文件
目錄結(jié)構(gòu)如圖：

在demo.js引入下載的express

const express = require('express'); const app = express(); app.get('/index', function(req, res) { res.end('111') }) var server = app.listen(8081, function() {var host = server.address().addressvar port = server.address().portconsole.log("應(yīng)用實(shí)例，訪問地址為 http://%s:%s", host, port)})

運(yùn)行node demo.js簡單的服務(wù)就搭起來了，如圖：

請(qǐng)求我們要爬取的頁面
首先下載需要的依賴

npm install superagent npm install superagent-charset npm install cheerio

superagent 是用來發(fā)起請(qǐng)求的，是一個(gè)輕量的,漸進(jìn)式的ajax api,可讀性好,學(xué)習(xí)曲線低,內(nèi)部依賴nodejs原生的請(qǐng)求api,適用于nodejs環(huán)境下.，也可以使用http發(fā)起請(qǐng)求
superagent-charset防止爬取下來的數(shù)據(jù)亂碼，更改字符格式
cheerio為服務(wù)器特別定制的，快速、靈活、實(shí)施的jQuery核心實(shí)現(xiàn).。
安裝完依賴就可以引入了

var superagent = require('superagent'); var charset = require('superagent-charset'); charset(superagent); const cheerio = require('cheerio');

引入之后就請(qǐng)求我們的地址，https://www.qqtn.com/tx/weixi...

const baseUrl = 'https://www.qqtn.com/'

這些設(shè)置完之后就是發(fā)請(qǐng)求了，接下來請(qǐng)看完整代碼demo.js

var superagent = require('superagent'); var charset = require('superagent-charset'); charset(superagent); var express = require('express'); var baseUrl = 'https://www.qqtn.com/'; //輸入任何網(wǎng)址都可以 const cheerio = require('cheerio'); var app = express(); app.get('/index', function(req, res) {//設(shè)置請(qǐng)求頭res.header("Access-Control-Allow-Origin", "*");res.header('Access-Control-Allow-Methods', 'PUT, GET, POST, DELETE, OPTIONS');res.header("Access-Control-Allow-Headers", "X-Requested-With");res.header('Access-Control-Allow-Headers', 'Content-Type');//類型var type = req.query.type;//頁碼var page = req.query.page;type = type || 'weixin';page = page || '1';var route = `tx/${type}tx_${page}.html`//網(wǎng)頁頁面信息是gb2312，所以chaeset應(yīng)該為.charset('gb2312')，一般網(wǎng)頁則為utf-8,可以直接使用.charset('utf-8')superagent.get(baseUrl + route).charset('gb2312').end(function(err, sres) {var items = [];if (err) {console.log('ERR: ' + err);res.json({ code: 400, msg: err, sets: items });return;}var $ = cheerio.load(sres.text);$('div.g-main-bg ul.g-gxlist-imgbox li a').each(function(idx, element) {var $element = $(element);var $subElement = $element.find('img');var thumbImgSrc = $subElement.attr('src');items.push({title: $(element).attr('title'),href: $element.attr('href'),thumbSrc: thumbImgSrc});});res.json({ code: 200, msg: "", data: items });}); }); var server = app.listen(8081, function() {var host = server.address().addressvar port = server.address().portconsole.log("應(yīng)用實(shí)例，訪問地址為 http://%s:%s", host, port)})

運(yùn)行demo.js就會(huì)返回我們拿到的數(shù)據(jù)，一個(gè)簡單的node爬蟲就完成了，如圖：

希望可以到 項(xiàng)目node爬蟲 上點(diǎn)一個(gè) star 作為你對(duì)這個(gè)項(xiàng)目的認(rèn)可與支持，謝謝。

總結(jié)

以上是生活随笔為你收集整理的node：爬虫爬取网页图片的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。