代碼示例 Nodejs抓取非utf8字符編碼的頁面 -- Ruby's Louvre

var http = require('http'); var iconv = require('iconv-lite'); var url=require('url');var html = ""; var getURL = url.parse('http://bj.soufun.com/'); var req =http.get(getURL, function (res) {res.setEncoding('binary');//or hexres.on('data',function (data) {//加載數(shù)據(jù),一般會執(zhí)行多次html += data;}).on('end', function () {var buf=new Buffer(html,'binary');//這一步不可省略var str=iconv.decode(buf, 'GBK');//將GBK編碼的字符轉(zhuǎn)換成utf8的console.log(str);}) }).on('error', function(err) {console.log("http get error:",err);});

UTF8與GBK進行轉(zhuǎn)換，可以把Unicode作為中間編碼。
UTF8編解Unicode規(guī)則簡單，參見 UTF8
GBK編解Unicode無特定規(guī)則，一般可通過查表方式
GBK兼容ascii碼，ascii字符用一字節(jié)編碼，最高位為0，其它字符用兩位編碼，高字節(jié)從0x81。編解碼時通過此規(guī)律對單字節(jié)和雙字節(jié)字符加以區(qū)分。
由此可見，GBK是單字節(jié)、雙字節(jié)變長編碼。
理解了上面幾點后，編解碼GBK文件其實只需要一個GBK–>Unicode的碼表就夠了。
GBK編碼時，通過Unicdoe–>GBK，生成相應的GBK字節(jié)流；
GBK解碼時，通過GBK–>Unicode，生成UCS2字節(jié)流，再通過buffer.toString(‘UCS2’)即可轉(zhuǎn)換成string對象。

// npm install iconv-lite var iconv = require('iconv-lite'); var str = iconv.decode(buf, 'GBK'); //return unicode string from GBK encoded bytes var buf = iconv.encode(str, 'GBK');//return GBK encoded bytes from unicode string

轉(zhuǎn)載于:https://www.cnblogs.com/flowerszhong/p/6731250.html

總結

以上是生活随笔為你收集整理的Node 抓取非utf-8编码页面的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。