Node.js抓取中文網頁亂碼問題和解決方法

Node.js 抓取非utf-8 的中文網頁時會出現亂碼問題，比如網易的首頁編碼是gb2312，抓取時會出現亂碼

複製代碼代碼如下:

var request = require('request')

var url = 'http://www.163.com'

request(url, function (err, res, body) {

console.log(body)

})

可以使用iconv-lite 來解決

安裝

複製代碼代碼如下:

npm install iconv-lite

同時我們順帶把user-agent 修改一下，以防網站屏蔽：

複製代碼代碼如下:

var originRequest = require('request')

var iconv = require('iconv-lite')

var headers = {

'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'

}

function request (url, callback) {

var options = {

url: url,

encoding: null,

headers: headers

}

originRequest(options, callback)

}

request(url, function (err, res, body) {

var html = iconv.decode(body, 'gb2312')

console.log(html)

})

亂碼問題解決

使用cheerio 解析HTML

cheerio 可以簡單粗暴的理解為服務器端jQuery 選擇器，有了它，比正則要更加直觀許多

安裝

複製代碼代碼如下:

npm install cheerio

request(url, function (err, res, body) {

var html = iconv.decode(body, 'gb2312')

var $ = cheerio.load(html)

console.log($('h1').text())

console.log($('h1').html())

})

輸出如下

複製代碼代碼如下:

網易

網易

那麼問題來了，$('h1').html() 輸出的代碼是經過Unicode 編碼的，網易變成了網易，給我們的字符處理帶來了一些麻煩

解決cheerio .html() 「亂碼」問題

查閱文檔可知，可以關閉這個轉換實體編碼的功能

複製代碼代碼如下:

var $ = cheerio.load(html)

改成

複製代碼代碼如下:

var $ = cheerio.load(html, {decodeEntities: false})

即可，完整代碼如下：

複製代碼代碼如下:

var originRequest = require('request')

var cheerio = require('cheerio')

var iconv = require('iconv-lite')

var headers = {

'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'

}

function request (url, callback) {

var options = {

url: url,

encoding: null,

headers: headers

}

originRequest(options, callback)

}

var url = 'http://www.163.com'

request(url, function (err, res, body) {

var html = iconv.decode(body, 'gb2312')

var $ = cheerio.load(html, {decodeEntities: false})

console.log($('h1').text())

console.log($('h1').html())

})