Java爬蟲實現爬取京東上的手機搜索頁面HttpCliient+Jsoup

1、需求及配置

需求：爬取京東手機搜索頁面的信息，記錄各手機的名稱，價格，評論數等，形成一個可用於實際分析的數據表格。

使用Maven項目，log4j記錄日誌，日誌僅導出到控制台。

Maven依賴如下（pom.xml）

 <dependencies> <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.3</version> </dependency> <dependency> <!-- jsoup HTML parser library @ https://jsoup.org/ --> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.11.2</version> </dependency> <!-- https://mvnrepository.com/artifact/log4j/log4j --> <dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> <version>1.2.17</version> </dependency> </dependencies>

log4j配置（log4j.properties），將INFO及以上等級信息輸出到控制台，不單獨設置輸出文檔。

 log4j.rootLogger=INFO, Console #Console log4j.appender.Console=org.apache.log4j.ConsoleAppenderlog4j.appender.Console.layout=org.apache.log4j.PatternLayoutlog4j.appender.Console.layout.ConversionPattern=%d [%t] %-5p [%c] - %m%n

2、需求分析與代碼

2.1需求分析

第一步，建立客戶端與服務端的連接，並通過URL獲得網頁上的HTML內容。

第二步，解析HTML內容，獲取需要的元素。

第三步，將HTML內容輸出到本地的文本文檔中，可直接通過其他數據分析軟件進行分析。

根據以上分析，建立4個類，GetHTML（用於獲取網站HTML）, ParseHTML（用於解析HTML）, WriteTo（用於輸出文檔）, Maincontrol（主控）.下面分別對四個類進行說明。為使代碼盡量簡潔，所有的異常均從方法上直接拋出，不catch。

2.2代碼

2.2.1GetHTML類

該類包含兩個方法：getH(String url), urlControl(String baseurl, int page)，分別用於獲取網頁HTML及控制URL。由於此次爬取的網頁內容只是京東上某一類商品的搜索結果，所以不需要對頁面上所有的URL進行遍歷，只需要觀察翻頁時URL的變化，推出規律即可。只向外暴露urlControl方法，類中設置一個private的log屬性：private static Logger log = Logger.getLogger(getHTML.class); 用於記錄日誌。

getH(String url)，對單個URL的HTML內容進行獲取。

urlControl(String baseurl, int page)，設置循環，訪問多個頁面的數據。通過審查元素可以看到京東上搜索頁page的變化實際是奇數順序的變化。

再看一下點擊後網址的變化，可以發現實際變化的是page屬性的值。通過拼接的方式就可以很的容易的獲得下一個網頁的地址。

https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&cid2=653&cid3=655&page=3&s=47&click=0
https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&cid2=653&cid3=655&page=5&s=111&click=0
https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&cid2=653&cid3=655&page=7&s=162&click=0

整體代碼：

 import java.io.IOException;import org.apache.http.HttpEntity;import org.apache.http.client.ClientProtocolException;import org.apache.http.client.methods.CloseableHttpResponse;import org.apache.http.client.methods.HttpGet;import org.apache.http.impl.client.CloseableHttpClient;import org.apache.http.impl.client.HttpClients;import org.apache.http.util.EntityUtils;import org.apache.log4j.Logger;public class getHTML { //建立日誌private static Logger log = Logger.getLogger(getHTML.class); private static String getH(String url) throws ClientProtocolException, IOException { //控制台輸出日誌，這樣每條訪問的URL都可以在控制台上看到訪問情況log.info("正在解析" + url); /* * 以下內容為HttpClient建立連接的一般用法* 使用HttpClient建立客戶端* 使用get方法訪問指定URL * 獲得應答* */ CloseableHttpClient client = HttpClients.createDefault(); HttpGet get = new HttpGet(url); CloseableHttpResponse response = client.execute(get); /* * 以下內容為將HTML內容轉化為String * 獲得應答體* 將應答體轉為String格式，此處使用了EntityUtils中的toString方法，編碼格式設置為"utf-8" * 完成後關閉客戶端與應答* */ HttpEntity entity = response.getEntity(); String content; if (entity != null) { content = EntityUtils.toString(entity, "utf-8"); client.close(); response.close(); return content; } else return null; } public static void urlControl(String baseurl, int page) throws ClientProtocolException, IOException { //設置當前頁count int count = 1; //如果當前頁小於想要爬取的頁數則執行while (count < page) { //實際訪問的URL為不變的URL值拼接上URL變化的值String u = baseurl + (2 * count - 1) + "&click=0"; //此處調用ParseHTML類中的方法對URL中的HTML頁面進行處理，後面詳細介紹該類String content = ParseHTML.parse(getH(u)).toString(); //此處調用WriteTo類中的方法對解析出來的內容寫入到本地，後面詳細介紹該類WriteTo.writeto(content); count++; } }}

2.2.2ParseHTML類

該步驟需要通過審查元素對需要爬取內容的標籤進行確定，再通過Jsoup中的CSS選擇器進行獲取。

 import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Elements;public class ParseHTML { public static StringBuilder parse(String content) { //使用Jsoup中的parse方法對已經轉換為String的HTML內容進行分析，返回值為Document類Document doc = Jsoup.parse(content); //使用選擇器select對需要找的元素進行抓取，例如第一個select中選擇的是ul標籤中class屬性等於gl-warp clearfix的內容Elements ele = doc.select("ul[class = gl-warp clearfix]").select("li[class=gl-item]"); //設置一個容器，用於裝各個屬性StringBuilder sb = new StringBuilder(); //通過上一個選擇器可以獲得整個頁面中所有符合要求的元素，也即各款手機，下面則需要對每款手機進行遍歷，獲取其屬性for (Element e : ele) { //此處對各個屬性的獲取參考了網上一篇爬取京東上內容的文章，應該有其他不同的寫法String id = e.attr("data-pid"); String mingzi = e.select("div[class = p-name p-name-type-2]").select("a").select("em").text(); String jiage = e.select("div[class=p-price]").select("strong").select("i").text(); String pinglun = e.select("div[class=p-commit]").select("strong").select("a").text(); //向容器中添加屬性sb.append(id+"/t"); sb.append(mingzi+"/t"); sb.append(jiage+"/t"); sb.append(pinglun+"/t"); sb.append("/r/n"); } return sb; }}

2.2.3WriteTo類

此類中的方法將解析完成的內容寫入到一個本地文件中。只是簡單的IO。

 import java.io.BufferedWriter;import java.io.File;import java.io.FileWriter;import java.io.IOException;public class WriteTo { // 設置文件存放的位置private static File f = new File("C://jingdong.txt"); public static void writeto(String content) throws IOException { //使用續寫的方式，以免覆蓋前面寫入的內容BufferedWriter bw = new BufferedWriter(new FileWriter(f, true)); bw.append(content); bw.flush(); bw.close(); }}

2.2.4MainControl類

主控程序，寫入基地址與想要獲取的頁面數。調用getHTML類中的urlControl方法對頁面進行抓取。

 import java.io.IOException;import org.apache.http.client.ClientProtocolException;public class MainControl { public static void main(String[] args) throws ClientProtocolException, IOException { // TODO Auto-generated method stub String baseurl = "https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=" + "utf-8&qrst=1&rt=1&stop=1&vt=2&cid2=653&cid3=655&page="; int page = 5;//設置爬取頁數getHTML.urlControl(baseurl, page); }}

3、爬取結果

爬取20頁。

3.1控制台輸出

3.2文檔輸出

可以直接使用Excel打開，分隔符為製表符。列分別為商品編號，名稱，價格與評論數。

4、小結

此次爬取使用了HttpClient與Jsoup，可以看到對於簡單的需求，這些工具還是非常高效的。實際上也可以把所有類寫到一個類當中，寫多個類的方式思路比較清晰。

以上這篇Java爬蟲實現爬取京東上的手機搜索頁面HttpCliient+Jsoup就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持武林網。