Java爬蟲信息抓取的實現

今天公司有個需求，需要做一些指定網站查詢後的數據的抓取，於是花了點時間寫了個demo供演示使用。

思想很簡單：就是通過Java訪問的鏈接，然後拿到html字符串，然後就是解析鏈接等需要的數據。技術上使用Jsoup方便頁面的解析，當然Jsoup很方便，也很簡單，一行代碼就能知道怎麼用了：

 Document doc = Jsoup.connect("http://www.oschina.net/") .data("query", "Java") // 請求參數.userAgent("I ' m jsoup") // 設置User-Agent .cookie("auth", "token") // 設置cookie .timeout(3000) // 設置連接超時時間.post(); // 使用POST 方法訪問URL

下面介紹整個實現過程：

1、分析需要解析的頁面：

網址：http://www1.sxcredit.gov.cn/public/infocomquery.do?method=publicIndexQuery

頁面：

先在這個頁面上做一次查詢：觀察下請求的url，參數，method等。

這裡我們使用chrome內置的開發者工具（快捷鍵F12），下面是查詢的結果：

我們可以看到url，method，以及參數。知道瞭如何或者查詢的URL，下面就開始代碼了，為了重用與擴展，我定義了幾個類：

1、Rule.java用於指定查詢url,method,params等

package com.zhy.spider.rule; /** * 規則類* * @author zhy * */ public class Rule { /** * 鏈接*/ private String url; /** * 參數集合*/ private String[] params; /** * 參數對應的值*/ private String[] values; /** * 對返回的HTML，第一次過濾所用的標籤，請先設置type */ private String resultTagName; /** * CLASS / ID / SELECTION * 設置resultTagName的類型，默認為ID */ private int type = ID ; /** *GET / POST * 請求的類型，默認GET */ private int requestMoethod = GET ; public final static int GET = 0 ; public final static int POST = 1 ; public final static int CLASS = 0; public final static int ID = 1; public final static int SELECTION = 2; public Rule() { } public Rule(String url, String[] params, String[] values, String resultTagName, int type, int requestMoethod) { super(); this.url = url; this.params = params; this.values = values; this.resultTagName = resultTagName; this.type = type; this.requestMoethod = requestMoethod; } public String getUrl() { return url; } public void setUrl(String url) { this.url = url; } public String[] getParams() { return params; } public void setParams(String[] params) { this.params = params; } public String[] getValues() { return values; } public void setValues(String[] values) { this.values = values; } public String getResultTagName() { return resultTagName; } public void setResultTagName(String resultTagName) { this.resultTagName = resultTagName; } public int getType() { return type; } public void setType(int type) { this.type = type; } public int getRequestMoethod() { return requestMoethod; } public void setRequestMoethod(int requestMoethod) { this.requestMoethod = requestMoethod; } }

簡單說一下：這個規則類定義了我們查詢過程中需要的所有信息，方便我們的擴展，以及代碼的重用，我們不可能針對每個需要抓取的網站寫一套代碼。

2、需要的數據對象，目前只需要鏈接，LinkTypeData.java

 package com.zhy.spider.bean; public class LinkTypeData { private int id; /** * 鏈接的地址*/ private String linkHref; /** * 鏈接的標題*/ private String linkText; /** * 摘要*/ private String summary; /** * 內容*/ private String content; public int getId() { return id; } public void setId(int id) { this.id = id; } public String getLinkHref() { return linkHref; } public void setLinkHref(String linkHref) { this.linkHref = linkHref; } public String getLinkText() { return linkText; } public void setLinkText(String linkText) { this.linkText = linkText; } public String getSummary() { return summary; } public void setSummary(String summary) { this.summary = summary; } public String getContent() { return content; } public void setContent(String content) { this.content = content; } }

3、核心的查詢類：ExtractService.java

 package com.zhy.spider.core; import java.io.IOException; import java.util.ArrayList; import java.util.List; import java.util.Map; import javax.swing.plaf.TextUI; import org.jsoup.Connection; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; import com.zhy.spider.bean.LinkTypeData; import com.zhy.spider.rule.Rule; import com.zhy.spider.rule.RuleException; import com.zhy.spider.util.TextUtil; /** * * @author zhy * */ public class ExtractService { /** * @param rule * @return */ public static List<LinkTypeData> extract(Rule rule) { // 進行對rule的必要校驗validateRule(rule); List<LinkTypeData> datas = new ArrayList<LinkTypeData>(); LinkTypeData data = null; try { /** * 解析rule */ String url = rule.getUrl(); String[] params = rule.getParams(); String[] values = rule.getValues(); String resultTagName = rule.getResultTagName(); int type = rule.getType(); int requestType = rule.getRequestMoethod(); Connection conn = Jsoup.connect(url); // 設置查詢參數if (params != null) { for (int i = 0; i < params.length; i++) { conn.data(params[i], values[i]); } } // 設置請求類型Document doc = null; switch (requestType) { case Rule.GET: doc = conn.timeout(100000).get(); break; case Rule.POST: doc = conn.timeout(100000).post(); break; } //處理返回數據Elements results = new Elements(); switch (type) { case Rule.CLASS: results = doc.getElementsByClass(resultTagName); break; case Rule.ID: Element result = doc.getElementById(resultTagName); results.add(result); break; case Rule.SELECTION: results = doc.select(resultTagName); break; default: //當resultTagName為空時默認去body標籤if (TextUtil.isEmpty(resultTagName)) { results = doc.getElementsByTag("body"); } } for (Element result : results) { Elements links = result.getElementsByTag("a"); for (Element link : links) { //必要的篩選String linkHref = link.attr("href"); String linkText = link.text(); data = new LinkTypeData(); data.setLinkHref(linkHref); data.setLinkText(linkText); datas.add(data); } } } catch (IOException e) { e.printStackTrace(); } return datas; } /** * 對傳入的參數進行必要的校驗*/ private static void validateRule(Rule rule) { String url = rule.getUrl(); if (TextUtil.isEmpty(url)) { throw new RuleException("url不能為空！ "); } if (!url.startsWith("http://")) { throw new RuleException("url的格式不正確！"); } if (rule.getParams() != null && rule.getValues() != null) { if (rule.getParams().length != rule.getValues().length) { throw new RuleException("參數的鍵值對個數不匹配！"); } } } }

4、裡面用了一個異常類：RuleException.java

 package com.zhy.spider.rule; public class RuleException extends RuntimeException { public RuleException() { super(); // TODO Auto-generated constructor stub } public RuleException(String message, Throwable cause) { super(message, cause); // TODO Auto-generated constructor stub } public RuleException(String message) { super(message); // TODO Auto-generated constructor stub } public RuleException(Throwable cause) { super(cause); // TODO Auto-generated constructor stub } }

5、最後是測試了：這裡使用了兩個網站進行測試，採用了不同的規則，具體看代碼吧

package com.zhy.spider.test; import java.util.List; import com.zhy.spider.bean.LinkTypeData; import com.zhy.spider.core.ExtractService; import com.zhy.spider.rule.Rule; public class Test { @org.junit.Test public void getDatasByClass() { Rule rule = new Rule( "http://www1.sxcredit.gov.cn/public/infocomquery.do?method=publicIndexQuery", new String[] { "query.enterprisename","query.registationnumber" }, new String[] { "興網","" }, "cont_right", Rule.CLASS, Rule.POST); List<LinkTypeData> extracts = ExtractService.extract(rule); printf(extracts); } @org.junit.Test public void getDatasByCssQuery() { Rule rule = new Rule("http://www.11315.com/search", new String[] { "name" }, new String[] { "興網" }, "div.g-mn div.con-model", Rule.SELECTION, Rule.GET); List<LinkTypeData> extracts = ExtractService.extract(rule); printf(extracts); } public void printf(List<LinkTypeData> datas) { for (LinkTypeData data : datas) { System.out.println(data.getLinkText()); System.out.println(data.getLinkHref()); System.out.println("***********************************"); } } }

輸出結果：

深圳市網興科技有限公司http://14603257.11315.com *********************************** 荊州市興網公路物資有限公司http://05155980.11315.com *********************************** 西安市全興網吧# *********************************** 子長縣新興網城# *********************************** 陝西同興網絡信息有限責任公司第三分公司# *********************************** 西安高興網絡科技有限公司# *********************************** 陝西同興網絡信息有限責任公司西安分公司# ***********************************

最後使用一個Baidu新聞來測試我們的代碼：說明我們的代碼是通用的。

 /** * 使用百度新聞，只設置url和關鍵字與返回類型*/ @org.junit.Test public void getDatasByCssQueryUserBaidu() { Rule rule = new Rule("http://news.baidu.com/ns", new String[] { "word" }, new String[] { "支付寶" }, null, -1, Rule.GET); List<LinkTypeData> extracts = ExtractService.extract(rule); printf(extracts); }

我們只設置了鏈接、關鍵字、和請求類型，不設置具體的篩選條件。

結果：有一定的垃圾數據是肯定的，但是需要的數據肯定也抓取出來了。我們可以設置Rule.SECTION,以及篩選條件進一步的限制。

按時間排序/ns?word=支付寶&ie=utf-8&bs=支付寶&sr=0&cl=2&rn=20&tn=news&ct=0&clk=sortbytime *********************************** x javascript:void(0) *********************************** 支付寶將聯合多方共建安全基金首批投入4000萬http://finance.ifeng.com/a/20140409/12081871_0.shtml *********************************** 7條相同新聞/ns?word=%E6%94%AF%E4%BB%98%E5%AE%9D+cont:2465146414%7C697779368%7C3832159921&same=7&cl=1&tn=news&rn=30&fm=sd *********************************** 百度快照http://cache.baidu.com/c?m=9d78d513d9d437ab4f9e91697d1cc0161d4381132ba7d3020cd0870fd33a541b0120a1ac26510d19879e20345dfe1e4bea876d26605f75a09bbfd91782a6c1352f8a2432721a844a0fd019adc1452fc423875d9dad0ee7cdb168d5f18c&p=c96ec64ad48b2def49bd9b780b64&newp=c4769a4790934ea95ea28e281c4092695912c10e3dd796&user=baidu&fm=sc&query=%D6%A7%B8%B6%B1%A6&qid=a400f3660007a6c5&p1=1 *********************************** OpenSSL漏洞涉及眾多網站支付寶稱暫無數據洩露http://tech.ifeng.com/internet/detail_2014_04/09/35590390_0.shtml *********************************** 26條相同新聞/ns?word=%E6%94%AF%E4%BB%98%E5%AE%9D+cont:3869124100&same=26&cl=1&tn=news&rn=30&fm=sd *********************************** 百度快照http://cache.baidu.com/c?m=9f65cb4a8c8507ed4fece7631050803743438014678387492ac3933fc239045c1c3aa5ec677e4742ce932b2152f4174bed843670340537b0efca8e57dfb08f29288f2c367117845615a71bb8cb31649b66cf04fdea44a7ecff25e5aac5a0da4323c044757e97f1fb4d7017dd1cf4&p=8b2a970d95df11a05aa4c32013&newp=9e39c64ad4dd50fa40bd9b7c5253d8304503c52251d5ce042acc&user=baidu&fm=sc&query=%D6%A7%B8%B6%B1%A6&qid=a400f3660007a6c5&p1=2 *********************************** 雅虎日本6月起開始支持支付寶付款http://www.techweb.com.cn/ucweb/news/id/2025843 ***********************************

如果有什麼不足，可以指出；如果覺得對你有用，頂一下~~哈哈

源碼下載，點擊這裡。

以上就是Java 爬蟲信息抓取的實例，後續繼續補充相關資料，謝謝大家對本站的支持！