jsoup 是一款Java 的HTML解析器，可直接解析某個URL位址、HTML文字內容。它提供了一套非常省力的API，可透過DOM，CSS以及類似jQuery的操作方法來取出和操作資料。
最近手邊在做一些東西，需要一個全國各地的地域數據，從省市區到縣鎮鄉街道的。各種度娘，各種谷歌，都沒找到一個完整的數據。最後功夫不負有心人，總算找到一份相對來說比較完整的數據，但是這裡的數據也只是精確到鎮級別，沒有村一級的數據（後來通過分析數據源我知道了為什麼，呵呵），在加上部落客提供的有些數據存在冗餘，對於有強迫症和追求完美的我，心想著我一定要自己動手去把這部分數據給爬取出。
上述部落格文章的內容還算豐富，部落客是用的是php來實現的，作為2015年度程式語言排行榜的第一位，我們也不能示弱啊，下面我就帶著大家一起來看看用java怎麼從網頁當中爬取我們想要的資料...
第一步、準備工作（資料來源+工具）:
資料來源（截止目前最全面權威的官方資料）：http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2013/
爬取資料的工具（爬蟲工具）：http://jsoup.org/
第二步、資料來源分析：
首先jsoup工具的使用我在這裡就不做講解了，有興趣的可以自己去查閱。
做開發就應該多去了解一些軟體工具的使用，在平常開發過程中遇到了才知道從何下手，鼓勵大家多平時留意一些身邊的軟體工具，以備不時之需。在做這個東西以前，我也不知道jsoup要怎麼用，但我知道jsoup可以用來幹嘛，在我需要的用到的時候，再去查閱資料，自己學習。
上述的資料來源是2013年中華人民共和國國家統計局發布的，其準確性和權威性不言而喻。
接下來我們分析一下資料來源的結構，先從首頁說起：
透過分析首頁源碼我們可以得到如下3點：
1.頁面的整個佈局是用的table標籤來控制的，也就是說我們如果要通過jsoup來選擇超鏈接，那麼一定要注意，上圖中不是只要標註了省市地區的地方採用的才是表格，整個頁面中存在多個表格，因此是不可以直接透過表格
Document connect = connect("http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2013/");
Elements rowProvince = connect.select("table");
來解析資料的。
2.頁面中有超連結的部分有多少地方。可能是官方考慮到了你們這種程式設計師需要獲取這樣的數據的原因吧，頁面很乾淨，除開下方的備案號是多餘的超鏈接，其他的鏈接可以直接爬取。
3.省份城市的數據規律。包含有效資訊的表格的每一行都有一個class屬性provincetr,這個屬性很重要，至於為什麼重要，請接著往下看；每一行資料中存在多個td標籤，每一個td標籤中包含一個a超鏈接，而這個超鏈接正是我們想要的超鏈接，超鏈接的文本即使省份（直轄市等）的名稱。
再次我們再看一下一般的資料頁面（一般的資料頁麵包括市級、縣級、鎮級這三級資料展示頁面）：
之所以要把上述三個頁面放在一起，是因為透過分析我們可以發現，這三級資料的資料頁面完全一致，唯一不同的就是在html來源碼資料表格中的資料行tr的class屬性不一致，分別對應為：citytr,countrytrhe towntr。其他均一致。這樣我們就可以用一個通用的方法來解決這三個頁面的資料爬取。
接下來我們分析一下資料來源的結構，先從首頁說起：
最後來看看村一級的數據頁面：
在村一級的數據中，和上述市縣鎮的數據格式不一致，這一級所表示的數據是最低一級的，所以不存在a鏈接，因此不能採用上面市縣鎮數據的爬取方式去爬取；這裡展示數據的表格行的class為villagetr，除開這兩點以外，在每一行數據中包含三列數據，第一列是citycode,第二列是城鄉分類（市縣鎮的數據格式不存在這一項），第三列是城市名稱。
把握了以上各個要點之外，我們就可以開始編碼了。
第三步、編碼實現：
import java.io.BufferedWriter; import java.io.File; import java.io.FileWriter; import java.io.IOException; import java.util.HashMap; import java.util.Map; import org.jup.util.HashMap; import java.util.Map; import org.jup. org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; /** * 全國省市縣鎮村資料爬取* @author liushaofeng * @date -- 上午:: * @version .. */ public class JsoupTest { private static Map<Integer, String> cssMap = new HashMap<Integer, String>(); private static BufferedWriter bufferedWriter = null; static { cssMap.put(, "provincetr");// 省cssMap.put(, "citytr");// 市cssMap.put(, "countytr");// 縣cssMap.put( , "towntr");// 鎮cssMap.put(, "villagetr");// 村} public static void main(String[] args) throws IOException { int level = ; initFile(); // 取得全國各省級資訊Document connect = connect("http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhf/dm /"); Elements rowProvince = connect.select("tr." + cssMap.get(level)); for (Element provinceElement : rowProvince)// 遍歷每一行的省城{ Elements select = provinceElement.select("a"); for (Element province : select)// 每一個省(四川省) { parseNextLevel(province, level + ); } } closeStream(); } private static void initFile() { try { bufferedWriter = new BufferedWriter(new FileWriter(new File("d://CityInfo.txt"), true)); } catch (IOException e) { e.printStackTrace(); } } private static void closeStream() { if (bufferedWriter != null) { try { bufferedWriter.close(); } catch (IOException e) { e.printStackTrace(); } bufferedWriter = null; } } private static void parseNextLevel(Element parentElement, int level) throws IOException { try {睡眠一下，否則可能出現各種錯誤狀態碼} catch (InterruptedException e) { e.printStackTrace(); } Document doc = connect(parentElement.attr("abs:href")); if (doc != null) { Elements newsHeadlines = doc.select("tr." + cssMap.get (level));// // 取得表格的一行資料for (Element element : newsHeadlines) { printInfo(element, level + ); Elements select = element.select("a");// 在遞歸調用的時候，這裡是判斷是否是村一級的數據，村一級的數據沒有a標籤if (select.size() ! = ) { parseNextLevel(select.last(), level + ); } } } } /** * 寫一行資料到資料檔案中去* @param element 爬取到的資料元素* @param level 城市層級*/ private static void printInfo(Element element, int level) { try { bufferedWriter.write(element.select("td").last().text() + "{" + level + "} [" + element.select("td").first().text() + "]"); bufferedWriter.newLine(); bufferedWriter.flush(); } catch (IOException e) { e.printStackTrace(); } } private static Document connect(String url) { if (url == null || url.isEmpty()) { throw new IllegalArgumentException("The input url('" + url + "') is invalid!"); } try { return Jsoup.connect(url).timeout( * ).get(); } catch (IOException e) { e.printStackTrace(); return null; } } }資料爬取過程便是一個漫長的過程，只需要慢慢等待吧，呵呵,由於程式運行時間較長，請不要在控制台列印輸出，否則可能會影響程式運作....
最終取得到資料的格式如下（"{}"中表示城市級別，"[]"中內容表示城市編碼）：
市轄區{3}[110100000000]
東城區{4}[110101000000]
東華門街道辦事處{5}[110101001000]
多福巷社區居委會{6}[110101001001]
銀閘社區居委會{6}[110101001002]
東廠社區居委會{6}[110101001005]
智德社區居委會{6}[110101001006]
南池子社區居委會{6}[110101001007]
黃圖崗社區居委會{6}[110101001008]
燈市口社區居委會{6}[110101001009]
正義之路社區居委會{6}[110101001010]
甘雨社區居委會{6}[110101001011]
台基廠社區居委會{6}[110101001013]
韶九社區居委會{6}[110101001014]
王府井社區居委會{6}[110101001015]
景山街道辦事處{5}[110101002000]
隆福寺社區居委會{6}[110101002001]
吉祥社區居委會{6}[110101002002]
黃化門社區居委會{6}[110101002003]
鐘鼓社區居委會{6}[110101002004]
魏家社區居委會{6}[110101002005]
汪芝麻社區居委會{6}[110101002006]
景山東街社區居委會{6}[110101002008]
皇城根北街社區居委會{6}[110101002009]
交道街辦事處{5}[110101003000]
交東社區居委會{6}[110101003001]
福祥社區居委會{6}[110101003002]
大興社區居委會{6}[110101003003]
府學社區居委會{6}[110101003005]
鼓樓苑社區居委會{6}[110101003007]
菊兒社區居委會{6}[110101003008]
南鑼鼓巷社區居委會{6}[110101003009]
安定門街道辦事處{5}[110101004000]
交北頭條社區居委會{6}[110101004001]
北鑼鼓巷社區居委會{6}[110101004002]
國子監社區居委會{6}[110101004003]
.....
拿到以上資料以後，自己想幹嘛都可以自我去實現了，以上的程式碼可以直接運行，從資料來源爬取後，可以直接轉換成自己想要的格式。