java實現爬蟲爬網站圖片的實例代碼

第一步，實現LinkQueue，對url進行過濾和存儲的操作

import java.util.ArrayList; import java.util.Collections; import java.util.HashSet; import java.util.List; import java.util.Set; public class LinkQueue { // 已訪問的url 集合private static Set<String> visitedUrl = Collections.synchronizedSet(new HashSet<String>()); // 未訪問的url private static List<String> unVisitedUrl = Collections.synchronizedList(new ArrayList<String>()); // 未訪問的URL出隊列public static String unVisitedUrlDeQueue() { if (unVisitedUrl.size() > 0) { String url = unVisitedUrl.remove(0); visitedUrl.add(url); return url; } return null; } // 新的url添加進來的時候進行驗證，保證只是添加一次public static void addUnvisitedUrl(String url) { if (url != null && !url.trim().equals("") && !visitedUrl.contains(url) && !unVisitedUrl.contains(url)) unVisitedUrl.add(url); } // 判斷未訪問的URL隊列中是否為空public static boolean unVisitedUrlsEmpty() { return unVisitedUrl.isEmpty(); } }

第二步，收集每一個url下的鏈接進行過濾產生新的鏈接

import java.util.HashSet; import java.util.Set; import org.htmlparser.Node; import org.htmlparser.NodeFilter; import org.htmlparser.Parser; import org.htmlparser.filters.NodeClassFilter; import org.htmlparser.filters.OrFilter; import org.htmlparser.tags.LinkTag; import org.htmlparser.util.NodeList; import org.htmlparser.util.ParserException; /** * 過濾http的url，獲取可以符合規則的url * @author Administrator * */ public class ParserHttpUrl { // 獲取一個網站上的鏈接,filter 用來過濾鏈接public static Set<String> extracLinks(String url, LinkFilter filter) { Set<String> links = new HashSet<String>(); try { Parser parser = new Parser(url); // 過濾<frame >標籤的filter，用來提取frame 標籤裡的src 屬性所表示的鏈接NodeFilter frameFilter = new NodeFilter() { public boolean accept(Node node) { if (node.getText().startsWith("frame src=")) { return true; } else { return false; } } }; // OrFilter 來設置過濾<a> 標籤，和<frame> 標籤OrFilter linkFilter = new OrFilter(new NodeClassFilter( LinkTag.class), frameFilter); // 得到所有經過過濾的標籤NodeList list = parser.extractAllNodesThatMatch(linkFilter); for (int i = 0; i < list.size(); i++) { Node tag = list.elementAt(i); if (tag instanceof LinkTag)// <a> 標籤{ LinkTag link = (LinkTag) tag; String linkUrl = link.getLink();// url if (filter.accept(linkUrl)) links.add(linkUrl); } else// <frame> 標籤{ // 提取frame 裡src 屬性的鏈接如<frame src="test.html"/> String frame = tag.getText(); int start = frame.indexOf("src="); frame = frame.substring(start); int end = frame.indexOf(" "); if (end == -1) end = frame.indexOf(">"); String frameUrl = frame.substring(5, end - 1); if (filter.accept(frameUrl)) links.add(frameUrl); } } } catch (ParserException e) { e.printStackTrace(); } return links; } }

第三步，實現圖片下載功能

import java.io.File; import java.io.FileOutputStream; import java.io.InputStream; import java.net.URL; import java.net.URLConnection; import java.util.ArrayList; import java.util.List; import java.util.regex.Matcher; import java.util.regex.Pattern; /*** * java抓取網絡圖片* * @author swinglife * */ public class DownLoadPic { // 編碼private static final String ECODING = "UTF-8"; // 獲取img標籤正則private static final String IMGURL_REG = "<img.*src=(.*?)[^>]*?>"; // 獲取src路徑的正則private static final String IMGSRC_REG = "http:/"?(.*?)(/"|>|//s+)"; public static void downloadPic(String url) { // 獲得html文本內容String HTML = null; try { HTML = DownLoadPic.getHTML(url); } catch (Exception e) { e.printStackTrace(); } if (null != HTML && !"".equals(HTML)) { // 獲取圖片標籤List<String> imgUrl = DownLoadPic.getImageUrl(HTML); // 獲取圖片src地址List<String> imgSrc = DownLoadPic.getImageSrc(imgUrl); // 下載圖片DownLoadPic.download(imgSrc); } } /*** * 獲取HTML內容* * @param url * @return * @throws Exception */ private static String getHTML(String url) throws Exception { URL uri = new URL(url); URLConnection connection = uri.openConnection(); InputStream in = connection.getInputStream(); byte[] buf = new byte[1024]; int length = 0; StringBuffer sb = new StringBuffer(); while ((length = in.read(buf, 0, buf.length)) > 0) { sb.append(new String(buf, ECODING)); } in.close(); return sb.toString(); } /*** * 獲取ImageUrl地址* * @param HTML * @return */ private static List<String> getImageUrl(String HTML) { Matcher matcher = Pattern.compile(IMGURL_REG).matcher(HTML); List<String> listImgUrl = new ArrayList<String>(); while (matcher.find()) { listImgUrl.add(matcher.group()); } return listImgUrl; } /*** * 獲取ImageSrc地址* * @param listImageUrl * @return */ private static List<String> getImageSrc(List<String> listImageUrl) { List<String> listImgSrc = new ArrayList<String>(); for (String image : listImageUrl) { Matcher matcher = Pattern.compile(IMGSRC_REG).matcher(image); while (matcher.find()) { listImgSrc.add(matcher.group().substring(0, matcher.group().length() - 1)); } } return listImgSrc; } /*** * 下載圖片* * @param listImgSrc */ private static void download(List<String> listImgSrc) { for (String url : listImgSrc) { try { String imageName = url.substring(url.lastIndexOf("/") + 1, url.length()); URL uri = new URL(url); InputStream in = uri.openStream(); FileOutputStream fo = new FileOutputStream(new File(imageName)); byte[] buf = new byte[1024]; int length = 0; while ((length = in.read(buf, 0, buf.length)) != -1) { fo.write(buf, 0, length); } in.close(); fo.close(); } catch (Exception e) { e.printStackTrace(); } } } }

實在Filter接口，定義過濾接口：

 public interface Filter { public boolean accept(String url); }

第四步，過濾規則的實現：

 public class Crawler { /** * 抓取過程* * @return * @param seeds */ public void crawling(String url) { // 定義過濾器Filter filter = new Filter() { public boolean accept(String url) { //這裡過濾規則隨需要爬的網站的規則進行改變，推薦使用正則實現，本人是爬豆瓣網站if(url.indexOf("douban.com/group/topic") != -1 || url.indexOf("douban.com/group/haixiuzu/discussion?start") != -1 ) return true; else return false; } }; // 初始化URL 隊列LinkQueue.addUnvisitedUrl(url); // 循環條件，待抓取的鏈接不空while (!LinkQueue.unVisitedUrlsEmpty()) { // 隊頭URL出隊列String visitUrl = (String) LinkQueue.unVisitedUrlDeQueue(); if (visitUrl == null) continue; DownLoadPic.downloadPic(visitUrl); // 提取出下載網頁中的URL Set<String> links = ParserHttpUrl.extracLinks(visitUrl, filter); // 新的未訪問的URL 入隊for (String link : links) { LinkQueue.addUnvisitedUrl(link); } } } // main 方法入口public static void main(String[] args) { Crawler crawler = new Crawler(); crawler.crawling("http://www.douban.com/group/haixiuzu/discussion?start=0"); } }

總結

以上所述是小編給大家介紹的java實現爬蟲爬網站圖片的實例代碼，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回復大家的。在此也非常感謝大家對武林網網站的支持！