Kata pengantar:
Gelombang pertama internet telah menghilang sekarang. Dengan era Internet of Things yang akan datang berdasarkan ribuan data, data telah menjadi salah satu sumber daya strategis penting dari perusahaan. Berdasarkan teknologi merangkak data, artikel ini memperkenalkan alat merangkak terkait Java dan melampirkan kode sumber demo untuk teman yang tertarik untuk diuji!
1) JDK dilengkapi dengan koneksi http untuk mendapatkan halaman atau json
2) JDK dilengkapi dengan koneksi URL sendiri untuk mendapatkan halaman atau JSON
3) HTTPClient Get Tool, Dapatkan Halaman atau JSON
4) alat commons-io, dapatkan halaman atau json
5) Alat JSoup (biasanya digunakan untuk parsing lapangan HTML), dapatkan halaman, format pengembalian tanpa json】
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Kode Lengkap:
Paket com.yeezhao.common.http; import java.io.bufferedreader; import java.io.inputstream; import java.io.inputStreamReader; import java.net.htpurlconnection; impor java.net.url; impor.apachecache.apommache.homon.htpontpon. org.apache.commons.httpclient.httpmethod; import org.apache.commons.httpclient.methods.getmethod; import org.apache.commons.iOutils; classion * @ @ @ @ @jsoup;/** ** ** http, classion * @ @ @ @ @ @ @jsoup;/** ** ** ** http, decimpa * @ @ @ @ @ @jsoup;/** ** ** ** http, cladon * @ @ @ @ @jsoup;/** ** ** ** ** ** ** DEXCIVERICE * @A. Httpfetchutil { / ** * Dapatkan kode status akses * @param request * @return * @throws Exception * / public static int getResponsecode (String Request) melempar pengecualian {url url = URL baru (permintaan); HttpurlConnection conn = (httpurlconnection) url.openconnection (); return conn.getResponsecode (); } / ** * 1) JDK dilengkapi dengan koneksi http untuk mendapatkan halaman atau json * @param permintaan * @param charset * @return * @throws Exception * / public static string jdkfetch (permintaan string, string charset) melempar pengecualian {url url = URL baru (permintaan); HttpurlConnection conn = (httpurlconnection) url.openconnection (); // mengejek parameter browser Conn.setRequestProperty ("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebkit/537.36" + "(KHTML, Like Gecko) Chrome/45.0.2454.101 Safari/537.37.37.36"); if (conn.getResponsecode () == httpUrlConnection.http_ok) {inputStream input = conn.getInputStream (); StringBuffer SB = StringBuffer baru (); BufferedReader Reader = BufferedReader baru (inputStreamReader baru (input, charset)); String s; while ((s = reader.readline ())! = null) {sb.append (s + "/n"); } input.close (); Conn.Disconnect (); return sb.tostring (); } kembali ""; } / ** * 2) JDK dilengkapi dengan koneksi URL sendiri untuk mendapatkan halaman atau json * @param permintaan * @param charset * @return * @throws Exception * / public static string urlfetch (permintaan string, string charset) melempar pengecualian {url url = URL baru (permintaan); return ioutils.tostring (url.openstream ()); } / ** * 3. httpclient.getParams (). setContentCharset (charset); HTTPMethod Metode = GetMethod baru (URL); httpclient.executemethod (metode); return method.getResponseBodyAsstring (); } / ** * 4) alat commons-io, dapatkan halaman atau json * @param url * @param charset * @return * @throws Exception * / public static string commonsiofetch (string url, string charset) melempar pengecualian {return ioutils.tostring (URL baru (url), charset); } / ** * 5) alat jsoup (biasanya digunakan untuk parsing bidang html), dapatkan halaman, format pengembalian non-json * @param url * @return * @throws Exception * / string statis public jsoupfetch (string url) melempar pengecualian {return jsoup.parse (new url (url), 2 * }}Kode Uji:
Paket com.yeezhao.common.http; impor org.junit.after; impor org.junit.Before; impor org.junit.test;/*** Kelas Uji* 3 Tautan Tes:* 1) KONSEN PUTIF* @2) Simulasi Browser untuk mendapatkan data antarmuka antarmuka*). Httpfetchutiltest {string seeds [] = {"http://baike.baidu.com/view/1.htm","http://m.ximalaya.com/tracks/26096131.json" ,"http:// remyapi.yeezhao.com/api/Query?wd=%E5%91%A8%E6%98%9F%E9%A9%B0%E7%9A%84%E7%94%B5%E5%BD%B1 "}; string statis akhir default_charset = "UTF-8"; @Before public void setup () melempar Exception {} @after public void teardown () melempar Exception {System.out.println ("--- Down ---"); } @Test public void testGetResponsecode () melempar Exception {for (string seed: seed) {int responseCode = httpfetchutil.getResponsecode (seed); System.out.println ("ret ="+responseCode); }} @Test public void testjdkfetch () melempar Exception {for (string seed: seeds) {string ret = httpfetchutil.jdkfetch (seed, default_charset); System.out.println ("ret ="+ret); }} @Test public void testurlfetch () melempar Exception {for (string seed: seed) {string ret = httpfetchutil.urlfetch (seed, default_charset); System.out.println ("ret ="+ret); }} @Test public void testHttpClientFetch () melempar Exception {for (string seed: seeds) {string ret = httpfetchutil.httpclientfetch (seed, default_charset); System.out.println ("ret ="+ret); }} @Test public void testCommonsiofetch () melempar Exception {for (string seed: seeds) {string ret = httpfetchutil.commonsiofetch (seed, default_charset); System.out.println ("ret ="+ret); }} @Test public void testJsoupFetch () melempar Exception {for (string seed: seeds) {string ret = httpfetchutil.jsoupfetch (seed); System.out.println ("ret ="+ret); }}}Lampiran: Ketergantungan Jar Terkait
... <dependency> <GroupId> org.jsoup </groupid> <ArTifactId> jsoup </t Artifactid> <version> 1.7.3 </version> </dependency> <dependency> <groupid> commons-httpclient </groupid> <Artifactid> comm ONS-HTTPCLIENT </artifactId> <version> 3.1 </version> </dependency> <dependency> <groupid> commons-io </groupid> <ArTifactId> commons-io </artifactid> <version> 2.4 </version> </dependency> ...
Di atas adalah semua konten artikel ini. Saya berharap ini akan membantu untuk pembelajaran semua orang dan saya harap semua orang akan lebih mendukung wulin.com.