使用Jsoup 抓取頁面的數據

時間  2019-11-06
標籤 使用 jsoup 抓取 頁面 數據 欄目 Java 简体版
原文   原文鏈接

須要使用的是jsoup-1.7.3.jar包   若是須要看文檔或下載請借一步到官網：http://jsoup.org/　　html

這裏貼一下我用到的 Java工程的測試代碼　java

複製代碼 
package com.javen.Jsoup;

import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class JsoupTest {
    static String url="http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html";
    /**
     * @param args
     * @throws Exception
     */public static void main(String[] args) throws Exception {
        
        // TODO Auto-generated method stub        BolgBody();
        //test();
        //Blog();/*
         * Document doc = Jsoup.connect("http://www.oschina.net/")
         * .data("query", "Java") // 請求參數 .userAgent("I ’ m jsoup") // 設置
         * User-Agent .cookie("auth", "token") // 設置 cookie .timeout(3000) //
         * 設置鏈接超時時間 .post();
         */// 使用 POST 方法訪問 URL/*
         * // 從文件中加載 HTML 文檔 File input = new File("D:/test.html"); Document doc
         * = Jsoup.parse(input,"UTF-8","http://www.oschina.net/");
         */
    }

    /**
     * 獲取指定HTML 文檔指定的body
     * @throws IOException
     */private static void BolgBody() throws IOException {
        // 直接從字符串中輸入 HTML 文檔
        String html = "<html><head><title> 開源中國社區 </title></head>"
                + "<body><p> 這裏是 jsoup 項目的相關文章 </p></body></html>";
        Document doc = Jsoup.parse(html);
        System.out.println(doc.body());
        
        
        // 從 URL 直接加載 HTML 文檔
        Document doc2 = Jsoup.connect(url).get();
        String title = doc2.body().toString();
        System.out.println(title);
    }

    /**
     * 獲取博客上的文章標題和連接
     */public static void article() {
        Document doc;
        try {
            doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/").get();
            Elements ListDiv = doc.getElementsByAttributeValue("class","postTitle");
            for (Element element :ListDiv) {
                Elements links = element.getElementsByTag("a");
                for (Element link : links) {
                    String linkHref = link.attr("href");
                    String linkText = link.text().trim();
                    System.out.println(linkHref);
                    System.out.println(linkText);
                }
            }
        } catch (IOException e) {
            // TODO Auto-generated catch block            e.printStackTrace();
        }

    }
    /**
     * 獲取指定博客文章的內容
     */public static void Blog() {
        Document doc;
        try {
            doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html").get();
            Elements ListDiv = doc.getElementsByAttributeValue("class","postBody");
            for (Element element :ListDiv) {
                System.out.println(element.html());
            }
        } catch (IOException e) {
            // TODO Auto-generated catch block            e.printStackTrace();
        }
        
    }

}
複製代碼

     下面來介紹android中使用Jsoup異步解析網頁的數據 請注意： 這裏很容易遇到一個亂碼的問題

node

  1. 配置文件：AndroidManifest.xml中加 權限 <uses-permission android:name="android.permission.INTERNET"></uses-permission>
  2. layout的佈局文件
    複製代碼 
    <LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
    xmlns:tools="http://schemas.android.com/tools"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    android:orientation="vertical" ><WebView
        android:id="@+id/webView"
        android:layout_width="fill_parent"
        android:layout_height="200dp" /><ScrollView
        android:layout_width="wrap_content"
        android:layout_height="wrap_content" ><TextView
            android:id="@+id/textView"
            android:layout_width="wrap_content"
            android:layout_height="wrap_content"
            android:text="@string/hello_world" /></ScrollView></LinearLayout>
    複製代碼


     

  3. 主要異步加載數據的代碼
    複製代碼 
    package com.javen.aaa;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import android.app.Activity;
import android.app.Dialog;
import android.app.ProgressDialog;
import android.os.AsyncTask;
import android.os.Bundle;
import android.util.Log;
import android.webkit.WebView;
import android.widget.TextView;

public class MainActivity extends Activity {
    private WebView webView;
    private TextView textView;
    private static final int DIALOG_KEY = 0;
    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.main);
        webView = (WebView) findViewById(R.id.webView);
        textView=(TextView) findViewById(R.id.textView);
        try {
            ProgressAsyncTask asyncTask=new ProgressAsyncTask(webView,textView);
            asyncTask.execute(10000);
        } catch (Exception e) {
            // TODO Auto-generated catch block            e.printStackTrace();
        }
    }
    
    public  String test() {
        StringBuffer buffer=new StringBuffer();
        Document doc;
        try {
            doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/").get();
            Elements ListDiv = doc.getElementsByAttributeValue("class","postTitle");
            for (Element element :ListDiv) {
                Elements links = element.getElementsByTag("a");
                for (Element link : links) {
                    String linkHref = link.attr("href");
                    String linkText = link.text().trim();
                    buffer.append("linkHref=="+linkHref);
                    buffer.append("linkText=="+linkText);
                    
                    System.out.println(linkHref);
                    System.out.println(linkText);
                }
            }
        } catch (IOException e) {
            // TODO Auto-generated catch block            e.printStackTrace();
        }
        return buffer.toString();

    }

        // 彈出"查看"對話框        @Override
        protected Dialog onCreateDialog(int id) {
            switch (id) {
            case DIALOG_KEY: {
                ProgressDialog dialog = new ProgressDialog(this);
                dialog.setMessage("獲取數據中  請稍候...");
                dialog.setIndeterminate(true);
                dialog.setCancelable(true);
                return dialog;
            }
            }
            return null;
        }
        
        public static String readHtml(String myurl) {
            StringBuffer sb = new StringBuffer("");
            URL url;
            try {
                url = new URL(myurl);
                BufferedReader br = new BufferedReader(new InputStreamReader(url.openStream(), "gbk"));
                String s = "";
                while ((s = br.readLine()) != null) {
                    sb.append(s + "\r\n");
                }
            } catch (Exception e) {
                e.printStackTrace();
            }
            return sb.toString();
        }
    
    class ProgressAsyncTask extends AsyncTask<Integer, Integer, String> {

        private WebView webView;
        private TextView textView;
        public ProgressAsyncTask(WebView webView,TextView textView) {
            super();
            this.webView=webView;
            this.textView=textView;
        }

        /**
         * 這裏的Integer參數對應AsyncTask中的第一個參數 這裏的String返回值對應AsyncTask的第三個參數
         * 該方法並不運行在UI線程當中，主要用於異步操做，全部在該方法中不能對UI當中的空間進行設置和修改
         * 可是能夠調用publish Progress方法觸發onProgressUpdate對UI進行操做
         */
        @Override
        protected String doInBackground(Integer... params) {
            String str =null;
            Document doc = null;
            try {
//                String url ="http://www.cnblogs.com/zyw-205520/p/3355681.html";
////                doc= Jsoup.parse(new URL(url).openStream(),"utf-8", url);
//                //doc = Jsoup.parse(readHtml(url));
//                //doc=Jsoup.connect(url).get();
//                str=doc.body().toString();
                doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html").get();
                Elements ListDiv = doc.getElementsByAttributeValue("class","postBody");
                for (Element element :ListDiv) {
                    str=element.html();
                    System.out.println(element.html());
                }
                Log.d("doInBackground", str.toString());
                System.out.println(str);
                //你能夠試試GBK或UTF-8
            } catch (Exception e) {
                // TODO Auto-generated catch block                e.printStackTrace();
            }
            return str.toString() ;
            //return test();        }

        /**
         * 這裏的String參數對應AsyncTask中的第三個參數（也就是接收doInBackground的返回值）
         * 在doInBackground方法執行結束以後在運行，而且運行在UI線程當中 能夠對UI空間進行設置
         */
        @Override
        protected void onPostExecute(String result) {
            webView.loadData(result, "text/html;charset=utf-8", null);
            textView.setText(result);
            removeDialog(DIALOG_KEY);
        }

        // 該方法運行在UI線程當中,而且運行在UI線程當中 能夠對UI空間進行設置        @Override
        protected void onPreExecute() {
            showDialog(DIALOG_KEY);
        }

        /**
         * 這裏的Intege參數對應AsyncTask中的第二個參數
         * 在doInBackground方法當中，，每次調用publishProgress方法都會觸發onProgressUpdate執行
         * onProgressUpdate是在UI線程中執行，全部能夠對UI空間進行操做
         */
        @Override
        protected void onProgressUpdate(Integer... values) {
            
        }
    }

}
    複製代碼




相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程