使用HtmlUnit執行JavaScript中方法獲取數據

HtmlUnit是Java一個無界面瀏覽器，既然是瀏覽器，對於咱們爬取網頁數據來講就很喜歡啦。因爲HttpClient沒法對JavaScript進行處理，而如今不少網頁又大量使用了JavaScript和JQuery，對於須要執行JS方法爬取的來講，這個框架就相當重要。

下面爲請求執行一個js方法，廢話很少說，上代碼：

final WebClient webClient=new WebClient();
		webClient.getOptions().setCssEnabled(false);
		HtmlPage page=webClient.getPage("目標地址");
		String hrefValue = "js方法";
		ScriptResult s = page.executeJavaScript(hrefValue);//執行js方法
		page = (HtmlPage) s.getNewPage();//得到執行後的新page對象
		System.out.println(page.asXml());
		webClient.close();

執行後便可得到你想要的東西，是否是so easy，哪裏不會點哪裏~

純手打，歡迎各位童鞋拍磚。

轉載請指明出處：http://my.oschina.net/u/1991646/blog/694993