Java抓取淘寶/天貓商品詳情

有項目需求抓取淘寶天貓的商品詳情。琢磨一段時間搞出來了。放出來讓你們參考下。

Maven依賴：
HtmlUnit

<dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpclient</artifactId>
            <version>4.5.2</version>
        </dependency>
        
        <dependency>
            <groupId>net.sourceforge.htmlunit</groupId>
            <artifactId>htmlunit</artifactId>
            <version>2.23</version>
            <exclusions>
                <exclusion>
                    <artifactId>httpclient</artifactId>
                    <groupId>org.apache.httpcomponents</groupId>
                </exclusion>
            </exclusions>
        </dependency>

---

準備工做：

public static BrowserVersion getBrowserVersion() {
        BrowserVersion bv = BrowserVersion.BEST_SUPPORTED.clone();
        // 設置語言，不然不知道傳過來是什麼編碼
        bv.setUserLanguage("zh_cn");
        bv.setSystemLanguage("zh_cn");
        bv.setBrowserLanguage("zh_cn");

        // 源碼裏是寫死Win32的，不知道到生產環境（linux）會不會變，穩妥起見仍是硬設
        bv.setPlatform("Win32");
        
        return bv;
    }
    
    public static WebClient newWebClient() {
        WebClient wc = new WebClient(bv);
        wc.getOptions().setUseInsecureSSL(true); // 容許使用不安全的SSL鏈接。若是不打開，站點證書過時的https將沒法訪問
        wc.getOptions().setJavaScriptEnabled(true); //啓用JS解釋器
        wc.getOptions().setCssEnabled(false); //禁用css支持
        // 禁用一些異常拋出
        wc.getOptions().setThrowExceptionOnScriptError(false);
        wc.getOptions().setThrowExceptionOnFailingStatusCode(false);

        wc.getOptions().setDoNotTrackEnabled(false); // 隨請求發送DoNotTrack
        wc.setJavaScriptTimeout(1000);      // 設置JS超時，這裏是1s
        wc.getOptions().setTimeout(5000); //設置鏈接超時時間 ，這裏是5s。若是爲0，則無限期等待
        wc.setAjaxController(new NicelyResynchronizingAjaxController()); // 設置ajax控制器
        
        return wc;
    }

---

淘寶詳情抓取：
分析淘寶的頁面，商品詳情是異步從cdn加載的，咱們只要找到這個cdn的url，直接請求獲取response便可。

public String getTaobaoDetail(String url) {
        WebClient wc = newWebClient();
        
        String detail = "";

        try {
            WebRequest request = new WebRequest(UrlUtils.toUrlUnsafe(url));
            request.setAdditionalHeaders(searchRequestHeader);

            Page page = wc.getPage(request);

            if(page.isHtmlPage()) {
                HtmlPage htmlPage = (HtmlPage) page;

                String html = htmlPage.asXml();
                               DomNodeList<HtmlElement> script = htmlPage.getHead().getElementsByTagName("script");
                String detailUrl = "";
                for(HtmlElement elm : script) {
                    String textContent = elm.getTextContent();
                    if(textContent.contains("var g_config = {")) {
                        for(String line : textContent.split("\n")) {
                            if(line.startsWith("        descUrl")) {
                                detailUrl = "http:" + RegexUtil.getFirstMatch(line,
                                        "'//dsc.taobaocdn.com/i[0-9]+/[0-9]+/[0-9]+/[0-9]+/.+[0-9]+'\\s+:"
                                ).replaceAll("\\s+:","").replace("'","");
                                break;
                            }

                        }
                        break;
                    }
                }
                if(StringUtils.isNotBlank(detailUrl))
                detail = wc.getPage(detailUrl).getWebResponse().getContentAsString().replace("var desc='","").replace("';","");
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            wc.close();
        }
        return detail;
    }
        
    public static String getFirstMatch(String str,String regex) {
        Pattern pattern = Pattern.compile(regex);
        Matcher matcher = pattern.matcher(str);
        String ret = null;
        if(matcher.find()) {
            ret = matcher.group();
        }
        return ret;
    }

---

天貓詳情抓取：
淘寶天貓是截然兩種風格，沒找到像淘寶詳情頁同樣的cdn地址，只能從頁面上去抓取了。
使用js模擬滾動，而後等待js執行完畢。至於多久真的看RP。。。

public String getTmallDetail(String url) {
        WebClient wc = newWebClient();

        String detail = "";

        try {
            WebRequest request = new WebRequest(UrlUtils.toUrlUnsafe(url));

            request.setAdditionalHeaders(searchRequestHeader);

            wc.getCurrentWindow().getTopWindow().setOuterHeight(Integer.MAX_VALUE);
            wc.getCurrentWindow().getTopWindow().setInnerHeight(Integer.MAX_VALUE);

            Page page = wc.getPage(request);
            page.getEnclosingWindow().setOuterHeight(Integer.MAX_VALUE);
            page.getEnclosingWindow().setInnerHeight(Integer.MAX_VALUE);

            if(page.isHtmlPage()) {
                HtmlPage htmlPage = (HtmlPage) page;
                ScriptResult sr = htmlPage.executeJavaScript(String.format("javascript:window.scrollBy(0,%d);",Integer.MAX_VALUE));
                // 執行頁面全部渲染相關的JS
                int left = 0;
                do {
                    left = wc.waitForBackgroundJavaScript(10);
//                    System.out.println(left);
                } while (left > 7); // 有6-7個時間超長的js任務

                htmlPage = (HtmlPage)sr.getNewPage();
                detail = htmlPage.getElementById("description").asXml()
                        .replaceAll("src=\"//.{0,100}.png\" data-ks-lazyload=", "src=");  // 移除懶加載
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            wc.close();
        }
        return detail;
    }