Python入門：全站url爬取

<div class="markdown_views"> <p>做爲一個安全測試人員，面對一個大型網站的時候，手工測試頗有可能測試不全，這時候就很是須要一個通用型的網站掃描器。固然能直接掃出漏洞的工具也有不少，但這樣你只能算是一個工具使用者，對於安全測試你還遠遠不夠。這時候應該怎麼作呢？對於那些大量且重複性工做，儘可能能用工具實現就用工具實現，而後打包成本身的工具包。現在天的這個url爬取工具。當咱們把整站url都爬取出來以後，能夠對url進行分析分類，而後有針對性的進行手工測試。</p>

<p>注：此方法只能爬取網頁連接性的url，不能爬取js動態生成的url</p>

<pre class="prettyprint" name="code"><code class="hljs python has-numbering"><span class="hljs-comment">#python3.5</span></br> <span class="hljs-comment">#urlScan.py</span></br> <span class="hljs-comment">#Author：FrankHacker</span></br></br> <span class="hljs-keyword">import</span> requests</br> <span class="hljs-keyword">import</span> re</br></br> <span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">url_is_correct</span><span class="hljs-params">()</span>:</span></br> <span class="hljs-string">'''</br> 使用requests.get方法判斷url是否正確,並返回url</br> :return:</br> '''</span></br> <span class="hljs-keyword">try</span>:</br> url = input(<span class="hljs-string">"Please input the target test url:"</span>)</br> <span class="hljs-comment">#url = "http://10.70.18.47:8080" 這是我內網環境的測試地址</span></br> requests.get(url)</br> <span class="hljs-keyword">return</span> url</br> <span class="hljs-keyword">except</span>:</br> print(<span class="hljs-string">'please input the correct url!!!'</span>)</br> <span class="hljs-comment">#exit(-1) #若是url是固定寫入的，那麼必須添加此句，不然會一直循環</span></br> <span class="hljs-keyword">return</span> url_is_correct()</br></br> url = url_is_correct() <span class="hljs-comment">#將驗證爲正確的url地址賦值給url</span></br> <span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">url_protocol</span><span class="hljs-params">(url)</span>:</span></br> <span class="hljs-string">'''</br> 獲取輸入的url地址的協議，是http、https等</br> '''</span></br> print(<span class="hljs-string">'該站使用的協議是：'</span> + re.findall(<span class="hljs-string">r'.*(?=://)'</span>,url)[<span class="hljs-number">0</span>])</br> <span class="hljs-keyword">return</span> re.findall(<span class="hljs-string">r'.*(?=://)'</span>,url)[<span class="hljs-number">0</span>]</br></br> urlprotocol = url_protocol(url)</br></br> <span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">same_url</span><span class="hljs-params">(url)</span>:</span></br> <span class="hljs-string">'''</br> 處理用戶輸入的url，併爲後續判斷是否爲一個站點的url作準備，爬取的時候不能爬到其它站，那麼爬取將無止境</br> :return: sameurl</br> '''</span></br> <span class="hljs-comment">#將完整的url中的http://刪除</span></br> url = url.replace(urlprotocol + <span class="hljs-string">'://'</span>,<span class="hljs-string">''</span>)</br> <span class="hljs-comment">#判斷刪除http://以後的url有沒有www，若是沒有就加上‘www.’，但不存儲，</span></br> <span class="hljs-comment">#只是爲了同化全部將要處理的url，都有了‘www.’以後，</span></br> <span class="hljs-comment">#就能夠找以‘www.’開始的到第一個‘/’結束中的全部字符串做爲該站的主域名</span></br> <span class="hljs-keyword">if</span> re.findall(<span class="hljs-string">r'^www'</span>,url) == []:</br> sameurl = <span class="hljs-string">'www.'</span> + url</br> <span class="hljs-keyword">if</span> sameurl.find(<span class="hljs-string">'/'</span>) != -<span class="hljs-number">1</span>:</br> sameurl = re.findall(<span class="hljs-string">r'(?&lt;=www.).*?(?=/)'</span>, sameurl)[<span class="hljs-number">0</span>]</br> <span class="hljs-keyword">else</span>:</br> sameurl = sameurl + <span class="hljs-string">'/'</span></br> sameurl = re.findall(<span class="hljs-string">r'(?&lt;=www.).*?(?=/)'</span>, sameurl)[<span class="hljs-number">0</span>]</br> <span class="hljs-keyword">else</span>:</br> <span class="hljs-keyword">if</span> url.find(<span class="hljs-string">'/'</span>) != -<span class="hljs-number">1</span>:</br> sameurl = re.findall(<span class="hljs-string">r'(?&lt;=www.).*?(?=/)'</span>, url)[<span class="hljs-number">0</span>]</br> <span class="hljs-keyword">else</span>:</br> sameurl = url + <span class="hljs-string">'/'</span></br> sameurl = re.findall(<span class="hljs-string">r'(?&lt;=www.).*?(?=/)'</span>, sameurl)[<span class="hljs-number">0</span>]</br> print(<span class="hljs-string">'同站域名地址：'</span> + sameurl)</br> <span class="hljs-keyword">return</span> sameurl</br></br> domain_url = same_url(url)</br></br> <span class="hljs-string">'''</br> 處理url的類，對已訪問過的和未訪問過的進行記錄，待後續使用</br> '''</span></br> <span class="hljs-class"><span class="hljs-keyword">class</span> <span class="hljs-title">linkQuence</span>:</span></br> <span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">__init__</span><span class="hljs-params">(self)</span>:</span></br> self.visited = [] <span class="hljs-comment">#已訪問過的url初始化列表</span></br> self.unvisited = [] <span class="hljs-comment">#未訪問過的url初始化列表</span></br></br> <span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">getVisitedUrl</span><span class="hljs-params">(self)</span>:</span> <span class="hljs-comment">#獲取已訪問過的url</span></br> <span class="hljs-keyword">return</span> self.visited</br> <span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">getUnvisitedUrl</span><span class="hljs-params">(self)</span>:</span> <span class="hljs-comment">#獲取未訪問過的url</span></br> <span class="hljs-keyword">return</span> self.unvisited</br> <span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">addVisitedUrl</span><span class="hljs-params">(self,url)</span>:</span> <span class="hljs-comment">#添加已訪問過的url</span></br> <span class="hljs-keyword">return</span> self.visited.append(url)</br> <span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">addUnvisitedUrl</span><span class="hljs-params">(self,url)</span>:</span> <span class="hljs-comment">#添加未訪問過的url</span></br> <span class="hljs-keyword">if</span> url != <span class="hljs-string">''</span> <span class="hljs-keyword">and</span> url <span class="hljs-keyword">not</span> <span class="hljs-keyword">in</span> self.visited <span class="hljs-keyword">and</span> url <span class="hljs-keyword">not</span> <span class="hljs-keyword">in</span> self.unvisited:</br> <span class="hljs-keyword">return</span> self.unvisited.insert(<span class="hljs-number">0</span>,url)</br></br> <span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">removeVisited</span><span class="hljs-params">(self,url)</span>:</span></br> <span class="hljs-keyword">return</span> self.visited.remove(url)</br> <span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">popUnvisitedUrl</span><span class="hljs-params">(self)</span>:</span> <span class="hljs-comment">#從未訪問過的url中取出一個url</span></br> <span class="hljs-keyword">try</span>: <span class="hljs-comment">#pop動做會報錯終止操做，因此須要使用try進行異常處理</span> <span class="hljs-keyword">return</span> self.unvisited.pop()</br> <span class="hljs-keyword">except</span>:</br> <span class="hljs-keyword">return</span> <span class="hljs-keyword">None</span></br> <span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">unvisitedUrlEmpty</span><span class="hljs-params">(self)</span>:</span> <span class="hljs-comment">#判斷未訪問過列表是否是爲空</span></br> <span class="hljs-keyword">return</span> len(self.unvisited) == <span class="hljs-number">0</span></br></br> <span class="hljs-class"><span class="hljs-keyword">class</span> <span class="hljs-title">Spider</span><span class="hljs-params">()</span>:</span></br> <span class="hljs-string">'''</br> 真正的爬取程序</br> '''</span></br> <span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">__init__</span><span class="hljs-params">(self,url)</span>:</span></br> self.linkQuence = linkQuence() <span class="hljs-comment">#引入linkQuence類</span></br> self.linkQuence.addUnvisitedUrl(url) <span class="hljs-comment">#並將須要爬取的url添加進linkQuence對列中</span></br> self.current_deepth = <span class="hljs-number">1</span> <span class="hljs-comment">#設置爬取的深度</span></br> <span class="hljs-string">'''</br> 這裏須要注意:</br> 爬取分爲：***先深度後廣度***和***先廣度和後深度***</br> 一、若是是先深度後廣度，那麼給定一個url，而後從其頁面中的任意一個可用連接進行深度爬取，極可能無限至循環下去</br> （在處理不當的時候，但通常狀況下你們都會處理的很好，無非是判斷哪些url是已經爬取過的，哪些是新爬取到的url）</br> 二、若是是先廣度後深度，就是將一個url頁面中的全部連接進行爬取，而後分類處理過濾</br> （在這種處理不當的時候也會出現無限循環的可能，但通常狀況下你們都會處理的很好，無非是判斷哪些url是已經爬取過的，哪些是新爬取到的url）</br> '''</span></br> <span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">getPageLinks</span><span class="hljs-params">(self,url)</span>:</span></br> <span class="hljs-string">'''</br> 獲取頁面中的全部連接</br> '''</span></br> pageSource = requests.get(url).text</br> pageLinks = re.findall(<span class="hljs-string">r'(?&lt;=href=\").*?(?=\")|(?&lt;=href=\').*?(?=\')'</span>,pageSource)</br> <span class="hljs-comment">#self.page_links = self.page_links + pageLinks</span></br> <span class="hljs-comment">#print(self.page_links)</span></br> <span class="hljs-keyword">for</span> l <span class="hljs-keyword">in</span> pageLinks:</br> print(url + <span class="hljs-string">'該頁面的源碼連接有：'</span> + l)</br> <span class="hljs-comment">#for l in self.page_links:</span></br> <span class="hljs-comment"># print(url + '該頁面的源碼連接有：' + l)</span></br> <span class="hljs-comment">#return self.page_links</span></br> <span class="hljs-keyword">return</span> pageLinks</br></br> <span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">processUrl</span><span class="hljs-params">(self,url)</span>:</span></br> <span class="hljs-string">'''</br> 判斷正確的連接及處理相對路徑爲正確的完整url</br> :return:</br> '''</span></br> true_url = []</br> <span class="hljs-keyword">for</span> l <span class="hljs-keyword">in</span> self.getPageLinks(url):</br> <span class="hljs-keyword">if</span> re.findall(<span class="hljs-string">r'/'</span>,l):</br> <span class="hljs-keyword">if</span> re.findall(<span class="hljs-string">r':'</span>,l):</br> true_url.append(l)</br> <span class="hljs-keyword">else</span>:</br> true_url.append(urlprotocol + <span class="hljs-string">'://'</span> + domain_url + l)</br> <span class="hljs-comment">#print(trueUrl)</span></br> <span class="hljs-keyword">for</span> l <span class="hljs-keyword">in</span> true_url:</br> print(url + <span class="hljs-string">'該url頁面源碼中，有效url：'</span> + l)</br> <span class="hljs-keyword">return</span> true_url</br></br> <span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">sameTargetUrl</span><span class="hljs-params">(self,url)</span>:</span></br> <span class="hljs-string">'''</br> 判斷是否爲同一站點連接，防止爬出站外，而後致使無限嘗試爬取</br> '''</span></br> same_target_url = []</br> <span class="hljs-keyword">for</span> l <span class="hljs-keyword">in</span> self.processUrl(url):</br> <span class="hljs-keyword">if</span> re.findall(domain_url,l):</br> same_target_url.append(l)</br> <span class="hljs-comment">#print(self.same_target_url)</span></br> <span class="hljs-keyword">for</span> l <span class="hljs-keyword">in</span> same_target_url:</br> print(url + <span class="hljs-string">'該url頁面源碼中屬於同一域的url有：'</span> + l)</br> <span class="hljs-keyword">return</span> same_target_url</br></br> <span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">unrepectUrl</span><span class="hljs-params">(self,url)</span>:</span></br> <span class="hljs-string">'''</br> 刪除重複url</br> '''</span></br> unrepect_url = []</br> <span class="hljs-keyword">for</span> l <span class="hljs-keyword">in</span> self.sameTargetUrl(url):</br> <span class="hljs-keyword">if</span> l <span class="hljs-keyword">not</span> <span class="hljs-keyword">in</span> unrepect_url:</br> unrepect_url.append(l)</br> <span class="hljs-keyword">for</span> l <span class="hljs-keyword">in</span> unrepect_url:</br> print(url + <span class="hljs-string">'該url下不重複的url有------：'</span> + l)</br> <span class="hljs-comment">#print(self.unrepect_url)</span></br> <span class="hljs-keyword">return</span> unrepect_url</br></br> <span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">crawler</span><span class="hljs-params">(self,crawl_deepth=<span class="hljs-number">1</span>)</span>:</span></br> <span class="hljs-string">'''</br> 正式的爬取，並依據深度進行爬取層級控制</br> '''</span></br> <span class="hljs-keyword">while</span> self.current_deepth &lt;= crawl_deepth:</br> <span class="hljs-keyword">while</span> <span class="hljs-keyword">not</span> self.linkQuence.unvisitedUrlEmpty():</br> visitedUrl = self.linkQuence.popUnvisitedUrl()</br> <span class="hljs-comment">#print(visitedUrl)</span></br> <span class="hljs-keyword">if</span> visitedUrl <span class="hljs-keyword">is</span> <span class="hljs-keyword">None</span> <span class="hljs-keyword">or</span> visitedUrl == <span class="hljs-string">''</span>:</br> <span class="hljs-keyword">continue</span></br> <span class="hljs-comment">#self.getPageLinks(visitedUrl)</span></br> links = self.unrepectUrl(visitedUrl)</br> self.linkQuence.addVisitedUrl(visitedUrl)</br> <span class="hljs-keyword">for</span> link <span class="hljs-keyword">in</span> links:</br> self.linkQuence.addUnvisitedUrl(link)</br> self.current_deepth += <span class="hljs-number">1</span></br> print(self.linkQuence.visited)</br> <span class="hljs-keyword">return</span> self.linkQuence.visited</br></br> <span class="hljs-keyword">if</span> __name__ == <span class="hljs-string">'__main__'</span>:</br> spider = Spider(url)</br> spider.crawler(<span class="hljs-number">2</span>)</code></pre>

<h1 id="掃描httpwwwbaiducom的結果">掃描<a href="http://www.baidu.com" rel="nofollow" target="_blank">http://www.baidu.com</a>的結果</h1>

<p><a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://baidu.com//ns0.bdstatic.com" rel="nofollow" target="_blank">http://baidu.com//ns0.bdstatic.com</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://baidu.com//ns1.bdstatic.com" rel="nofollow" target="_blank">http://baidu.com//ns1.bdstatic.com</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="https://www.baidu.com/" rel="nofollow" target="_blank">https://www.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://tieba.baidu.com/" rel="nofollow" target="_blank">http://tieba.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="https://zhidao.baidu.com/" rel="nofollow" target="_blank">https://zhidao.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://music.baidu.com/" rel="nofollow" target="_blank">http://music.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://image.baidu.com/" rel="nofollow" target="_blank">http://image.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://v.baidu.com/" rel="nofollow" target="_blank">http://v.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://map.baidu.com/" rel="nofollow" target="_blank">http://map.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://wenku.baidu.com/" rel="nofollow" target="_blank">http://wenku.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://news.baidu.com/view.html" rel="nofollow" target="_blank">http://news.baidu.com/view.html</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://www.baidu.com/search/news_help.html" rel="nofollow" target="_blank">http://www.baidu.com/search/news_help.html</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://news.baidu.com/advanced_news.html" rel="nofollow" target="_blank">http://news.baidu.com/advanced_news.html</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://news.baidu.com/pianhao.html" rel="nofollow" target="_blank">http://news.baidu.com/pianhao.html</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://baijia.baidu.com/" rel="nofollow" target="_blank">http://baijia.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://yule.baidu.com/" rel="nofollow" target="_blank">http://yule.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://sh.news.baidu.com/" rel="nofollow" target="_blank">http://sh.news.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://sports.baidu.com/" rel="nofollow" target="_blank">http://sports.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://internet.baidu.com/" rel="nofollow" target="_blank">http://internet.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://fashion.baidu.com/" rel="nofollow" target="_blank">http://fashion.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://auto.baidu.com/" rel="nofollow" target="_blank">http://auto.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://guonei.news.baidu.com/" rel="nofollow" target="_blank">http://guonei.news.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://guoji.news.baidu.com/" rel="nofollow" target="_blank">http://guoji.news.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://mil.news.baidu.com/" rel="nofollow" target="_blank">http://mil.news.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://shehui.news.baidu.com/" rel="nofollow" target="_blank">http://shehui.news.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://media.baidu.com/" rel="nofollow" target="_blank">http://media.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://cankaoxiaoxi.media.baidu.com/" rel="nofollow" target="_blank">http://cankaoxiaoxi.media.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://infzm.media.baidu.com/" rel="nofollow" target="_blank">http://infzm.media.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://pengpai.media.baidu.com/" rel="nofollow" target="_blank">http://pengpai.media.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://nandu.media.baidu.com/" rel="nofollow" target="_blank">http://nandu.media.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://21cbh.media.baidu.com/" rel="nofollow" target="_blank">http://21cbh.media.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://yicai.media.baidu.com/" rel="nofollow" target="_blank">http://yicai.media.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://huaxi.media.baidu.com/" rel="nofollow" target="_blank">http://huaxi.media.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://caixin.media.baidu.com/" rel="nofollow" target="_blank">http://caixin.media.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://xxcb.media.baidu.com/" rel="nofollow" target="_blank">http://xxcb.media.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://ynet.media.baidu.com/" rel="nofollow" target="_blank">http://ynet.media.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://shipin.news.baidu.com/" rel="nofollow" target="_blank">http://shipin.news.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://jian.news.baidu.com/" rel="nofollow" target="_blank">http://jian.news.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://fangchan.news.baidu.com/" rel="nofollow" target="_blank">http://fangchan.news.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://tech.baidu.com/" rel="nofollow" target="_blank">http://tech.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://lady.baidu.com/" rel="nofollow" target="_blank">http://lady.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://youxi.news.baidu.com/" rel="nofollow" target="_blank">http://youxi.news.baidu.com/</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://baidu.com/n?cmd=1&amp;class=stock&amp;pn=1" rel="nofollow" target="_blank">http://baidu.com/n?cmd=1&amp;class=stock&amp;pn=1</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://baidu.com/n?cmd=4&amp;class=stock&amp;pn=1" rel="nofollow" target="_blank">http://baidu.com/n?cmd=4&amp;class=stock&amp;pn=1</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://baidu.com/n?cmd=4&amp;class=dapan&amp;cls=dapan" rel="nofollow" target="_blank">http://baidu.com/n?cmd=4&amp;class=dapan&amp;cls=dapan</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://baidu.com/n?cmd=4&amp;class=xingu&amp;cls=xingu" rel="nofollow" target="_blank">http://baidu.com/n?cmd=4&amp;class=xingu&amp;cls=xingu</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://baidu.com/n?cmd=4&amp;class=gegu&amp;pn=1" rel="nofollow" target="_blank">http://baidu.com/n?cmd=4&amp;class=gegu&amp;pn=1</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://baidu.com/n?cmd=4&amp;class=warrant&amp;cls=warrant" rel="nofollow" target="_blank">http://baidu.com/n?cmd=4&amp;class=warrant&amp;cls=warrant</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://baidu.com/n?cmd=4&amp;class=redianbk&amp;pn=1" rel="nofollow" target="_blank">http://baidu.com/n?cmd=4&amp;class=redianbk&amp;pn=1</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://baidu.com/n?cmd=1&amp;class=money&amp;pn=1" rel="nofollow" target="_blank">http://baidu.com/n?cmd=1&amp;class=money&amp;pn=1</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://baidu.com/n?cmd=4&amp;class=money&amp;pn=1" rel="nofollow" target="_blank">http://baidu.com/n?cmd=4&amp;class=money&amp;pn=1</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://baidu.com/n?cmd=4&amp;class=fund&amp;cls=fund" rel="nofollow" target="_blank">http://baidu.com/n?cmd=4&amp;class=fund&amp;cls=fund</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://baidu.com/n?cmd=4&amp;class=bank&amp;cls=bank" rel="nofollow" target="_blank">http://baidu.com/n?cmd=4&amp;class=bank&amp;cls=bank</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://baidu.com/n?cmd=4&amp;class=nmetal&amp;cls=nmetal" rel="nofollow" target="_blank">http://baidu.com/n?cmd=4&amp;class=nmetal&amp;cls=nmetal</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://baidu.com/n?cmd=4&amp;class=insurance&amp;cls=insurance" rel="nofollow" target="_blank">http://baidu.com/n?cmd=4&amp;class=insurance&amp;cls=insurance</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://baidu.com/n?cmd=4&amp;class=forex&amp;cls=forex" rel="nofollow" target="_blank">http://baidu.com/n?cmd=4&amp;class=forex&amp;cls=forex</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://baidu.com/n?cmd=4&amp;class=futures&amp;cls=futures" rel="nofollow" target="_blank">http://baidu.com/n?cmd=4&amp;class=futures&amp;cls=futures</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://baidu.com/n?cmd=4&amp;class=licaianli&amp;pn=1" rel="nofollow" target="_blank">http://baidu.com/n?cmd=4&amp;class=licaianli&amp;pn=1</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://baidu.com/n?cmd=1&amp;class=hongguan&amp;pn=1" rel="nofollow" target="_blank">http://baidu.com/n?cmd=1&amp;class=hongguan&amp;pn=1</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://baidu.com/n?cmd=4&amp;class=hongguan&amp;pn=1" rel="nofollow" target="_blank">http://baidu.com/n?cmd=4&amp;class=hongguan&amp;pn=1</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://baidu.com/n?cmd=4&amp;class=hg_guonei&amp;cls=hg_guonei" rel="nofollow" target="_blank">http://baidu.com/n?cmd=4&amp;class=hg_guonei&amp;cls=hg_guonei</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://baidu.com/n?cmd=4&amp;class=hg_guoji&amp;cls=hg_guoji" rel="nofollow" target="_blank">http://baidu.com/n?cmd=4&amp;class=hg_guoji&amp;cls=hg_guoji</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://baidu.com/n?cmd=4&amp;class=chanye&amp;pn=1" rel="nofollow" target="_blank">http://baidu.com/n?cmd=4&amp;class=chanye&amp;pn=1</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://baidu.com/n?cmd=4&amp;class=gonsibd&amp;pn=1" rel="nofollow" target="_blank">http://baidu.com/n?cmd=4&amp;class=gonsibd&amp;pn=1</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://baidu.com/n?cmd=4&amp;class=caijinrw&amp;pn=1" rel="nofollow" target="_blank">http://baidu.com/n?cmd=4&amp;class=caijinrw&amp;pn=1</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://baidu.com/n?cmd=4&amp;class=shenghuoxf&amp;pn=1" rel="nofollow" target="_blank">http://baidu.com/n?cmd=4&amp;class=shenghuoxf&amp;pn=1</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://baidu.com/n?cmd=4&amp;class=finaneval&amp;pn=1" rel="nofollow" target="_blank">http://baidu.com/n?cmd=4&amp;class=finaneval&amp;pn=1</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://finance.baidu.com/n?cmd=4&amp;class=shenghuoxf&amp;pn=1" rel="nofollow" target="_blank">http://finance.baidu.com/n?cmd=4&amp;class=shenghuoxf&amp;pn=1</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://finance.baidu.com/n?cmd=10&amp;class=vid2finance&amp;pn=1&amp;from=tab" rel="nofollow" target="_blank">http://finance.baidu.com/n?cmd=10&amp;class=vid2finance&amp;pn=1&amp;from=tab</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://finance.baidu.com/n?cmd=1&amp;class=hongguan&amp;pn=1" rel="nofollow" target="_blank">http://finance.baidu.com/n?cmd=1&amp;class=hongguan&amp;pn=1</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://finance.baidu.com/n?cmd=4&amp;class=chanye&amp;pn=1" rel="nofollow" target="_blank">http://finance.baidu.com/n?cmd=4&amp;class=chanye&amp;pn=1</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://finance.baidu.com/n?cmd=4&amp;class=hg_guonei&amp;pn=1" rel="nofollow" target="_blank">http://finance.baidu.com/n?cmd=4&amp;class=hg_guonei&amp;pn=1</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://finance.baidu.com/n?cmd=4&amp;class=hg_guoji&amp;pn=1" rel="nofollow" target="_blank">http://finance.baidu.com/n?cmd=4&amp;class=hg_guoji&amp;pn=1</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://finance.baidu.com/n?cmd=4&amp;class=finaneval&amp;pn=1" rel="nofollow" target="_blank">http://finance.baidu.com/n?cmd=4&amp;class=finaneval&amp;pn=1</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://finance.baidu.com/n?cmd=4&amp;class=gonsibd&amp;pn=1" rel="nofollow" target="_blank">http://finance.baidu.com/n?cmd=4&amp;class=gonsibd&amp;pn=1</a> <br> <a href="http://finance.baidu.com/" rel="nofollow" target="_blank">http://finance.baidu.com/</a>該url下不重複的url有——：<a href="http://finance.baidu.com/n?cmd=4&amp;class=caijinrw&amp;pn=1