python-71：get_text()

上一小節咱們已經實現將帶有正文部分的那段源碼摳出來了，咱們如今要考慮的問題是怎麼獲取裏面的文字內容。

獲取文字內容前面也遇到過，.string 方法，可是這個方法只能獲取單個tag的內容，若是一個tag裏面還包含其餘的子孫節點的話，使用.string方法會返回None，這就意味着咱們須要使用另一個方法來實現咱們想要的功能，最好的狀況是真的有這樣一個方法。

get_text()

若是隻想獲得tag中包含的文本內容,那麼能夠嗲用 get_text() 方法,這個方法獲取到tag中包含的全部文版內容包括子孫tag中的內容,並將結果做爲Unicode字符串返回:
markup = '<a href="http://example.com/">\nI linked to <i>example.com</i>\n</a>'
soup = BeautifulSoup(markup)
soup.get_text()
u'\nI linked to example.com\n'
soup.i.get_text()
u'example.com'

能夠經過參數指定tag的文本內容的分隔符:
# soup.get_text("|")
u'\nI linked to |example.com|\n'

還能夠去除得到文本內容的先後空白:
# soup.get_text("|", strip=True)
u'I linked to|example.com'

這裏的描述已經很清楚了，並且例子也是很好理解，經過文檔中的這段內容，若是咱們想要獲取正文中的文本內容，咱們須要將這句代碼加入到剛纔的程序中，改完以後的程序應該是這樣的

#!/usr/bin/env python
# -*- coding:UTF-8 -*-
__author__ = '217小月月坑'

'''
get_text()獲取文本內容
'''

import urllib2
from bs4 import BeautifulSoup

url = 'http://beautifulsoup.readthedocs.org/zh_CN/latest/#'
request = urllib2.Request(url)
response = urllib2.urlopen(request)
contents = response.read()
soup = BeautifulSoup(contents)
soup.prettify()

result = soup.find(itemprop="articleBody")
print result.get_text()

結果是這樣的

這個結果比我預想的要好不少，由於我在看網頁源碼時，發現有不少轉義字符或者什麼七七八八的東西，就好比這樣的&lt;&quot 等等

<div class="highlight-python"><div class="highlight"><pre><span class="n">html_doc</span> <span class="o">=</span> <span class="s">&quot;&quot;&quot;</span>
<span class="s">&lt;html&gt;&lt;head&gt;&lt;title&gt;The Dormouse&#39;s story&lt;/title&gt;&lt;/head&gt;</span>
<span class="s">&lt;body&gt;</span>
<span class="s">&lt;p class=&quot;title&quot;&gt;&lt;b&gt;The Dormouse&#39;s story&lt;/b&gt;&lt;/p&gt;</span>

<span class="s">&lt;p class=&quot;story&quot;&gt;Once upon a time there were three little sisters; and their names were</span>
<span class="s">&lt;a href=&quot;http://example.com/elsie&quot; class=&quot;sister&quot; id=&quot;link1&quot;&gt;Elsie&lt;/a&gt;,</span>
<span class="s">&lt;a href=&quot;http://example.com/lacie&quot; class=&quot;sister&quot; id=&quot;link2&quot;&gt;Lacie&lt;/a&gt; and</span>
<span class="s">&lt;a href=&quot;http://example.com/tillie&quot; class=&quot;sister&quot; id=&quot;link3&quot;&gt;Tillie&lt;/a&gt;;</span>
<span class="s">and they lived at the bottom of a well.&lt;/p&gt;</span>

<span class="s">&lt;p class=&quot;story&quot;&gt;...&lt;/p&gt;</span>
<span class="s">&quot;&quot;&quot;</span>
</pre></div>

我還覺得這些須要咱們本身進行替換，但沒想要BS4直接幫我把這些字符給轉好了，可是轉念一想，BS4基於HTML規則來進行分析，而這些字符也是符合HTML規則的，因此可以正常轉義也沒有什麼奇怪的

好了獲取正文的文本內容就到這裏，這幾個小節的體驗告訴我，BS4仍是很方便的