R語言讀取淘寶的單品頁的名稱和價格

1. #lab1
   

2. library(XML);
   

3. url1<-"http://data.caixin.com/macro/macro_indicator_more.html?id=F0001&cpage=2&pageSize=30&url=macro_indicator_more.html#top";
   

4. url<-htmlParse(url1,encoding="UTF-8")#把html文件讀入r語言中並解析
   

5. 
   

6. #找結點
   

7. test <- getNodeSet(url,'//meta[@name]')#xpath語法找到html部件#顯示的中文正常
   

8. #讀取結點的內容：xmlValue內部參數只能是一個字符串
   

9. test_text_list<-sapply(test, xmlValue)#提取內容，多個的化以向量形式存儲
   

10. test_text<-xmlValue(test`2`)#把test的第2箇中的內容提取出來=test_text_list[2].注意，即時test只有一組數據也要使用test`1`,不能夠直接使用test（不是字符串）
    

11. #讀取結點的屬性：xmlGetAttr內部參數只能是一個字符串
    

12. content1<-xmlGetAttr(test`1`, "content")#讀取test`1`中的content內容。注意直接用test不能夠。#顯示的中文不正常
    

13. content1<-iconv(content1,"UTF-8","gbk")#解決中文正常顯示問題
    

14. 
    

15. 
    

16. #lab2使用R語言爬取淘寶網站的筆記本商品價格和名稱
    

17. library(XML);
    

18. url1<-"http://3c.taobao.com/detail.htm?spm=872.217037.254698.6.deIiSJ&spuid=205341228&cat=1101"
    

19. url2<-"http://3c.taobao.com/detail.htm?spm=872.217037.254698.11.deIiSJ&spuid=203228104&cat=1101"
    

20. read_taobao<-function(url){
    

21.     name_text<-""
    

22.     price_text<-""
    

23.     i<-1
    

24.     for(i_url in url){
    

25.         i_url2<-htmlParse(i_url,encoding="UTF-8")#讀取html數據
    

26.         name<- getNodeSet(i_url2,"//div[@id='idetail']//div[@class='info-area']//div[@class='tlt clearfix']//h1")#經過xpath找到網頁中的name
    

27.         #xpath://任意位置的  @是屬性
    

28.         name_text_tmp<-xmlValue(name`1`)#提取name的內容
    

29.         price<-getNodeSet(i_url2,"//div[@id='idetail']//div[@class='info-area']//div[@class='key-info']//span[@class='price']")#經過xpath找到網頁中的price
    

30.         price_text_tmp<-xmlValue(price`1`)#提取price的內容
    

31.         name_text[i]<-name_text_tmp
    

32.         price_text[i]<-price_text_tmp
    

33.         i<-i+1
    

34.     }
    

35.     data.frame(name=name_text,price=price_text)
    

36. }
    

37. url<-c(url1,url2)
    

38. read_taobao(url)

複製代碼

http://www.bassary.com/?p=1107

1. #*************網頁爬蟲-R語言實現，函數庫文件*******#
   

2. #****做者：oldlee11***************************************#
   

3. #****版本：v0.1*******************************************#
   

4. #****時間：2012-11-14*************************************#
   

5. library(XML);
   

6. #****函數：(crawler1)
   

7. #****概要：網絡抓取的主要函數1，能夠抓取n個網頁的m個變量。每一個xpath只爬取一個數據，若是大於1個則提示有誤。（精確抓取）
   

8. #****輸入：
   

9. #        名稱           |    數據格式
   

10. #        url            |    欲抓取的網站的url                向量：n個
    

11. #        xpath          |    給出的抓取變量的xpath            向量：m個
    

12. #        content        |    變量是結點的內容仍是結點的屬性值 向量：m個  
    

13. #                            "text"是內容(默認)，或者是屬性名稱
    

14. #****輸出：只有print，無輸出
    

15. #        名稱           |    含義
    

16. 
    

17. crawler1<-function(url,xpath,content=rep("text",length(xpath))){
    

18.     #若是xpath以及content的數量不一樣，則輸入數據有誤
    

19.     num_url<-length(url)
    

20.     if(length(content)!=length(xpath)){
    

21.         print("Error:content和xpath向量的數量不一致!")
    

22.         return
    

23.     } 
    

24. 
    

25.     #創建一個num_url行，num_vari列的數據框
    

26.     num_vari<-length(xpath)
    

27.     result<-data.frame(rep(0,num_url))
    

28.     for(i in 2:num_vari){
    

29.         cbind(result,rep(0,num_url))
    

30.     }
    

31.      
    

32.     #遍歷url向量，依次對相應網頁進行抓取
    

33.     i<-1
    

34.     j<-1
    

35.     for(i_url in url){
    

36.         i_url_parse<-htmlParse(i_url,encoding="UTF-8")#讀取url網頁數據，並使用htmlParse轉化。（xml文件使用xmlParse）
    

37.         for(j in 1:num_vari){#依次填充一個頁面中的不一樣欲讀取的數據值
    

38.             node<-getNodeSet(i_url_parse,xpath[j])#經過xpath[i]找到相應變量的xpath結點
    

39.             if(length(node)==0){#未爬取到數據，說明xpath有誤
    

40.                 result[i,j]<-NA
    

41.                 print(paste("注意：第",j,"個變量未能在第",i,"個頁面中找到,咱們會把該數據寫爲空值"))
    

42.             }else if(length(node)==1){#爬取到一個數據，說明正常
    

43.                 if(content[j]=="text"){#欲爬取變量的內容
    

44.                     result[i,j]<-xmlValue(node`1`)
    

45.                 }else{#欲爬取變量的屬性
    

46.                     result[i,j]<-xmlGetAttr(node`1`,content[j])
    

47.                     result[i,j]<-iconv(result[i,j],"UTF-8","gbk")#若是是亂碼，能夠打開此語句。若是是na能夠刪除此句
    

48.                 }
    

49.             }else{#爬取到多個數據，本函數不予處理
    

50.                 result[i,j]<-NA
    

51.                 print(paste("注意：第",j,"個變量能在第",i,"個頁面中找到多個,不知您要哪個，咱們會把該數據寫爲空值"))    
    

52.             }
    

53.         }
    

54.         i<-i+1
    

55.     }
    

56.     result
    

57. }
    

58. 
    

59. #****函數：(crawler2)
    

60. #****概要：網絡抓取的主要函數2，能夠抓取n個網頁的1個變量。該xpath能夠爬取多個數據，（批量抓取）
    

61. #****輸入：
    

62. #        名稱           |    數據格式
    

63. #        url            |    欲抓取的網站的url                向量：n個
    

64. #        xpath          |    給出的抓取變量的xpath            向量：1個
    

65. #        content        |    變量是結點的內容仍是結點的屬性值 向量：1個  
    

66. #                            "text"是內容(默認)，或者是屬性名稱
    

67. #****輸出：只有print，無輸出
    

68. #        名稱           |    含義
    

69. #        url            |    1---n天然數，相同url擁有相同數值
    

70. #        vari           |    讀取的數據
    

71. crawler2<-function(url,xpath,content="text"){
    

72.     num_url<-length(url)
    

73.     result<-data.frame(url=0,vari=0)
    

74.     i<-1#記錄第幾個url
    

75.     tmp<-1#
    

76.     for(i_url in url){
    

77.         i_url_parse<-htmlParse(i_url,encoding="UTF-8")#讀取url網頁數據，並使用htmlParse轉化。（xml文件使用xmlParse）
    

78.         node<-getNodeSet(i_url_parse,xpath)#經過xpath[i]找到相應變量的xpath結點
    

79.         if(length(node)==0){#未爬取到數據，說明xpath有誤
    

80.             result[tmp,1]<-i
    

81.             result[tmp,2]<-NA
    

82.             print(paste("注意：變量未能在第",i,"個頁面中找到,咱們會把該數據寫爲空值"))
    

83.             tmp<-tmp+1
    

84.         }else{
    

85.             for(j in 1:length(node)){
    

86.                 result[tmp,1]<-i
    

87.                 if(content=="text"){#欲爬取變量的內容
    

88.                     result[tmp,2]<-xmlValue(node`j`)
    

89.                 }else{#欲爬取變量的屬性
    

90.                     result[tmp,2]<-xmlGetAttr(node`j`,content)
    

91.                     #result[tmp,2]<-iconv(result[tmp,2],"UTF-8","gbk")#若是是亂碼，能夠打開此語句。若是是na能夠刪除此句
    

92.                 }
    

93.                 tmp<-tmp+1
    

94.             }
    

95.         }
    

96.         i<-i+1
    

97.     }
    

98.     result
    

99. }
    

100. 
     

101. #test
     

102. 
     

103. #測試crawler1
     

104. #測試內容
     

105. url1<-"http://3c.taobao.com/detail.htm?spm=872.217037.254698.6.deIiSJ&spuid=205341228&cat=1101"
     

106. url2<-"http://3c.taobao.com/detail.htm?spm=872.217037.254698.11.deIiSJ&spuid=203228104&cat=1101"
     

107. url3<-"http://item.taobao.com/item.htm?spm=1020.3.9.122.SCNhDn&id=15695321398&from="
     

108. url<-c(url1,url2,url3)
     

109. xpath<-c("//div[@id='idetail']//div[@class='info-area']//div[@class='tlt clearfix']//h1","//div[@id='idetail']//div[@class='info-area']//div[@class='key-info']//span[@class='price']")
     

110. crawler1(url,xpath)
     

111. #測試屬性值
     

112. url<-"http://data.caixin.com/macro/macro_indicator_more.html?id=F0001&cpage=2&pageSize=30&url=macro_indicator_more.html#top";
     

113. xpath<-"//meta[@name='keywords']"
     

114. content<-"content"
     

115. crawler1(url,xpath,content)
     

116. 
     

117. #測試crawler2
     

118. url<-"http://list.taobao.com/itemlist/bao.htm?spm=567.116925.155171.105.9ZYYMX&cat=50072693&isprepay=1&viewIndex=1&yp4p_page=0&commend=all&atype=b&style=grid&olu=yes&isnew=2&smc=1&mSelect=false&user_type=0&fl=50072693#!cat=50072693&isprepay=1&user_type=0&as=0&viewIndex=1&yp4p_page=0&commend=all&atype=b&style=grid&olu=yes&isnew=2&mSelect=false&smc=1&json=on&tid=0"
     

119. xpath<-"//li[@class='list-item list-item-grid']"
     

120. content<-"data-commenturl"
     

121. crawler2(url1,xpath,content)
     

122. #疑難：如何破解data-commenturl="`item`.`commendHref`" 
     

123. #<li class="list-item list-item-grid" data-isrush="`item`.`isLimitPromotion`" data-ismall="`item`.`isMall`" data-item="`item`.`itemId`" data-#params="sellerId=`item`.`sellerId`&ip=`extraInfo`.`userIp`" data-comment="`item`.`commend`" data-commenturl="`item`.`commendHref`" data-#virtual="`item`.`isVirtual`">
     

124. 
     

125. url2<-"D://r//lab//網頁爬蟲//data//bao.htm"
     

126. crawler2(url2,xpath,content)