經過rcurl抓取網頁數據

 

獲取數據有多種方式，例如從txt、excel、curl、數據庫等，我比較喜歡curl和數據庫，先介紹下rcurl

一 下載rcurl包
http://cran.r-project.org/web/packages/RCurl/index.html

二 安裝 

sudo R CMD INSTALL RCurl_1.95-4.1.tgz

　　

三 試運行

出錯，發現缺乏另一個包，bitops

四 安裝bitops

http://cran.r-project.org/web/packages/bitops/index.html

運行 

sudo R CMD INSTALL bitops_1.0-6.tgz

 

五 安裝XML包
從網上看到的實例都須要這個包，怎麼 辦？安吧

下載地址：http://cran.r-project.org/web/packages/XML/index.html
命令行輸入：

sudo R CMD INSTALL XML_3.98-1.1.tgz

 

傻了，命名能夠直接在R下輸入install命令的

六 安裝了RJSONIO包
使用R內置的install命令安裝失敗，繼續老辦法安裝後，成功

七 實例
獲取豆瓣裏冰雪奇緣影片的評分，代碼以下：

library(RCurl)
library(XML)
library(RJSONIO)
movieScoreapi <- function(x) {
api <- "https://api.douban.com/v2/movie/search?q={"
url <- paste(api, x, "}", sep = "")
res <- getURL(url)
reslist <- fromJSON(res)
name <- reslist$subjects[[1]]$title
score <- reslist$subjects[[1]]$rating$average
return(list(name = name, score = score)) }
movieScoreapi('冰雪奇緣’)

　　

運行成功