R语言爬取豆瓣图书Top250

女爷i 2021-09-26 15:08 669阅读 0赞

新手爬虫，使用R中最简单的读取网页，然后获取所需内容所在行进行解析。下面介绍爬取豆瓣图书Top250的案例。  
1.首先，我们知道网页规律为：“[http://book.douban.com/top250?start=”+index，index为25的倍数，从0开始，表示该页面是从index开始的25条图书数据。][http_book.douban.com_top250_start_index_index_25_0_index_25]  
获取网页信息代码如下：

web <- seq()
    for(i in 1:9){
      url1<-paste('http://book.douban.com/top250?start=',25*i,'&filter=&type=',sep="")
      web1 <- readLines(url1,encoding="UTF-8")
      web<-c(web,web1)  
    }

2.在网页上审查元素，获取我们需要的数据的特征，然后选择所在行进行解析  
所有数据长度均为250条

#书名
    name <- web[grep(' <div class="pl2">',web)+6]
    #作者、出版商等信息
    other <- web[grep('<p class="pl">',web)]
    #评分
    score<-web[grep('<div class="star',web)+2]
    
    #将数据解析到book对象中
    book.names <- 0 #书名
    book.authors <- 0;#作者
    book.Publishing_House<- 0;#出版社
    book.Publishing_date <- 0;#出版时间
    book.price <- 0;#定价
    book.scores <- 0#评分
    #解析数据
    others <- 0
    for(i in 1:length(name)){
       book.names[i]<-substring(name[i],17)#去掉书名前的空白
       others[i] <- substring(other[i],28,nchar(other[i])-4)
       temp<-strsplit(others[i],split = "/")[[1]]
       book.authors[i] = temp[1];
       book.Publishing_House[i] = temp[length(temp)-2]; 
       book.Publishing_date[i] = temp[length(temp)-1];
       book.price[i] = temp[length(temp)]; 
       book.scores [i] <- substring(score[i],45,nchar(score[i])-7)
    }
    book.names <- sub('>','',book.names)
    book.authors <- sub('>','',book.authors)
    book.Publishing_House <- sub('>','',book.Publishing_House)
    book.Publishing_date <- sub('>','',book.Publishing_date)
    book.scores <- sub('>','',book.scores)

3.显示抓取的前几条图书信息，然后将所有信息保存到本地

# 合成为数据框
    temp1 <- data.frame('书名'=book.names,
    					'作者'=book.authors,
    					'出版社'= book.Publishing_House ,
    					'出版日期' = book.Publishing_date,
    					'评分' = book.scores)
    #打印前几条
    head(temp1)		
    #保存到CSV文件中
    write.csv(temp1,"dbbookTop250.csv")

实验结果：  
![这里写图片描述][70]

[http_book.douban.com_top250_start_index_index_25_0_index_25]: http://book.douban.com/top250?start=%E2%80%9D+index%EF%BC%8Cindex%E4%B8%BA25%E7%9A%84%E5%80%8D%E6%95%B0%EF%BC%8C%E4%BB%8E0%E5%BC%80%E5%A7%8B%EF%BC%8C%E8%A1%A8%E7%A4%BA%E8%AF%A5%E9%A1%B5%E9%9D%A2%E6%98%AF%E4%BB%8Eindex%E5%BC%80%E5%A7%8B%E7%9A%8425%E6%9D%A1%E5%9B%BE%E4%B9%A6%E6%95%B0%E6%8D%AE%E3%80%82
[70]: /images/20210923/ffef000e430b4212b6da24a2a14b0b77.png