虎扑步行街爬虫分析

谁践踏了优雅 2022-05-22 11:29 193阅读 0赞

最近学习scrapy，就拿虎扑练了下手，主要爬取[虎扑步行街][Link 1]的帖子以及回帖的一些数据。

scrapy的教程可以看一下我写的上一篇博客:  
[python爬虫框架——Scrapy架构原理介绍][python_Scrapy]  
解析网页的时候还需要对xpath有所了解，也可以看一下我的这篇博客：  
[xPath 用法总结整理][xPath]

### 一、爬虫功能 ###

目前主要就实现3个功能：  
1. 爬取步行街主干道的帖子  
2. 爬取对应帖子的回帖信息  
3. 爬取步行街上的所有图片，下载到本地(可通过配置文件开关，默认是关闭的)

下面简单分析一下爬取过程

### 二、抓取数据过程简单分析 ###

开始爬取的时候，我们可以先分析步行街的首页url [https://bbs.hupu.com/bxj][Link 1]，然后用chrome的开发者工具对网页的html进行分析。对于一些感兴趣的数据，分析它html节点对应的xpath语法。如果对html以及xpath不太熟悉的同学，也可以使用chrome开发者工具直接抽取xpath。

选中元素，然后右击  
![chrome抽取xpath][chrome_xpath]

拿到对应的xpath后，我们就可以获取数据了。下面是对应`parse()`的方法：

def parse(self, response):
            content_urls = []
            # 获取所有帖子，然后去遍历他们
            for li in response.xpath('//ul[@class="for-list"]/li'):
                # self.log(li.extract())
                # 获取标题的链接
                title_href = li.xpath(".//a[@class='truetit']/@href").extract_first()
                # 上面拿到的只是一个相对地址，这里拼接成一个绝对地址
                url = "https://bbs.hupu.com" + title_href
                # 虎扑帖子的id
                post_id = self.get_post_id(title_href)
                # 获取帖子的标题
                title = li.xpath(".//a[@class='truetit']/text()").extract_first()
                # 作者
                author = li.xpath(".//a[@class='aulink']/text()").extract_first()
                # 发表时间
                post_time = li.xpath(".//a[@style='color:#808080;cursor: initial; ']/text()").extract_first()
                # 获取浏览数/回复数
                count_des = li.xpath(".//span[@class='ansour box']/text()").extract_first()
                # 获取回复数
                reply_count = re.match('(\d+)[^0-9]*(\d+)', count_des).group(1)
                # 获取帖子浏览数
                view_count = re.match('(\d+)[^0-9]*(\d+)', count_des).group(2)
                content_urls.append(url)
                # 返回数据，交给pipeline去存储到数据库中
                yield {
       "id": post_id, "title": title, "url": url, "author": author, "post_time": post_time,
                       "view_count": view_count, "reply_count": reply_count}
            # 这下面返回帖子的url，这样scrapy引擎就会继续去查看帖子的详情，后面就可以直接爬取帖子的回帖数据了
            for content_url in content_urls:
                yield scrapy.Request(content_url, self.post_content_parse, dont_filter=True)

这样，我们就获取到步行街首页的所有帖子内容，要想获取第二页的数据也很简单，虎扑的分页是直接放在url上做处理的。要访问第二页，在后面加个-2就可以了，也就是[https://bbs.hupu.com/bxj-2][https_bbs.hupu.com_bxj-2]。我们就可以很方便的遍历各个页面的帖子数据了。

##### 获取回帖数据 #####

拿到帖子数据后，我们还希望拿到对应的帖子回帖详情，在前面的`parse()`方法里面，我们已经在最后返回了包含帖子url的Request，scrapy引擎会自动帮我们去下载对应url的内容，然后调用`post_content_parse()`方法。怎么获取回帖内容就不详细分析了，下面直接上代码:

def post_content_parse(self, response):
            # 获取一共有几页
            page_match = self.page_compile.match(response.text)
            total_pages = 1
            if page_match is not None:
                total_pages = int(page_match.group(1))
            # 获取帖子的内容
            content = response.xpath("//div[@class='quote-content']").extract_first()
            # 帖子的具体回复时间，前面获取的时间值精确到天，这里的可以精确到秒
            post_detail_time = response.xpath("//div[@class='floor-show']//span[@class='stime']/text()").extract_first()
            post_id = self.get_post_id(response.url)
            # 这里返回帖子的内容和具体时间主要是为了修复前面的帖子数据
            yield {
       "type": 2, "content": content, "post_time": post_detailt_time, "id": post_id}
            # 遍历所有回帖楼层
            for reply in response.xpath("//div[@class='floor']"):
                if reply.xpath("@id") is None:
                    continue
                hupu_reply_id = reply.xpath("@id").extract_first()
                floor_num = reply.xpath(".//a[@class='floornum']/@id").extract_first()
                if hupu_reply_id == "tpc" or floor_num is None:
                    continue
                author = reply.xpath(".//div[@class='author']//a[@class='u']/text()").extract_first()
                reply_time = reply.xpath(".//div[@class='author']//span[@class='stime']/text()").extract_first()
                like_count = reply.xpath(
                    ".//div[@class='author']//span[@class='ilike_icon_list']//span[@class='stime']/text()").extract_first()
                content = reply.xpath(".//tbody").extract_first()
    
                yield {
       "type": 3, "content": content, "hupu_reply_id": hupu_reply_id, "author": author,
                       "hupu_post_id": post_id, "reply_time": reply_time, "like_count": like_count, "floor_num": floor_num}
            # 如果回帖的页数大于1，还需要继续遍历其他页的回帖数据
            if total_pages > 1:
                for page in range(2, total_pages + 1):
                    url = "https://bbs.hupu.com/%s-%s.html" % (post_id, page)
                    scrapy.Request(url, self.post_content_page_parse, dont_filter=True)
            # 用来抽取本页面所有的图片内容
            image_urls = response.xpath("//tbody//img/@src").extract()
            if len(image_urls) > 0:
                yield {
       "type": 999, "image_urls": image_urls}

##### 下载图片 #####

上面爬取回帖内容的同时，还同时爬取了图片的url。本人也写了一个pipeline来处理这些图片url，功能很简单，就是直接把图片下载下来，不过默认情况下这个pipeline是关闭的。

### 三、步行街帖子数据分析 ###

目前爬虫已经放到服务器上面运行，从6月12号开始，也累计了一些数据。下面对帖子以及回帖数据进行一些简单的分析：

##### 1. 日发帖数 #####

从上面的表格可以看出，步行街的日发帖数应该在2000左右，不知道为什么6.12到6.14这几天为什么比较高，当然不排除我的爬虫程序有问题。

##### 2. 日回帖数 #####

发帖数差不多是2000，回帖数量是20000，有点意思。还是6.12到6.14比较高

##### 4. 发帖数最高的50名jr #####

在6.12到6.23之间，发帖数最高的50名jr：

<table> 
 <thead> 
  <tr> 
   <th>jr账号名</th> 
   <th>发帖数量</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>天雷刚地火</td> 
   <td>96</td> 
  </tr> 
  <tr> 
   <td>雨1直下</td> 
   <td>89</td> 
  </tr> 
  <tr> 
   <td>路人王</td> 
   <td>53</td> 
  </tr> 
  <tr> 
   <td>太阳骑士索拉尔哟</td> 
   <td>47</td> 
  </tr> 
  <tr> 
   <td>方敏寞</td> 
   <td>46</td> 
  </tr> 
  <tr> 
   <td>彩虹上面看星星</td> 
   <td>46</td> 
  </tr> 
  <tr> 
   <td>哈哈哈侦探社</td> 
   <td>44</td> 
  </tr> 
  <tr> 
   <td>yintongju</td> 
   <td>41</td> 
  </tr> 
  <tr> 
   <td>成长中的迷茫与彷徨</td> 
   <td>39</td> 
  </tr> 
  <tr> 
   <td>木守宫</td> 
   <td>38</td> 
  </tr> 
  <tr> 
   <td>勒布朗FMVP詹姆斯</td> 
   <td>38</td> 
  </tr> 
  <tr> 
   <td>PH217</td> 
   <td>35</td> 
  </tr> 
  <tr> 
   <td>笨笨虫和牛仔</td> 
   <td>34</td> 
  </tr> 
  <tr> 
   <td>劍魔獨孤求敗</td> 
   <td>33</td> 
  </tr> 
  <tr> 
   <td>小毛驴林书豪</td> 
   <td>33</td> 
  </tr> 
  <tr> 
   <td>junwangce</td> 
   <td>33</td> 
  </tr> 
  <tr> 
   <td>步行街最帅的男人</td> 
   <td>33</td> 
  </tr> 
  <tr> 
   <td>TomDavies</td> 
   <td>31</td> 
  </tr> 
  <tr> 
   <td>呼呼zzzzzz</td> 
   <td>31</td> 
  </tr> 
  <tr> 
   <td>鲁智深大战潘金莲</td> 
   <td>29</td> 
  </tr> 
  <tr> 
   <td>章泽天男友</td> 
   <td>27</td> 
  </tr> 
  <tr> 
   <td>姨妈血豆腐汤</td> 
   <td>27</td> 
  </tr> 
  <tr> 
   <td>随心所欲不</td> 
   <td>27</td> 
  </tr> 
  <tr> 
   <td>Chuck正男</td> 
   <td>26</td> 
  </tr> 
  <tr> 
   <td>虎扑中人</td> 
   <td>25</td> 
  </tr> 
  <tr> 
   <td>moneya</td> 
   <td>25</td> 
  </tr> 
  <tr> 
   <td>SmithKobe</td> 
   <td>25</td> 
  </tr> 
  <tr> 
   <td>嗨喽棒棒昂</td> 
   <td>25</td> 
  </tr> 
  <tr> 
   <td>早上尿很黄</td> 
   <td>25</td> 
  </tr> 
  <tr> 
   <td>卡特麦迪AI科比鲨鱼</td> 
   <td>25</td> 
  </tr> 
  <tr> 
   <td>作死就只能用小号</td> 
   <td>25</td> 
  </tr> 
  <tr> 
   <td>人云亦云者比无脑可悲</td> 
   <td>25</td> 
  </tr> 
  <tr> 
   <td>LCMC0710</td> 
   <td>25</td> 
  </tr> 
  <tr> 
   <td>佛陀芒果</td> 
   <td>24</td> 
  </tr> 
  <tr> 
   <td>文墨冷潇</td> 
   <td>23</td> 
  </tr> 
  <tr> 
   <td>破體無形劍氣</td> 
   <td>22</td> 
  </tr> 
  <tr> 
   <td>后仰直臂投</td> 
   <td>22</td> 
  </tr> 
  <tr> 
   <td>我有点晕奶</td> 
   <td>21</td> 
  </tr> 
  <tr> 
   <td>第十九个号</td> 
   <td>21</td> 
  </tr> 
  <tr> 
   <td>绿胖腿</td> 
   <td>21</td> 
  </tr> 
  <tr> 
   <td>w13955386654</td> 
   <td>21</td> 
  </tr> 
  <tr> 
   <td>大王威武</td> 
   <td>21</td> 
  </tr> 
  <tr> 
   <td>胡乱唱歌96</td> 
   <td>21</td> 
  </tr> 
  <tr> 
   <td>齐B裤小号</td> 
   <td>20</td> 
  </tr> 
  <tr> 
   <td>灯泡最牛</td> 
   <td>20</td> 
  </tr> 
  <tr> 
   <td>上纸寨</td> 
   <td>20</td> 
  </tr> 
  <tr> 
   <td>世界杯MVP梅西</td> 
   <td>20</td> 
  </tr> 
  <tr> 
   <td>175327777</td> 
   <td>19</td> 
  </tr> 
  <tr> 
   <td>小勒布朗三分绝杀老詹</td> 
   <td>19</td> 
  </tr> 
  <tr> 
   <td>安兜兜hd</td> 
   <td>19</td> 
  </tr> 
 </tbody> 
</table>

##### 4. 回帖数最高的50名jr #####

在6.12到6.23之间，回帖数最高的50名jr：

<table> 
 <thead> 
  <tr> 
   <th>jr账号名</th> 
   <th>回帖数量</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>水水瑞</td> 
   <td>1538</td> 
  </tr> 
  <tr> 
   <td>mihm3344</td> 
   <td>405</td> 
  </tr> 
  <tr> 
   <td>21DuncanSun</td> 
   <td>376</td> 
  </tr> 
  <tr> 
   <td>不愿透露姓名的某JR</td> 
   <td>349</td> 
  </tr> 
  <tr> 
   <td>金牛座万大爷</td> 
   <td>346</td> 
  </tr> 
  <tr> 
   <td>那你自个儿想去</td> 
   <td>346</td> 
  </tr> 
  <tr> 
   <td>浮云310</td> 
   <td>318</td> 
  </tr> 
  <tr> 
   <td>外行看门道MAC</td> 
   <td>311</td> 
  </tr> 
  <tr> 
   <td>千年以后子孙留名</td> 
   <td>273</td> 
  </tr> 
  <tr> 
   <td>Harry郝艺益</td> 
   <td>269</td> 
  </tr> 
  <tr> 
   <td>活的真累</td> 
   <td>257</td> 
  </tr> 
  <tr> 
   <td>张啊花</td> 
   <td>255</td> 
  </tr> 
  <tr> 
   <td>行风666</td> 
   <td>252</td> 
  </tr> 
  <tr> 
   <td>左韩超右</td> 
   <td>250</td> 
  </tr> 
  <tr> 
   <td>游荡的泉</td> 
   <td>230</td> 
  </tr> 
  <tr> 
   <td>ms_king</td> 
   <td>229</td> 
  </tr> 
  <tr> 
   <td>轩寻6</td> 
   <td>226</td> 
  </tr> 
  <tr> 
   <td>dabing2016</td> 
   <td>223</td> 
  </tr> 
  <tr> 
   <td>elgin1234</td> 
   <td>213</td> 
  </tr> 
  <tr> 
   <td>逼格east</td> 
   <td>208</td> 
  </tr> 
  <tr> 
   <td>流年‰飘雪</td> 
   <td>207</td> 
  </tr> 
  <tr> 
   <td>安徽亳州</td> 
   <td>205</td> 
  </tr> 
  <tr> 
   <td>晚归来</td> 
   <td>203</td> 
  </tr> 
  <tr> 
   <td>Kobe_is_FMVP</td> 
   <td>200</td> 
  </tr> 
  <tr> 
   <td>范蕊雅单挑库里</td> 
   <td>199</td> 
  </tr> 
  <tr> 
   <td>我的包包不能这么可爱</td> 
   <td>197</td> 
  </tr> 
  <tr> 
   <td>rogerfwoo</td> 
   <td>191</td> 
  </tr> 
  <tr> 
   <td>哈保卡</td> 
   <td>190</td> 
  </tr> 
  <tr> 
   <td>15850000</td> 
   <td>186</td> 
  </tr> 
  <tr> 
   <td>红焙浅瓯</td> 
   <td>184</td> 
  </tr> 
  <tr> 
   <td>Laughing.哥</td> 
   <td>183</td> 
  </tr> 
  <tr> 
   <td>戈多樱木</td> 
   <td>183</td> 
  </tr> 
  <tr> 
   <td>真范德彪</td> 
   <td>183</td> 
  </tr> 
  <tr> 
   <td>表白标配士力架</td> 
   <td>181</td> 
  </tr> 
  <tr> 
   <td>篮球队的小田</td> 
   <td>181</td> 
  </tr> 
  <tr> 
   <td>手可摘星辰i</td> 
   <td>181</td> 
  </tr> 
  <tr> 
   <td>哈灯的登</td> 
   <td>179</td> 
  </tr> 
  <tr> 
   <td>香甜好米饭</td> 
   <td>178</td> 
  </tr> 
  <tr> 
   <td>能没昵称吗行不</td> 
   <td>176</td> 
  </tr> 
  <tr> 
   <td>红花会陈家洛</td> 
   <td>173</td> 
  </tr> 
  <tr> 
   <td>三星NOTE8</td> 
   <td>170</td> 
  </tr> 
  <tr> 
   <td>东篱下的你</td> 
   <td>169</td> 
  </tr> 
  <tr> 
   <td>hangload</td> 
   <td>164</td> 
  </tr> 
  <tr> 
   <td>小树宝的大草包</td> 
   <td>159</td> 
  </tr> 
  <tr> 
   <td>沐芋枫</td> 
   <td>157</td> 
  </tr> 
  <tr> 
   <td>感性的Augus</td> 
   <td>157</td> 
  </tr> 
  <tr> 
   <td>我相信琦迹</td> 
   <td>155</td> 
  </tr> 
  <tr> 
   <td>两米二大老黑</td> 
   <td>155</td> 
  </tr> 
  <tr> 
   <td>挣钱换X5</td> 
   <td>154</td> 
  </tr> 
  <tr> 
   <td>小穴老湿啊</td> 
   <td>153</td> 
  </tr> 
 </tbody> 
</table>

##### 5. 查看某天回复数最高的50个帖子 #####

有时候没空刷步行街，就可以把当天回帖最多的那些帖子找出来看一看。一般回帖多的帖子都比较有趣，很多时候看回帖比看帖子还有意思。  
6.21那天回复数量最高的50个帖子:

<table> 
 <thead> 
  <tr> 
   <th>标题</th> 
   <th>链接</th> 
   <th>浏览数</th> 
   <th>回复数</th> 
   <th>发帖时间</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>你对自己的身高满意吗？距离想身高差多少？</td> 
   <td><a href="https://bbs.hupu.com/22653031.html" rel="nofollow">https://bbs.hupu.com/22653031.html</a></td> 
   <td>380755</td> 
   <td>1551</td> 
   <td>2018-06-21 07:28:00</td> 
  </tr> 
  <tr> 
   <td>对你影响最大的一本书是什么？</td> 
   <td><a href="https://bbs.hupu.com/22658135.html" rel="nofollow">https://bbs.hupu.com/22658135.html</a></td> 
   <td>394914</td> 
   <td>1193</td> 
   <td>2018-06-21 16:20:00</td> 
  </tr> 
  <tr> 
   <td>我是上次小区踢飞泰迪的那个，后续来了</td> 
   <td><a href="https://bbs.hupu.com/22657245.html" rel="nofollow">https://bbs.hupu.com/22657245.html</a></td> 
   <td>823999</td> 
   <td>1159</td> 
   <td>2018-06-21 14:56:00</td> 
  </tr> 
  <tr> 
   <td>今天看到几年前居然有人说江南大学是野鸡大学</td> 
   <td><a href="https://bbs.hupu.com/22653084.html" rel="nofollow">https://bbs.hupu.com/22653084.html</a></td> 
   <td>348088</td> 
   <td>897</td> 
   <td>2018-06-21 07:42:00</td> 
  </tr> 
  <tr> 
   <td>陕北小县城人第一次来大城市省城西安，被震撼到了。。。</td> 
   <td><a href="https://bbs.hupu.com/22652204.html" rel="nofollow">https://bbs.hupu.com/22652204.html</a></td> 
   <td>366892</td> 
   <td>877</td> 
   <td>2018-06-21 00:35:00</td> 
  </tr> 
  <tr> 
   <td>你穿过最舒服的低帮篮球鞋是哪双？</td> 
   <td><a href="https://bbs.hupu.com/22661382.html" rel="nofollow">https://bbs.hupu.com/22661382.html</a></td> 
   <td>380934</td> 
   <td>875</td> 
   <td>2018-06-21 21:53:00</td> 
  </tr> 
  <tr> 
   <td>zt 最新消息，江苏高考取消小高考，语数外改用全国卷</td> 
   <td><a href="https://bbs.hupu.com/22652847.html" rel="nofollow">https://bbs.hupu.com/22652847.html</a></td> 
   <td>379259</td> 
   <td>870</td> 
   <td>2018-06-21 05:07:00</td> 
  </tr> 
  <tr> 
   <td>男生是不是真的更容易从失恋中走出来？</td> 
   <td><a href="https://bbs.hupu.com/22661015.html" rel="nofollow">https://bbs.hupu.com/22661015.html</a></td> 
   <td>357281</td> 
   <td>865</td> 
   <td>2018-06-21 21:20:00</td> 
  </tr> 
  <tr> 
   <td>上海财经大学还是听父母意见去西安交通大学？</td> 
   <td><a href="https://bbs.hupu.com/22655054.html" rel="nofollow">https://bbs.hupu.com/22655054.html</a></td> 
   <td>335541</td> 
   <td>852</td> 
   <td>2018-06-21 11:21:00</td> 
  </tr> 
  <tr> 
   <td>终于轮到我了，我是《古惑仔》编剧文隽，大家有什么想问的？</td> 
   <td><a href="https://bbs.hupu.com/22656567.html" rel="nofollow">https://bbs.hupu.com/22656567.html</a></td> 
   <td>265841</td> 
   <td>771</td> 
   <td>2018-06-21 13:48:00</td> 
  </tr> 
  <tr> 
   <td>广东23岁女子凌晨打车遭侵犯杀害 被藏尸烧烤店冰柜zt</td> 
   <td><a href="https://bbs.hupu.com/22653415.html" rel="nofollow">https://bbs.hupu.com/22653415.html</a></td> 
   <td>749287</td> 
   <td>767</td> 
   <td>2018-06-21 08:41:00</td> 
  </tr> 
  <tr> 
   <td>复旦大学生在邓紫棋面前炫耀学历，被撒贝宁无情打脸，什么水平？zt</td> 
   <td><a href="https://bbs.hupu.com/22657173.html" rel="nofollow">https://bbs.hupu.com/22657173.html</a></td> 
   <td>743862</td> 
   <td>755</td> 
   <td>2018-06-21 14:50:00</td> 
  </tr> 
  <tr> 
   <td>不看抖音，不看快手，不看小视频，不玩王者，不吃鸡的是什么样的男人？</td> 
   <td><a href="https://bbs.hupu.com/22658047.html" rel="nofollow">https://bbs.hupu.com/22658047.html</a></td> 
   <td>269902</td> 
   <td>746</td> 
   <td>2018-06-21 16:12:00</td> 
  </tr> 
  <tr> 
   <td>无助，女朋友情愿分手也要做主播</td> 
   <td><a href="https://bbs.hupu.com/22660404.html" rel="nofollow">https://bbs.hupu.com/22660404.html</a></td> 
   <td>564589</td> 
   <td>691</td> 
   <td>2018-06-21 20:24:00</td> 
  </tr> 
  <tr> 
   <td>28岁还喜欢玩游戏，是不是不成熟的表现？</td> 
   <td><a href="https://bbs.hupu.com/22654920.html" rel="nofollow">https://bbs.hupu.com/22654920.html</a></td> 
   <td>435483</td> 
   <td>663</td> 
   <td>2018-06-21 11:08:00</td> 
  </tr> 
  <tr> 
   <td>同事动不动就说世界杯踢假球，问问街上看球的jr，是同事太偏激还是世界杯真的这样</td> 
   <td><a href="https://bbs.hupu.com/22653725.html" rel="nofollow">https://bbs.hupu.com/22653725.html</a></td> 
   <td>327633</td> 
   <td>653</td> 
   <td>2018-06-21 09:18:00</td> 
  </tr> 
  <tr> 
   <td>我前面自习的妹子衣服好像反了…我该怎么提醒她</td> 
   <td><a href="https://bbs.hupu.com/22657871.html" rel="nofollow">https://bbs.hupu.com/22657871.html</a></td> 
   <td>1086467</td> 
   <td>633</td> 
   <td>2018-06-21 15:54:00</td> 
  </tr> 
  <tr> 
   <td>现在女孩子写字普遍比男生写字好看？</td> 
   <td><a href="https://bbs.hupu.com/22653236.html" rel="nofollow">https://bbs.hupu.com/22653236.html</a></td> 
   <td>255973</td> 
   <td>618</td> 
   <td>2018-06-21 08:17:00</td> 
  </tr> 
  <tr> 
   <td>阿迪boost穿着舒服吗？</td> 
   <td><a href="https://bbs.hupu.com/22653173.html" rel="nofollow">https://bbs.hupu.com/22653173.html</a></td> 
   <td>297150</td> 
   <td>597</td> 
   <td>2018-06-21 08:06:00</td> 
  </tr> 
  <tr> 
   <td>你们反感别人吃饭bia叽嘴吗</td> 
   <td><a href="https://bbs.hupu.com/22655719.html" rel="nofollow">https://bbs.hupu.com/22655719.html</a></td> 
   <td>189510</td> 
   <td>591</td> 
   <td>2018-06-21 12:26:00</td> 
  </tr> 
  <tr> 
   <td>你管外祖母叫外婆还是姥姥？</td> 
   <td><a href="https://bbs.hupu.com/22655772.html" rel="nofollow">https://bbs.hupu.com/22655772.html</a></td> 
   <td>53460</td> 
   <td>581</td> 
   <td>2018-06-21 12:32:00</td> 
  </tr> 
  <tr> 
   <td>明天就要人生第一次一个人坐飞机了，为了不尴尬，有哪些要注意的？</td> 
   <td><a href="https://bbs.hupu.com/22653154.html" rel="nofollow">https://bbs.hupu.com/22653154.html</a></td> 
   <td>338257</td> 
   <td>570</td> 
   <td>2018-06-21 08:02:00</td> 
  </tr> 
  <tr> 
   <td>身边有个小姐姐 快30了职业是空姐，听说还没谈过男朋友 正常吗？</td> 
   <td><a href="https://bbs.hupu.com/22657929.html" rel="nofollow">https://bbs.hupu.com/22657929.html</a></td> 
   <td>594876</td> 
   <td>562</td> 
   <td>2018-06-21 16:01:00</td> 
  </tr> 
  <tr> 
   <td>西安综合实力和郑州相比落后吗？</td> 
   <td><a href="https://bbs.hupu.com/22655953.html" rel="nofollow">https://bbs.hupu.com/22655953.html</a></td> 
   <td>96447</td> 
   <td>561</td> 
   <td>2018-06-21 12:47:00</td> 
  </tr> 
  <tr> 
   <td>火车对面一个1米8的妹子，现在我们两个面对面坐着，很尴尬</td> 
   <td><a href="https://bbs.hupu.com/22659812.html" rel="nofollow">https://bbs.hupu.com/22659812.html</a></td> 
   <td>1100467</td> 
   <td>553</td> 
   <td>2018-06-21 19:26:00</td> 
  </tr> 
  <tr> 
   <td>说到歌曲刚开始高潮的歌你第一个想到的是哪首？</td> 
   <td><a href="https://bbs.hupu.com/22660877.html" rel="nofollow">https://bbs.hupu.com/22660877.html</a></td> 
   <td>142950</td> 
   <td>542</td> 
   <td>2018-06-21 21:07:00</td> 
  </tr> 
  <tr> 
   <td>昨晚和老婆的聊天记录，我是修了几辈子的福气？</td> 
   <td><a href="https://bbs.hupu.com/22653013.html" rel="nofollow">https://bbs.hupu.com/22653013.html</a></td> 
   <td>731883</td> 
   <td>530</td> 
   <td>2018-06-21 07:21:00</td> 
  </tr> 
  <tr> 
   <td>我大河南的高考真恐怖</td> 
   <td><a href="https://bbs.hupu.com/22653468.html" rel="nofollow">https://bbs.hupu.com/22653468.html</a></td> 
   <td>126669</td> 
   <td>527</td> 
   <td>2018-06-21 08:50:00</td> 
  </tr> 
  <tr> 
   <td>爷爷破过的奇案4：中心校空屋悬尸疑案（多图慎入）</td> 
   <td><a href="https://bbs.hupu.com/22654485.html" rel="nofollow">https://bbs.hupu.com/22654485.html</a></td> 
   <td>446857</td> 
   <td>511</td> 
   <td>2018-06-21 10:33:00</td> 
  </tr> 
  <tr> 
   <td>张艺兴在国外有多火</td> 
   <td><a href="https://bbs.hupu.com/22657470.html" rel="nofollow">https://bbs.hupu.com/22657470.html</a></td> 
   <td>232204</td> 
   <td>510</td> 
   <td>2018-06-21 15:17:00</td> 
  </tr> 
  <tr> 
   <td>袁立这波怒怼李冰冰什么水平</td> 
   <td><a href="https://bbs.hupu.com/22654535.html" rel="nofollow">https://bbs.hupu.com/22654535.html</a></td> 
   <td>839503</td> 
   <td>503</td> 
   <td>2018-06-21 10:36:00</td> 
  </tr> 
  <tr> 
   <td>13岁孩子路上突发心脏病猝死 无人现场急救，律师:好心帮助可能需承担法律责任。</td> 
   <td><a href="https://bbs.hupu.com/22656565.html" rel="nofollow">https://bbs.hupu.com/22656565.html</a></td> 
   <td>241227</td> 
   <td>502</td> 
   <td>2018-06-21 13:47:00</td> 
  </tr> 
  <tr> 
   <td>女票在大学里有两个认的哥哥是什么意思？</td> 
   <td><a href="https://bbs.hupu.com/22655277.html" rel="nofollow">https://bbs.hupu.com/22655277.html</a></td> 
   <td>326411</td> 
   <td>492</td> 
   <td>2018-06-21 11:44:00</td> 
  </tr> 
  <tr> 
   <td>Angelababy实力说唱，嗨翻全场！</td> 
   <td><a href="https://bbs.hupu.com/22661522.html" rel="nofollow">https://bbs.hupu.com/22661522.html</a></td> 
   <td>519914</td> 
   <td>470</td> 
   <td>2018-06-21 22:09:00</td> 
  </tr> 
  <tr> 
   <td>2018年各国人均纯收入排行榜，日本挤出前20，中国香港入围</td> 
   <td><a href="https://bbs.hupu.com/22656702.html" rel="nofollow">https://bbs.hupu.com/22656702.html</a></td> 
   <td>246416</td> 
   <td>464</td> 
   <td>2018-06-21 14:01:00</td> 
  </tr> 
  <tr> 
   <td>一个小学同学来我姐姐店吃饭，不给免单有错吗？</td> 
   <td><a href="https://bbs.hupu.com/22654663.html" rel="nofollow">https://bbs.hupu.com/22654663.html</a></td> 
   <td>407392</td> 
   <td>463</td> 
   <td>2018-06-21 10:47:00</td> 
  </tr> 
  <tr> 
   <td>ZT河南一街道规定彩礼不得超2万 索要过多以贩卖人口论处</td> 
   <td><a href="https://bbs.hupu.com/22653673.html" rel="nofollow">https://bbs.hupu.com/22653673.html</a></td> 
   <td>323144</td> 
   <td>455</td> 
   <td>2018-06-21 09:14:00</td> 
  </tr> 
  <tr> 
   <td>王晶这个微博怎么看</td> 
   <td><a href="https://bbs.hupu.com/22653809.html" rel="nofollow">https://bbs.hupu.com/22653809.html</a></td> 
   <td>493515</td> 
   <td>455</td> 
   <td>2018-06-21 09:27:00</td> 
  </tr> 
  <tr> 
   <td>作为矿泉水的两大巨头 你们选哇哈哈还是农夫山泉</td> 
   <td><a href="https://bbs.hupu.com/22656890.html" rel="nofollow">https://bbs.hupu.com/22656890.html</a></td> 
   <td>138999</td> 
   <td>454</td> 
   <td>2018-06-21 14:22:00</td> 
  </tr> 
  <tr> 
   <td>女子当街掌掴母亲引众怒，遭路人一脚踹飞</td> 
   <td><a href="https://bbs.hupu.com/22659622.html" rel="nofollow">https://bbs.hupu.com/22659622.html</a></td> 
   <td>454294</td> 
   <td>445</td> 
   <td>2018-06-21 19:03:00</td> 
  </tr> 
  <tr> 
   <td>什么水平？面对强拆，住户把城管、物业和社区工作人员说得哑口无言！</td> 
   <td><a href="https://bbs.hupu.com/22660161.html" rel="nofollow">https://bbs.hupu.com/22660161.html</a></td> 
   <td>227668</td> 
   <td>434</td> 
   <td>2018-06-21 20:01:00</td> 
  </tr> 
  <tr> 
   <td>大四鞋被偷了再次后续…</td> 
   <td><a href="https://bbs.hupu.com/22652718.html" rel="nofollow">https://bbs.hupu.com/22652718.html</a></td> 
   <td>205755</td> 
   <td>424</td> 
   <td>2018-06-21 03:29:00</td> 
  </tr> 
  <tr> 
   <td>蝴蝶效应在历史长河中真的会有改变历史轨迹的影响吗？</td> 
   <td><a href="https://bbs.hupu.com/22653259.html" rel="nofollow">https://bbs.hupu.com/22653259.html</a></td> 
   <td>318196</td> 
   <td>410</td> 
   <td>2018-06-21 08:20:00</td> 
  </tr> 
  <tr> 
   <td>这也太猛了吧。。。</td> 
   <td><a href="https://bbs.hupu.com/22655765.html" rel="nofollow">https://bbs.hupu.com/22655765.html</a></td> 
   <td>473127</td> 
   <td>409</td> 
   <td>2018-06-21 12:31:00</td> 
  </tr> 
  <tr> 
   <td>你信有的女人27岁了还是处女，而且之前没有谈过恋爱吗？</td> 
   <td><a href="https://bbs.hupu.com/22655342.html" rel="nofollow">https://bbs.hupu.com/22655342.html</a></td> 
   <td>208556</td> 
   <td>399</td> 
   <td>2018-06-21 11:52:00</td> 
  </tr> 
  <tr> 
   <td>被一个很漂亮的女生告白 怎么办</td> 
   <td><a href="https://bbs.hupu.com/22662055.html" rel="nofollow">https://bbs.hupu.com/22662055.html</a></td> 
   <td>630870</td> 
   <td>397</td> 
   <td>2018-06-21 22:53:00</td> 
  </tr> 
  <tr> 
   <td>有没有恋爱的感觉，台妹都这么可爱的么？</td> 
   <td><a href="https://bbs.hupu.com/22659504.html" rel="nofollow">https://bbs.hupu.com/22659504.html</a></td> 
   <td>353328</td> 
   <td>397</td> 
   <td>2018-06-21 18:49:00</td> 
  </tr> 
  <tr> 
   <td>堂哥放弃了副处岗位的引进生公务员，大伯觉得很丢人</td> 
   <td><a href="https://bbs.hupu.com/22656826.html" rel="nofollow">https://bbs.hupu.com/22656826.html</a></td> 
   <td>164237</td> 
   <td>394</td> 
   <td>2018-06-21 14:16:00</td> 
  </tr> 
  <tr> 
   <td>Jrs,年收入十五万，到底属于什么水平</td> 
   <td><a href="https://bbs.hupu.com/22656757.html" rel="nofollow">https://bbs.hupu.com/22656757.html</a></td> 
   <td>107860</td> 
   <td>385</td> 
   <td>2018-06-21 14:07:00</td> 
  </tr> 
  <tr> 
   <td>“外公外婆”竟成方言，教材被改以后上海人也要跟着叫姥姥了吗？</td> 
   <td><a href="https://bbs.hupu.com/22653651.html" rel="nofollow">https://bbs.hupu.com/22653651.html</a></td> 
   <td>69960</td> 
   <td>366</td> 
   <td>2018-06-21 09:12:00</td> 
  </tr> 
 </tbody> 
</table>

目前就列这些维度的数据分析，有兴趣的朋友可以联系我，我有空的话可以给你们提供更详细的数据。

### 四、源码分享以及后期开发 ###

目前这个爬虫我已经开源到了github上面，欢迎大家star甚至加入一起开发，后面如果有时间可能还要加一些功能爬取更多的内容，甚至开发一个网站实时展示这些数据。下面附上github地址：  
[https://github.com/kongtrio/hupu\_spider][https_github.com_kongtrio_hupu_spider]

这里要特意说一下，这个爬虫是我业余时间写的，没做过什么仔细的测试，所以不保证上面数据是对的，也不保证程序没有什么问题。总之，纯属娱乐，大家有兴趣可以玩玩

[Link 1]: https://bbs.hupu.com/bxj
[python_Scrapy]: https://blog.csdn.net/u013332124/article/details/80645690
[xPath]: https://blog.csdn.net/u013332124/article/details/80621638
[chrome_xpath]: /images/20220522/092fa28e8e354893b04ee961fa718ddb.png
[https_bbs.hupu.com_bxj-2]: https://bbs.hupu.com/bxj-2
[https_github.com_kongtrio_hupu_spider]: https://github.com/kongtrio/hupu_spider