Python爬虫：获取Github用户主页链接并分析

古城微笑少年丶 2024-03-30 13:48 43阅读 0赞

#### Python爬虫：获取Github用户主页链接并分析 ####

*  引入
 *  一、初始化
 *  二、根据用户链接获取用户信息
 *  三、结果写入Excel表中并导出
 *  总结

--------------------

## 引入 ##

相信有朋友遇到需要`批量爬取Github用户粉丝和关注用户的主页链接`，然后进入对应主页链接进行用户信息分析的工作。我用Python实现了爬取用户的关注和粉丝用户，这里做一个分享。  
以下我分为几个部分对Python代码进行逐段分析。

--------------------

## 一、初始化 ##

def __init__(self):
        self.headers = {
            'Referer': 'https://github.com/',  //填入具体的访问地址
            'User-Agent': str(UserAgent().random), #采用随机User-Agent
            //需要引入包  代码：from fake_useragent import UserAgent
            'Host': 'github.com'
        }
        self.target_username = 'paulirish'  #爬取用户的用户名
        self.session = requests.Session()

## 二、根据用户链接获取用户信息 ##

page = 0
    page += 1
    //定义需要访问的链接结构
     followers_url = f'https://github.com/{self.target_username}?page={page}&tab=followers'  
      try:
          response = requests.get(followers_url, headers=headers, timeout=100, verify=False)
          html = response.text
          //扫描到最后一页即退出
          if 've reached the end' in html:
              break
           //利用BeautifulSoup对网页进行解析
          soup = BeautifulSoup(html, 'lxml')
          //找寻需要的标签
          for name in soup.find_all('span', class_='Link--secondary pl-1'):
          		//确保需要分析的主页链接是有效的并且不重复的
              if len(name.text) > 0 and name.text not in toCheckUrl:
                  toCheckUrl.append(name.text)
      except:
          pass
       //设置自动休眠，降低Github判断为爬虫程序的可能性
      time.sleep(random.random() + random.randrange(0, 2))
      //更新下一个需要访问的链接
      headers.update({'Referer': followers_url})

**有兴趣的同学可以去了解一下BeautifulSoup的知识**  
BeautifulSoup学习链接: [Python中BeautifulSoup库的用法][Python_BeautifulSoup]

## 三、结果写入Excel表中并导出 ##

我引入的是Openyxl库  
引入代码：

import openpyxl as op

具体代码：

ws = op.Workbook()
        wb = ws.active
        //定义表的列名
        wb.cell(row=1, column=1, value='Url')
        wb.cell(row=1, column=2, value='Username')
        //在指定表格写入内容
        wb.cell(row=count, column=1, value=f'https://github.com/{url}?tab=repositories')
        wb.cell(row=count, column=2, value=url)
        //文件保存到对应路径
        ws.save("用户链接信息.xlsx")

## 总结 ##

Python爬虫感觉比Java爬虫相对简单，功能很强大，有很多库，引入就好。Python爬虫还有很多的框架比如Scrapy等，但是这里的问题很简单就不用到这个了，有兴趣的可以去了解一下。

希望对大家有用！

[Python_BeautifulSoup]: https://blog.csdn.net/qq_21933615/article/details/81171951?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522167255793316800180638152%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=167255793316800180638152&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_positive~default-1-81171951-null-null.142%5Ev68%5Econtrol,201%5Ev4%5Eadd_ask,213%5Ev2%5Et3_control2&utm_term=beautifulsoup&spm=1018.2226.3001.4187