社交媒体爬虫------调用微博API获取微博内容

逃离我推掉我的手 2023-05-22 08:55 3阅读 0赞

#### 一.创建应用 ####

创建应用的目的是获取app-key和app-secret，并设置授权回调页。  
（1）获取app-key和app-secret  
登陆微博开放平台创建应用[http://open.weibo.com/apps/new?sort=web][http_open.weibo.com_apps_new_sort_web]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70]  
应用名称以及后续的信息随便填，填写完毕后，不需要提交审核，需要的只是那个app-key和app-secret。应用创建成功后可以在“我的应用”里面看到刚刚创建的应用的详细信息，在“应用信息”里面可以找到App Key和App Secret，这些信息在后面会用到。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70 1]  
（2）设置授权回调页  
接着上面的打开“应用信息”里面的“高级信息”，然后点击“高级信息”里面的“编辑”按钮，将“授权回调页面”设置为：https://api.weibo.com/oauth2/default.html,将“取消授权回调页”也设置为：https://api.weibo.com/oauth2/default.html。至此第一步工作已完成。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70 2]

#### 二.安装微博SDK ####

（1）授权机制  
[http://open.weibo.com/wiki/%E6%8E%88%E6%9D%83%E6%9C%BA%E5%88%B6%E8%AF%B4%E6%98%8E][http_open.weibo.com_wiki_E6_8E_88_E6_9D_83_E6_9C_BA_E5_88_B6_E8_AF_B4_E6_98_8E]  
（2）下载微博SDK  
微博 SDK支持多种语言，本文以python的sdk为例来说明操作，微博sdk链接[http://open.weibo.com/wiki/SDK][http_open.weibo.com_wiki_SDK],点击进入之后选择自己熟悉语言的SDK即可，如下所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70 3]

##### 安装python版微博sdk: #####

直接在命令行下键入

pip install sinaweibopy3

或者去Gethub上边下载库

#### 获取code、token信息 ####

from weibo import APIClient
    
     
    # 1.配置
    APP_KEY = '你的APP_KEY'
    APP_SECRET = '你的APP_SECRET'
    CALLBACK_URL = '你的CALLBACK_URL'  # 回调授权页面，用户完成授权后返回的页面
     
    # 2.调用APIClient生成client实例
    client = APIClient(app_key=APP_KEY, app_secret=APP_SECRET, redirect_uri=CALLBACK_URL)
     
    # 3.得到授权页面的url
    url = client.get_authorize_url()
    print(url)
     
    # 4.点击访问url，在浏览器端获得code
    code = '6ecdbf350f0680a6f00cc8c34ae721a6'
    req = client.request_access_token(code)
    client.set_access_token(req.get('access_token'), req.get('expires_in'))
     
    # 5.调用微博普通读取接口，返回最新的公共微博。
    # 接口详情见 https://open.weibo.com/wiki/2/statuses/public_timeline
    statuses = client.statuses__public_timeline()['statuses']
    print(len(statuses))
    # 6.输出部分信息
    for i in range(0, len(statuses)):
        print(u'昵称：' + statuses[i]['user']['screen_name'])
        print(u'简单介绍：' + statuses[i]['user']['description'])
        print(u'位置：' + statuses[i]['user']['location'])
        print(u'微博：' + statuses[i]['text'])
        print(statuses[i])

通过模拟登陆获取code

from weibo import APIClient
    from selenium import webdriver
    import time
    APP_KEY='填入你的key'
    APP_SECRET='填入你的secret'
    CALLBACK_URL = 'https://api.weibo.com/oauth2/default.html
    # callback url
    
    #在网站放置“使用微博账号登录”的链接，当用户点击链接后，引导用户跳转至如下地址：
    #利用官方微博SDK
    client = APIClient(app_key=APP_KEY, app_secret=APP_SECRET, redirect_uri=CALLBACK_URL)
    #得到授权页面的url，利用webbrowser打开这个url
    url = client.get_authorize_url()
    river.get(url)
    time.sleep(3)
    #填充用户名 密码
    driver.find_elements_by_id("userId")[0].send_keys("自己的账户")
    driver.find_elements_by_id("passwd")[0].send_keys("密码")
    time.sleep(5)
    driver.find_element_by_class_name("WB_btn_login").click()
    # print(driver.page_source)
    if '验证码：' in driver.page_source:
    
        img_ele=driver.find_element_by_xpath('//img[@node-type="pincode"]')
    
        image_url = img_ele.get_attribute('src')
        print(image_url)
        if image_url != None:
            import requests
            response=requests.get(image_url)
            with open('pincode.jpg', 'wb') as f:
                f.write(response.content)
            vares_img=input('请输入：\n')
            driver.find_element_by_class_name('WB_iptxt').send_keys(vares_img)
            driver.find_element_by_class_name("WB_btn_login").click()
    
        print('成功登录微博')
        time.sleep(5)
        content = driver.current_url
        # 设置得到的access_token
        print(content)
    
    #获取code=后面的内容
    用正则匹配
    code = re.complish(r"code=")findall(comtent)
    
    r = client.request_access_token(code)
    access_token = r.access_token # 新浪返回的token，类似abc123xyz456
    expires_in = r.expires_in
    
    # 设置得到的access_token
    client.set_access_token(access_token, expires_in)
    
    #可以打印下看看里面都有什么东西
    statuses = client.statuses__friends_timeline()['statuses'] #获取当前登录用户以及所关注用户（已授权）的微博</span>
    
    
    
    length = len(statuses)
    print length
    #输出了部分信息
    for i in range(0,length):
        print u'昵称：'+statuses[i]['user']['screen_name']
        print u'位置：'+statuses[i]['user']['location']
        print u'微博：'+statuses[i]['text']

[http_open.weibo.com_apps_new_sort_web]: http://open.weibo.com/apps/new?sort=web
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70]: /images/20230521/d64ea607b141491d9d6fe6fd557aa1b0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70 1]: /images/20230521/760a0c72d1ce443ea96a855098d4d52a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70 2]: /images/20230521/d2301f3421144260842616f157f202c0.png
[http_open.weibo.com_wiki_E6_8E_88_E6_9D_83_E6_9C_BA_E5_88_B6_E8_AF_B4_E6_98_8E]: http://open.weibo.com/wiki/%E6%8E%88%E6%9D%83%E6%9C%BA%E5%88%B6%E8%AF%B4%E6%98%8E
[http_open.weibo.com_wiki_SDK]: http://open.weibo.com/wiki/SDK
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70 3]: /images/20230521/8acbcdd46a5a4a7f812b3d63c741a3fa.png