网络爬虫简单实例

妖狐艹你老母 2022-05-25 10:40 253阅读 0赞

京东：

![70][]

![70 1][]

亚马逊：

更改了头部信息，模拟浏览器对网站进行访问

![70 2][]

百度/360通过输入关键词获得搜索信息：

只需要将其中的keyword替换为自己搜索的关键词即可

![70 3][]

![70 4][]

![70 5][]

网络图片的爬取：

将图片从url这个网址下载到本地的root的路径下

![70 6][]

>>>import requests

>>>url = "https://himg.bdimg.com/sys/portrait/item/d8e3e794b5e88491e4babae4babae69c89e7bb8fe9aa8c6536"

>>> r = requests.get(url)  
>>> r.status\_code  
200  
>>> with open(path,'wb') as f:  
    f.write(r.content)  
  
      
5229

>>> f.close()

ip归属地的自动查询：

www.ip138.com 提供了通过IP查询IP的归属地的功能

http://m.ip138.com/ip.asp?ip=ipaddress            (ipadress就是要查询IP归属地的IP)

![70 7][]

[70]: /images/20220525/19ea3dfec9f64b61881940d7c6cf606c.png
[70 1]: /images/20220525/020191fabc5645ccb47b8fe55ea7ce20.png
[70 2]: /images/20220525/1f77e3c894524d91a67653adb8f7b620.png
[70 3]: /images/20220525/9e7d9b617dca429aaec443d708c31be2.png
[70 4]: /images/20220525/e006dbe4d01e42568c0fbd56a77807ea.png
[70 5]: /images/20220525/f4ba5a9cdbb04b88a66f6ee593e3e1e0.png
[70 6]: /images/20220525/ae2b79a57a8740338d9d7de2f86b9b5a.png
[70 7]: /images/20220525/999115a2537d4dbd9967e39d6abfbfd3.png

发表评论取消回复

表情：

评论列表（有 0 条评论，253人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python网络爬虫信息提取mooc代码实例

这篇文章主要介绍了python网络爬虫与信息提取mooc,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下实例一–爬取页面

超、凢脫俗/ 2023年07月18日 06:27/ 0 赞/ 8 阅读

相关 Python网络爬虫与信息提取(实例讲解)

下面小编就为大家带来一篇Python网络爬虫与信息提取(实例讲解)。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧课程体系结构： 1、Re

不念不忘少年蓝@/ 2023年07月16日 15:54/ 0 赞/ 66 阅读

相关 Scrapy爬虫简单实例

第一个Scrapy框架爬虫我要爬取的网站是一个网课网站http://www.itcast.cn/channel/teacher.shtml，爬取内容是所有老师的基本信息

拼搏现实的明天。/ 2023年05月29日 05:22/ 0 赞/ 155 阅读

相关【Python爬虫】一个简单的网络爬虫

网页结构的相似性爬虫的目的，是从网站中自动化的批量提取数据。首先尝试完成以下操作: 从以下链接中提取电影的标题和标题后的年份: [https://

本是古典何须时尚/ 2023年02月26日 09:23/ 0 赞/ 38 阅读

相关简单的网络爬虫实现（Jsoup使用）

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取

叁歲伎倆/ 2022年09月25日 05:21/ 0 赞/ 211 阅读

相关网络爬虫中的Unicode码解决[实例]

unicode码爬虫中的Unicode转中文输出结果 unicode码在我写爬虫的过程中，经常遇到一些网站的中文是经过Unicode转码的。在对

拼搏现实的明天。/ 2022年07月14日 12:52/ 0 赞/ 1000 阅读

相关网络爬虫

1、首先是运行时的main入口： package jsoup; public class DoubanProgram { publi

雨点打透心脏的1/2处/ 2022年07月14日 09:56/ 0 赞/ 305 阅读

相关 linux 网络编程简单实例

当然此处仅仅是对于单用户请求的处理，对于多用户的请求后面再说！对于server处理： server要做的就是创建自己的套接字，然后设置一

桃扇骨/ 2022年06月13日 03:12/ 0 赞/ 207 阅读

相关网络爬虫

package test; import java.io.BufferedReader; import java.io.BufferedWri

向右看齐/ 2022年05月28日 12:39/ 0 赞/ 319 阅读

相关网络爬虫简单实例

京东： ![70][] ![70 1][] 亚马逊：更改了头部信息，模拟浏览器对网站进行访问 ![70 2][] 百度/360通过输入关键词获得搜索信

妖狐艹你老母/ 2022年05月25日 10:40/ 0 赞/ 254 阅读