网络爬虫简单实例

妖狐艹你老母 2022-05-25 10:40 184阅读 0赞

京东：

![70][]

![70 1][]

亚马逊：

更改了头部信息，模拟浏览器对网站进行访问

![70 2][]

百度/360通过输入关键词获得搜索信息：

只需要将其中的keyword替换为自己搜索的关键词即可

![70 3][]

![70 4][]

![70 5][]

网络图片的爬取：

将图片从url这个网址下载到本地的root的路径下

![70 6][]

>>>import requests

>>>url = "https://himg.bdimg.com/sys/portrait/item/d8e3e794b5e88491e4babae4babae69c89e7bb8fe9aa8c6536"

>>> r = requests.get(url)  
>>> r.status\_code  
200  
>>> with open(path,'wb') as f:  
    f.write(r.content)  
  
      
5229

>>> f.close()

ip归属地的自动查询：

www.ip138.com 提供了通过IP查询IP的归属地的功能

http://m.ip138.com/ip.asp?ip=ipaddress            (ipadress就是要查询IP归属地的IP)

![70 7][]

[70]: /images/20220525/19ea3dfec9f64b61881940d7c6cf606c.png
[70 1]: /images/20220525/020191fabc5645ccb47b8fe55ea7ce20.png
[70 2]: /images/20220525/1f77e3c894524d91a67653adb8f7b620.png
[70 3]: /images/20220525/9e7d9b617dca429aaec443d708c31be2.png
[70 4]: /images/20220525/e006dbe4d01e42568c0fbd56a77807ea.png
[70 5]: /images/20220525/f4ba5a9cdbb04b88a66f6ee593e3e1e0.png
[70 6]: /images/20220525/ae2b79a57a8740338d9d7de2f86b9b5a.png
[70 7]: /images/20220525/999115a2537d4dbd9967e39d6abfbfd3.png

发表评论取消回复

表情：

评论列表（有 0 条评论，184人围观）

还没有评论，来说两句吧...

相关阅读

相关 Scrapy爬虫简单实例

第一个Scrapy框架爬虫我要爬取的网站是一个网课网站http://www.itcast.cn/channel/teacher.shtml，爬取内容是所有老师的基本信息

拼搏现实的明天。/ 2023年05月29日 05:22/ 0 赞/ 83 阅读

相关简单的网络爬虫实现（Jsoup使用）

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取

叁歲伎倆/ 2022年09月25日 05:21/ 0 赞/ 164 阅读

相关网络爬虫中的Unicode码解决[实例]

unicode码爬虫中的Unicode转中文输出结果 unicode码在我写爬虫的过程中，经常遇到一些网站的中文是经过Unicode转码的。在对

拼搏现实的明天。/ 2022年07月14日 12:52/ 0 赞/ 968 阅读

相关网络爬虫

1、首先是运行时的main入口： package jsoup; public class DoubanProgram { publi

雨点打透心脏的1/2处/ 2022年07月14日 09:56/ 0 赞/ 240 阅读

相关 Python入门（一）：爬虫基本结构&简单实例

爬虫能干什么呢？一句话概括，正常通过浏览器可以获取的数据，爬虫都可以获取。这句话可以说是包罗万象。一是说明了爬虫的本质是一个服务端，实现的功能类似于浏览器；二是说明了爬虫的界限

素颜马尾好姑娘i/ 2022年06月17日 05:28/ 0 赞/ 196 阅读

相关 linux 网络编程---->简单的UDP实例

这是一个简单的UDP的实例而已～ //!> server //!> server.c \include <stdio.h> \in

女爷i/ 2022年06月13日 03:12/ 0 赞/ 179 阅读

相关 linux 网络编程简单实例

当然此处仅仅是对于单用户请求的处理，对于多用户的请求后面再说！对于server处理： server要做的就是创建自己的套接字，然后设置一

桃扇骨/ 2022年06月13日 03:12/ 0 赞/ 170 阅读

相关网络爬虫

package test; import java.io.BufferedReader; import java.io.BufferedWri

向右看齐/ 2022年05月28日 12:39/ 0 赞/ 264 阅读

相关网络爬虫简单实例

京东： ![70][] ![70 1][] 亚马逊：更改了头部信息，模拟浏览器对网站进行访问 ![70 2][] 百度/360通过输入关键词获得搜索信

妖狐艹你老母/ 2022年05月25日 10:40/ 0 赞/ 185 阅读

相关一个简单的Java网络爬虫实现思路

什么是网络爬虫百度百科上定义为自动抓取信息的程序或脚本。在实际生产环境中，爬虫可以按照抓取方式分为通用爬虫和聚焦爬虫。常见的比如搜索引擎（比如百度，Google）

ゞ浴缸里的玫瑰/ 2022年04月23日 00:08/ 0 赞/ 188 阅读