爬虫一：发送请求, 获取数据

素颜马尾好姑娘i 2024-04-19 12:56 33阅读 0赞

# 1、初识爬虫 #

### 1.1 什么是爬虫 ###

网络爬虫本质上就是一个程序 或者 脚本, 网络爬虫按照一定规则获取互联网中信息(数据), 一般来说爬虫被分为三大模块: 获取数据 解析数据 保存数据。

### 1.2 爬虫的分类 ###

（1）通用爬虫: 指的获取互联网中所有的数据, 不局限于网站, 行业, 分类  
例如：百度 谷歌 等  
（2）垂直爬虫: 指的获取互联网中某一个网站, 某一个行业, 某一个分类下的数据  
例如：慢慢买 笔趣阁 等

### 1.3 爬虫的开发流程 ###

（1）确定首页URL  
**（2）发送请求, 获取数据 （使用httpClient）  
（3）解析数据 （使用jsoup）**  
（4）保存数据

# 2、HTTP协议 #

爬取网络中的数据，就要遵循http协议，用到了请求和响应

#### 1.请求内容： ####

（1）**请求行** : 请求方式 请求的URL 协议版本  
get 和 post 区别:  
get将请求参数放置在url的后面, 而 post将请求参数放置请求体中  
get请求不能无限制的拼接参数, post是没有限制的  
post相对而言要比get安全  
（2）**请求头:**  
user-agent : 指定浏览器的内核版本  
cookie : 携带当前网站在浏览器中保存的cookie信息  
referer : 防盗链  
（3）**请求体**  
只有post才有请求体, 请求参数

#### 2.响应内容： ####

（1）**响应行**: 状态码  
–200  
–302  
–304  
–404  
–500  
（2）**响应头** :  
–set-cookie : 服务器向浏览器写入cookie信息  
–location : 指定重定向的URL路径  
（3）**响应体**  
–爬虫获取数据就是获取的响应体的内容

# 3、步骤二：发送请求, 获取数据 #

### 方式一：原生jdk发送（了解） ###

#### 1 原生jdk发送get请求 ####

public static void main(String[] args) throws Exception{
    
            //jdk方式发送get请求;
            //1.确定url
            String indexUrl = "http://www.xxx.com";
    
            //2.发送请求,获取数据
            URL url  = new URL(indexUrl);
            //获取连接对象
            HttpURLConnection conn = (HttpURLConnection) url.openConnection();
            //设置请求的方式
            conn.setRequestMethod("GET");
            //获取响应的输入流
            InputStream in = conn.getInputStream();
    
            //封装字符流
            InputStreamReader reader = new InputStreamReader(in,"gb2312");
    
            //字符缓冲流
            BufferedReader br = new BufferedReader(reader);
    
            //
            StringBuilder builder = new StringBuilder();
            String lines;
    
            while ((lines = br.readLine())!=null){
                builder.append(lines);
                builder.append("\n");
            }
    
            System.out.println(builder.toString());
    
        }

#### 2 原生jdk发送Post请求 ####

public static void main(String[] args) throws Exception {
    
    
            //确定url:
            String indexUrl = "https://www.douban.com/";
            //获取url对象
            URL url = new URL(indexUrl);
            //获取连接对象
            HttpURLConnection conn = (HttpURLConnection) url.openConnection();
    
            //设置请求方式:
            conn.setRequestMethod("POST");
    
            //设置请求的参数:
            conn.setDoOutput(true);   //允许连接对象写出数据
            OutputStream out = conn.getOutputStream();
            out.write("username=rose".getBytes());
    
            //添加请求头:
            conn.addRequestProperty("User-Agent","Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36");
    
            //发送请求,获取输入流
            InputStream in = conn.getInputStream();
    
    
            //封装字符流
            InputStreamReader reader = new InputStreamReader(in,"UTF-8");
    
            //字符缓冲流
            BufferedReader br = new BufferedReader(reader);
    
            //
            StringBuilder builder = new StringBuilder();
            String lines;
    
            while ((lines = br.readLine())!=null){
                builder.append(lines);
                builder.append("\n");
            }
    
            System.out.println(builder.toString());
        }

### 方式二：使用httpClient发送请求（掌握） ###

#### 1 先进行导包 ####

<dependency>
                <groupId>org.apache.httpcomponents</groupId>
                <artifactId>httpclient</artifactId>
                <version>4.5.6</version>
            </dependency>

#### 2 httpClient发送 get请求 ####

public static void main(String[] args) throws Exception{
            //1.确定url
            String indexUrl = "http://www.douban.com";
    		 /*若要传递参数，get方式只能在url后边拼接http://www.ujiuye.com/?username=123*/
    		
            //2.发送请求,获取数据
    
            //创建httpclient对象
            CloseableHttpClient httpClient = HttpClients.createDefault();
    
            //创建发送方式对象
            HttpGet get = new HttpGet(indexUrl);
    
            //设置请求方式,发送请求
            CloseableHttpResponse response = httpClient.execute(get);
    
            //System.out.println(response.getStatusLine().getStatusCode());  //获取响应行信息
            if(200 == response.getStatusLine().getStatusCode()){
                //获取响应体对象
                HttpEntity entity = response.getEntity();
    
                String content = EntityUtils.toString(entity, "gb2312");
    
                System.out.println(content);
    
            }
            //httpClient对发送完成之后,最后关闭.
            httpClient.close();
        }

#### 3 httpClient发送 Post请求 ####

public static void main(String[] args) throws Exception{
            //确定URL
            String indexUrl = "https://www.douban.com/";
    
            //1.或去httpclient对象
            CloseableHttpClient httpClient = HttpClients.createDefault();
    
            //2.创建请求方式对象
            HttpPost post = new HttpPost(indexUrl);
    
            //设置请求头信息
            /*设置请求头信息,满足所有浏览器打开*/
            post.setHeader("User-Agent","Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36");
    
            //设置请求体传递请求参数
            /*post传递参数，要加在请求体中*/
            List<BasicNameValuePair> params = new ArrayList<BasicNameValuePair>();
            params.add(new BasicNameValuePair("username","rose"));
            HttpEntity reqEntity = new UrlEncodedFormEntity(params);
            post.setEntity(reqEntity);
    
    
            //3.设置请求方式,发送请求,获取响应的对象
            CloseableHttpResponse response = httpClient.execute(post);
    
            if(response.getStatusLine().getStatusCode() == 200){
                //获取响应体对象
                HttpEntity entity = response.getEntity();
    
                String content = EntityUtils.toString(entity, "UTF-8");
    
                System.out.println(content);
    
            }
    
            //关闭httpclient对象
            httpClient.close();
    
        }