网络爬虫-Socket编程

柔光的暖阳◎ 2022-05-22 12:47 269阅读 0赞

### 文章目录 ###

*  代码
 *  总结

Socket是java进行网络编程的基础，众多的开源工具都是基于它开发的。本文将使用Socket进行网络编程，模拟浏览器进行Get和Post请求。

# 代码 #

import java.io.BufferedReader;
    import java.io.InputStream;
    import java.io.InputStreamReader;
    import java.io.OutputStream;
    import java.net.Socket;
    
    public class SendSocket { 
    
    	private static String domain = "www.itcast.cn";
    
    	public static void main(String[] args) throws Exception { 
    		testGet();
    
    // testPost();
    	}
    
    	public static void testGet() throws Exception { 
    		Socket socket = new Socket(domain, 80);//设置域名和端口
    		System.out.println("网络连接成功：" + socket.isConnected());// 检验连接是否成功
    		OutputStream outputStream = socket.getOutputStream();//从socket中获取outputStream后，再往里面写数据
    		StringBuffer add = new StringBuffer();
    		add.append("GET / HTTP/1.1\r\n");
    		add.append("HOST: " + domain + "\r\n");
    		add.append("User-Agent: "+"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.117 Safari/537.36\r\n");
    		add.append("\r\n");//一定要加换行（这是页面上的换行）
    		System.out.println("get请求是：" + add.toString());
    		outputStream.write(add.toString().getBytes());
    		outputStream.flush();
    
    		InputStream inputStream = socket.getInputStream();//输出流用来接收服务器端返回的数据
    		InputStreamReader inputStreamReader = new InputStreamReader(inputStream);
    		BufferedReader bufferedReader = new BufferedReader(inputStreamReader);
    		String line = null;
    		while ((line = bufferedReader.readLine()) != null) { 
    			System.out.println(line);
    		}
    
    		//关闭
    		bufferedReader.close();
    		inputStreamReader.close();
    		inputStream.close();
    		outputStream.close();
    		socket.close();
    	}
    
    	public static void testPost() throws Exception { 
    		Socket socket = new Socket(domain, 80);
    		System.out.println("网络连接成功：" + socket.isConnected());// 检验连接是否成功
    		OutputStream outputStream = socket.getOutputStream();
    		StringBuffer add = new StringBuffer();
    		add.append("POST / HTTP/1.1\r\n");
    		add.append("HOST: " + "127.0.0.1"+ "\r\n");
    		add.append("\r\n");
    		add.append("username=张三");//这里可以携带数据
    		add.append("\r\n");
    		System.out.println("get请求是：" + add.toString());
    		outputStream.write(add.toString().getBytes());
    		outputStream.flush();
    
    		InputStream inputStream = socket.getInputStream();
    		InputStreamReader inputStreamReader = new InputStreamReader(inputStream);
    		BufferedReader bufferedReader = new BufferedReader(inputStreamReader);
    		String line = null;
    		while ((line = bufferedReader.readLine()) != null) { 
    			System.out.println(line);
    		}
    
    		bufferedReader.close();
    		inputStreamReader.close();
    		inputStream.close();
    		outputStream.close();
    		socket.close();
    	}
    }

# 总结 #

首先请看一张浏览器请求的图（下面图是csdn的，我的代码是itcast，但是他们的原理是一样的）：  
![这里写图片描述][70]  
![这里写图片描述][70 1]  
分析上面图片：  
其中最主要的是Request URL、请求方式、Host和USer-Agent的配置，和我们代码中的写法其实是对应的。另外为了完全模拟浏览器请求，可以把Request Headers中所有参数都写上，并且设置不使用Cookie。  
上面代码是最基础的Socket操作，在对www.itcast.cn网站进行Get请求时，程序成功获取数据，如下图，但是在向csdn发送时会报一个301重定向错误，大家可以自行研究。

*  [爬取www.itcast.cn][www.itcast.cn]，成功获取到数据  
    ![这里写图片描述][70 2]
 *  爬取csdn时报了一个301重定向错误，可能是参数配置的问题，请大家自行研究  
    ![这里写图片描述][70 3]

[70]: /images/20220522/ee870b1e759e4522a43a3e0eb0938c45.png
[70 1]: /images/20220522/bd3fa36ad8cb4f73a172749f9b471c03.png
[www.itcast.cn]: http://xn--www-gx3ev00l.itcast.cn
[70 2]: /images/20220522/e8e3f92be8974dd5a8a9639f84d9bf86.png
[70 3]: /images/20220522/1b5026a7094940688deed9c56cd67811.png