爬虫常用请求头和响应头信息 朴灿烈づ我的快乐病毒、 2023-01-19 09:52 222阅读 0赞 # 常用请求头信息: # \-User-Agent:请求载体的身份标识,即浏览器信息(如版本,apach信息,OS版本) \-Connection: 请求完毕后,是断开连接还是保持连接 \- Referer: 表示请求来源,目地是防止盗链或者恶意请求。比如说我准备访问www.baidu.com. 而我是从360网站里面访问的百度主页,说明来源是360,此时Referer=http://www.360.com \-cookie:查看用户身份,保持会话 # 常用请求头信息: # -Content-Type:服务器响应回客户端的数据类型,如字符串等等 # 爬虫基本常识补充: # http协议:超文本协议,服务端和客户端进行数据交互的一种形式 https协议:比http协议安全,即安全的超文本协议。涉及了加密。在应用层叫SSL(**Secure Socket Layer**,安全套接字协议), 在传输层叫[安全传输层协议][Link 1](**Transport Layer Security,**TLS)用于在两个通信应用程序之间提供保密性和[数据完整性][Link 2]。一般情况下,默认二者是一样的,只是在不同网络层名字不同而已。很多情况下,可以看到https中的s为SSL/TLS。 加密方式: 分为对称加密和非对称加密。 对称加密: 客户端A用公钥K加密,文件传输后,客户端B公钥K解密。特别适用于大文件加密,由于需要传输公钥K, 存在被获取或者数据被更改的风险,所有不安全。 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDYzMTc1_size_16_color_FFFFFF_t_70][] 非对称加密:客户端A(有A的公钥Ga,A的私钥Sa)用Ga/Sa加密/解密, 同理, 客户端B(有B的公钥Gb,A的私钥Sb)用Gb/Sb加密/解密。注意,私钥是不公开的,公钥是公开的。 一个有趣的题目:用来理解一般的常用加密方式,即对称加密,非对称加密,信息摘要,数字信封相结合。 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDYzMTc1_size_16_color_FFFFFF_t_70 1][] [Link 1]: https://baike.baidu.com/item/%E5%AE%89%E5%85%A8%E4%BC%A0%E8%BE%93%E5%B1%82%E5%8D%8F%E8%AE%AE/17615457 [Link 2]: https://baike.baidu.com/item/%E6%95%B0%E6%8D%AE%E5%AE%8C%E6%95%B4%E6%80%A7/110071 [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDYzMTc1_size_16_color_FFFFFF_t_70]: /images/20221021/37b1c56224b24cfca677f6cca7de1e2a.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDYzMTc1_size_16_color_FFFFFF_t_70 1]: /images/20221021/62d2f6092d524f7a8220432388699787.png
还没有评论,来说两句吧...