【Python爬虫技巧】快速格式化请求头Request Headers

你好,我是 @马哥python说
我们在写爬虫时,经常遇到这种问题,从目标网站把请求头复制下来,粘贴到爬虫代码里,需要一点一点修改格式,因为复制的是字符串string格式,请求头需要用字典dict格式:

【Python爬虫技巧】快速格式化请求头Request Headers
这里有一个简单的方法。
[En]

Here is a simple method.

首先,将复制的请求头部放入一个字符串中:

[En]

First, put the copied request header into a string:

请求头
headers = """
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7
Cache-Control: max-age=0
Connection: keep-alive
Cookie: cookie值
Host: movie.douban.com
Referer: https://movie.douban.com/top250
sec-ch-ua: ".Not/A)Brand";v="99", "Google Chrome";v="103", "Chromium";v="103"
sec-ch-ua-mobile: ?0
sec-ch-ua-platform: "macOS"
Sec-Fetch-Dest: document
Sec-Fetch-Mode: navigate
Sec-Fetch-Site: same-origin
Sec-Fetch-User: ?1
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36
"""

然后,导入lxpy库:

from lxpy import copy_headers_dict

将刚才的字符串转换为字典:

[En]

Convert the string just now into a dictionary:

转换请求头为字典格式
headers = copy_headers_dict(headers)

如果您再次查看请求头,您可以看到它已更改为字典格式:

[En]

If you look at the request header again, you can see that it has been changed to a dictionary format:

【Python爬虫技巧】快速格式化请求头Request Headers

非常好用有没有!
接下来,您可以继续使用Happy Crawler代码。

[En]

Next, you can continue with the happy crawler code.

同步讲解视频:
https://www.zhihu.com/zvideo/1530851114778210304

我是 @马哥python说 ,持续分享Python干货!

Original: https://www.cnblogs.com/mashukui/p/16480182.html
Author: 马哥python
Title: 【Python爬虫技巧】快速格式化请求头Request Headers

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/499059/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球