Scrapy使用报错socket.timeout: timed out

项目场景:

最近在学习Scrapy框架的时候遇到一个很奇怪的问题,为了设置请求时候的随机请求头引入了from fake_useragent import UserAgent,但是启动的时候报错。

问题描述:

Scrapy使用报错socket.timeout: timed out

; 原因分析:

查阅百度各种资料发现这个库有部分资源是请求网络资源,但这部分资源在国内访问慢甚至无法访问,这就导致问题发生。

解决方案:

有大神说这个库引用的时候进行实例化的时候会在第一次把json文件缓存进本地临时文件,这就有了解决办法, 自己获取这个json文件后存放到本地的临时目录

json文件下载地址:https://fake-useragent.herokuapp.com/browsers/0.1.11
需要fanqiang
不能自行拿到文件的小伙伴继续看,我会把文件放在网盘分享给大家!!!

这是win10系统临时文件存放位置:

C:\Users\用户名\AppData\Local\Temp

文件命名必须是 fake_useragent_0.1.11.json

Scrapy使用报错socket.timeout: timed out
链接:https://pan.baidu.com/s/1toHNpc6bvbnZPNHKGm0L_g
提取码:iouc

author: KK
time :2021年9月17日21:40:33
flag:4/30

Original: https://blog.csdn.net/k1507157/article/details/120356522
Author: 专业bug开发
Title: Scrapy使用报错socket.timeout: timed out

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/789006/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球