报错「winerror 10060由于连接方在一段时间后没有正确答复的处理
qiyuwang 2024-10-03 06:52 19 浏览 0 评论
经常爬取网络资源的用户可能知道，在我们的爬虫程序连续运行了几十分钟或者几个小时，程序突然崩溃了，抛出了异常报错[winerror 10060]由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。怎么办？请看下面的截图，提示我们有异常错误
下面是笔者捕获该异常，并加以处理的结果，程序不再崩溃，而且会自动等待100秒之后重试，基本上程序可以连续不停运行个好几天都不成问题了。
我们来分析下原因，首先看下这个异常是谁抛出来的，我们在爬取网页的时候经常会用到urllib.request.urlopen去请求网页源码，可是现在的网站往往都会有反爬机制，你时刻不停的爬取网页，人家是不喜欢的哦。所以当服务器检测到我们同一个IP发来的连接数超过一定阈值之后，服务器就会停止响应，然后我们的客户机就会受到10060的错误提示，告诉我们服务器不响应，不理我们了，随之我们的程序出现了异常错误而崩溃。所以解决思路就是：1、我们发起网页请求的时候，可以间隔一段时间执行，不要让服务器看到我们在连续不停的请求，请求太快也是被认定为机器的一个特征。比如time.sleep(1) 2、固定的间隔时间也不好,所以可以修正为time.sleep(随机数) 3、以上还只能减少异常出现的概率，而没有去正面应对异常。所以还需要加入try……except进行捕获，10060的错误一般不是urllib.error本身的错误类型urllib.error.HTTPError或urllib.error.URLError，这个错误在异常信息里面有提示，一般是来自socket的错误我们可以在socket.error里进行处理即可。代码如下：
try:
request= urllib.request.Request(url,headers=header)
file = urllib.request.urlopen(request)
data = file.read().decode('utf-8)
except socket.error as e:
print(e)
print('等待100秒之后继续重试……')
time.sleep(100)
return 0 #表示100秒之后跳过，也可以continue进行重试，看实际使用
socket.error还能处理如异常断网等的情况.
相关推荐
- 微软宣布将于10月份关闭OneDrive组功能
-
【巴士数码】微软已经宣布将在今年10月关闭OneDrive的组功能。一年多之前，微软已经关闭了用户在OneDrive当中创建组的功能。大大多数用户会发现共享文件夹是一种合适的替代品，而且由于这一点，O...
- 玩转Win10任务栏:从基础设置到效率神器的全攻略
-
一、基础操作：解锁任务栏的「隐藏布局」...
- 文档以只读模式打开的原因及解决方法
-
当文档以只读模式打开时，可能由多种原因导致。以下是详细的原因分析与对应解决方法，您可根据实际情况灵活选择操作。一、文件属性设置问题（一）Windows系统在Windows系统中，若文件属性被标记...
- Windows系统的优化（windows优化设置）
-
今天给大家讲一讲系统的图标和一些基本的优化。安装了原版系统之后有很多地方需要优化比如桌面图标小箭头，盾牌，休眠占用内存，关闭通知栏。首先我们打开软件这款软件以前就讲到过就是dism++软件，他可以清理...
- Win 10偷偷传送用户隐私至微软（win10设备隐私）
-
自推出以来Win10不断被揭发盗取用户带宽、泄漏WiFi密码等各式各样的私隐问题，令不少网络专家开始留意Win10还隐藏了多少类似的私隐漏洞。最近再有人发现Win10部分功能静静...
- OneDrive逆势下调存储空间，不限量存储被取消
-
日前，微软在周一晚发布的博客文章中表示，由于部分用户存滥用储存功能，所以该公司将取消不限量OneDrive存储服务。不限量用户的最大存储空间将被下调至1TB，定价为6.99美元，对于已存储较多文件和内...
- Win10中那些被微软取消的功能（微软公司从9日起停止对windows8的主流服务支持）
-
很多用户在使用Win10的时候，都会发现一些在Win7系统中的功能被取消了，有的时候想找也找不到。那么到底是那些过去的功能在Win10中被取消了呢？下面我们就简单梳理一下，并且告诉大家解决的办法。Wi...
- 微软推Win11 Dev 26200.5570预览版:语音打字上线脏话过滤选项
-
IT之家4月26日消息，微软公司昨日（4月25日）发布博文，邀请Dev频道的WindowsInsider项目成员，测试适用于Windows1124H2的KB50556...
- 微软VSCode商店发现9款挖矿恶意插件，已安装超30万次
-
IT之家4月8日消息，科技媒体bleepingcomputer昨日（4月7日）发布博文，报道称安全专家在微软VSCode扩展商店中，发现了9款伪装成开发工具的恶意插件。这些插...
- 微软Windows 11开始菜单大改版!（windows 11 开始菜单）
-
根据最新消息，微软正在对Windows11的开始菜单进行重大改版，这一更新将彻底改变其布局和功能。Windows11的开始菜单将从现有的多栏布局改为单栏可滚动视图，所有固定图标和已安装应用都将集中...
- OneDrive无限存储空间取消 免费降至5GB
-
2015-11-0313:35:06作者：徐鹏北京时间11月3日消息，微软在一篇博客文章中称，将取消OneDrive存储服务的不限量空间，原因是部分用户有滥用问题。OneDrive无限存储空间取消...
- 省出电脑C盘空间!微软悄悄更新:OneDrive终于能卸载了
-
快科技3月12日消息，近日，微软悄悄地在官方更新了关闭、禁用、卸载Windows自带软件OneDrive的方法。微软Windows系统自带了很多软件和功能，其中有很多我们可能永远都用不上。但这些软件还...
- 微软关闭OneDrive新建组群功能（windows关闭onedrive）
-
微软的OneDrive云端储存服务能够让你创建组群（Group），这样当你和团队成员共同从事一个项目的时候能够通过云端协作提升效率，并且组群的文档储存空间还将同你标准的OneDrive分割独立开来。不...
- 微软为何取消OneDrive无限制容量存储?被75TB占用吓坏
-
那么为什么微软会取消Office365的无限OneDrive存储呢？“自推出Office365订阅无限制存储服务以来，一小部分用户开始备份多台PC设备，存储众多电影收藏合集和DVR录像。在某些情况下...
- Win11必关的5个设置!关闭后电脑流畅到起飞，操作简单不藏私!
-
Windows11虽然界面炫酷，但默认设置中隐藏了不少“拖慢电脑”的坑！尤其是老电脑用户，用久了卡顿、开机慢、反应迟钝……其实只需关闭几个鸡肋功能，就能让电脑提速50%以上！...
欢迎 你 发表评论:
- 一周热门
- 最近发表
-
- 微软宣布将于10月份关闭OneDrive组功能
- 玩转Win10任务栏:从基础设置到效率神器的全攻略
- 文档以只读模式打开的原因及解决方法
- Windows系统的优化（windows优化设置）
- Win 10偷偷传送用户隐私至微软（win10设备隐私）
- OneDrive逆势下调存储空间，不限量存储被取消
- Win10中那些被微软取消的功能（微软公司从9日起停止对windows8的主流服务支持）
- 微软推Win11 Dev 26200.5570预览版:语音打字上线脏话过滤选项
- 微软VSCode商店发现9款挖矿恶意插件，已安装超30万次
- 微软Windows 11开始菜单大改版!（windows 11 开始菜单）
- 标签列表
-
- navicat无法连接mysql服务器 (65)
- 下横线怎么打 (71)
- flash插件怎么安装 (60)
- lol体验服怎么进 (66)
- ae插件怎么安装 (62)
- yum卸载 (75)
- .key文件 (63)
- cad一打开就致命错误是怎么回事 (61)
- rpm文件怎么安装 (66)
- linux取消挂载 (81)
- ie代理配置错误 (61)
- ajax error (67)
- centos7 重启网络 (67)
- centos6下载 (58)
- mysql 外网访问权限 (69)
- centos查看内核版本 (61)
- ps错误16 (66)
- nodejs读取json文件 (64)
- centos7 1810 (59)
- 加载com加载项时运行错误 (67)
- php打乱数组顺序 (68)
- cad安装失败怎么解决 (58)
- 因文件头错误而不能打开怎么解决 (68)
- js判断字符串为空 (62)
- centos查看端口 (64)