pytho爬虫经常报错错误 Traceback (most recent call last) 错误信息_Am0o0s的博客-程序员资料

技术标签: 爬虫  python  错误  

解读错误信息就可以定位错误。
Traceback (most recent call last):
这是错误的跟踪信息。

File "XXX.py", line 13, in <module>
f3('0')

调用f3()出错了,错误出现在文件XXX.py的第13行代码,错误来源第9行:

File “XXX.py”, line 12, in f3

return f2(s)+1

调用f2()出错了,错误出现在文件XXX.py的第12行代码,错误来源第8行:

== File “XXX.py”, line 8, in f2 ==

return f1(s)+1

调用f1()出错了,错误出现在文件XXX.py的第8行代码,错误来源第4行:

==File “XXX.py”, line 4, in f1 ==

return 1 / int(s)

return 1 / int(s)出错了,找到了错误的源头。

== ZeroDivisionError: division by zero==

这是错误类型。
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

原因

当用快速爬取某网站出现经常出现Traceback (most recent call last):的错误,也就是连接失败。原因首先是快速爬取连接时网络不稳定造成的。
一般解决方案:
加入判断函数

def getHTMLText(url):
    maxTryNum = 20
    for tries in range(maxTryNum):
        try:
            kv = {
    "user-agent": "Mizilla/5.0"}
            response = requests.get(url, headers=kv, timeout=10)
            return response.text
        except:
            if tries < (maxTryNum - 1):
                continue
            else:
                print("Has tried %d times to access url %s, all failed!" % (maxTryNum, url))
                break
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_43590389/article/details/102588310

智能推荐

Spring微服务实战_spring微服务实战博客_CiCi岛的博客-程序员资料

网站更多书籍点击进入&gt;&gt; CiCi岛下载电子版仅供预览及学习交流使用,下载后请24小时内删除,支持正版,喜欢的请购买正版书籍电子书下载(皮皮云盘-点击“普通下载”)购买正版封页编辑推荐微服务将代码分解为小型的、分布式的独立服务,这些服务需要深谋远虑和仔细设计。Spring Boot和Spring Cloud简化了微服务应用程序。就像Spring框架简化了企业级Ja...

Java8新特性-Lambda表达式对集合的相关操作_C_YaFei的博客-程序员资料

Java 8 引入的新特性——Lambda 表达式,结合 forEach 方法可以更方便地实现遍历,相比传统的循环用起来Lambda 的函数式编程更加简洁,能减少不少冗余的代码行数,不过Lambda 表达式读起来会比较生涩,不过熟悉使用时真的香!常用的场景有很多,下面只讨论Lambda 表达式对集合的相关操作。先定义一些基础类,用lombok的@Data注解省去get和set这些方法:...

第十届蓝桥杯省赛单片机程序_蓝桥杯第十届省赛_十月之望的博客-程序员资料

一、比赛总结这次蓝桥杯比赛还是相当可以的,虽说不是很难,但如果之前没有充分的准备是不可能完完整整做出来的。尤其考了555定时器,虽说是很简单的应用,让P3.4输出正弦波,测它的频率,蓝桥杯单片机CT107D 555方波发生器可以产生实验所需的 200Hz 到 20Khz 的方波信号。通过改变Rb3大小即可调整555方波发生器输出方波频率,定时器0设为计数模式,但当时比赛就是做不出来,赛前我还看了...

类加载机制(整个过程详解)_天天向上的菜鸡杰!!的博客-程序员资料

一:背景类加载机制是在我们的真个java的运行阶段中的其中一个阶段。二:什么是快乐星球(类加载机制)我们编写的 Java 文件都是以.java 为后缀的文件,编译器会将我们编写的.java 的文件编译成.class 文件,简单来说类加载机制就是jvm从文件系统将一系列的 class 文件z转化为二进制流加载 JVM 内存中并生成一个该类的Class对象,为后续程序运行提供资源的动作。三:类加载的流程1:整体的流程图2:各个阶段的解析(1):加载a:加载的类的字节码文件以及二进制文件的来源

msys_weixin_30856965的博客-程序员资料

原文地址:http://www.cnblogs.com/feisky/archive/2010/03/23/1692622.htmlMSYS:Minimal GNU(POSIX)system on Windows,是一个小型的GNU环境,包括基本的bash,make等等。是Windows下最优秀的GNU环境。(是否厌倦了Cygwin蜗牛般的shell环境,试试MSYS中的rxvt吧)  另...

springbootjpa之hibernate sql拦截器_jpa拦截更改sql_jtf111的博客-程序员资料

springbootjpa之hibernate sql拦截器解决问题,数据查询权限问题;原理:通过拦截sql语句,然后解析sql语句,加入自定义查询条件,做到数据权限拦截;hibernate 文档之接口hibernate 文档描述5. 然后通过springboot 配置 spring.jpa.properties.hibernate.session_factory.statement_inspector=自己的拦截器,然后在拦截器内解析sql,并完成数据权限实现。...

随便推点

从字到词,大词典中文BERT模型的探索之旅_腾讯技术工程的博客-程序员资料

导语: BERT模型自诞生以来统治了各项NLP任务的榜单,谷歌也针对中文给出了基于字的模型。然而我们知道词是语言最重要的组成部分,因此,一个自然的想法就是做基于词的BER...

视频编解码之关于AI、RA、LD的解释_ra编码__,_的博客-程序员资料

&lt;script&gt; (function(){ var el = document.createElement("script"); el.src = "https://s3a.pstatp.com/toutiao/push.js?1abfa13dfe74d72d41d83c86d240de427e7cac50c51ead53b2e79d40c7952a23ed7716d05b4a0f683a653eab3e214672511de2457e74e992...

nginx/1.14.0 加装modsecurity3.0动态模块的实现过程(基础教程)_yes_is_ok的博客-程序员资料

条件准备:(所有的压缩包默认放在/root/下做所有安装操作!)实验下的环境系统: redhat7.xnginx: nginx-1.14.0.tar.gzmodsecurity: modsecurity-3.0.0.tar.gznginx-modsecurity: ModSecurity-nginx-master.zip下载地址:...

svg path飞线动画_svg飞线_哈利路亚阿弥陀佛么么哒的博客-程序员资料

https://www.jianshu.com/p/69dd56c28248https://zhuanlan.zhihu.com/p/67031777

helm部署jenkins到k8s并创建pipeline构建项目_hkNaruto的博客-程序员资料

安装部署nfs1. nfs服务器创建目录[[email protected] ~]$ sudo mkdir /home/nfs/jenkins -p2. 设置其他用户可以写入该目录[[email protected] ~]$ sudo chmod o+w /home/nfs/jenkins/ -R3. 配置/etc/exports/home/nfs/jenkins 10.51.72.167(rw,sync,no_subtree_check,no_root_squash)4. 启动nf

Python2.7 json.loads() 出现的unicode编码问题_python中json.loads中出现u_20141201-20180622的博客-程序员资料

python2真是神坑,建议能用python3就用python3,无奈。。。。。。。笔者原本需要将一个python文件获得的数据进行一定的处理,美观地显示在命令行上。数据如下,输出的是一个json对象数组转换后的字符串,这里叫resultList。[ { 'loginName': 'user7', 'dirPermission': { ...

推荐文章

热门文章

相关标签