Python-urllib使用
urllib
是python自带的一个包,主要用于做爬虫的(暂时接触到的是这样)。爬虫也叫网络蜘蛛,主要功能是获取网页数据。urllib
包含四个模块.request
用于模拟发送请求,error
处理异常模块.parse
提供url处理,robotparser
处理网站的reboot.txt。今天只学一学request
,毕竟正加班呢。
urllib
是python自带的一个包,主要用于做爬虫的(暂时接触到的是这样)。爬虫也叫网络蜘蛛,主要功能是获取网页数据。urllib
包含四个模块.request
用于模拟发送请求,error
处理异常模块.parse
提供url处理,robotparser
处理网站的reboot.txt。今天只学一学request
,毕竟正加班呢。
首先祝各位愚人节快乐。上一篇文章写了urllib发送请求,今天学习urllib
的异常处理和链接解析。我们爬取网站数据,如果程序按照所想去执行,那异常就没什么用了,但这是不可能的😂😂😂。程序总会因为主观或者客观原因出现异常,有些严重的异常如果不进行处理,那就会导致程序的崩溃。链接解析主要是方便开发者的,下面详细说明。
上周学习了Python urllib使用(一),Python urllib使用(二),对Python HTTP请求有了一些了解,但操作起来太麻烦,需要写很多的Opener和Handler,在进行登陆,Cookie等需要写很多代码,这一点也不Python。今天来学习Python 更为强大的HTTP库。看看官网介绍你就懂。
Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用。
警告:非专业使用其他 HTTP 库会导致危险的副作用,包括:安全缺陷症、冗余代码症、重新发明轮子症、啃文档症、抑郁、头疼、甚至死亡。