Python-urllib使用


urllib是python自带的一个包,主要用于做爬虫的(暂时接触到的是这样)。爬虫也叫网络蜘蛛,主要功能是获取网页数据。urllib包含四个模块.request用于模拟发送请求,error 处理异常模块.parse 提供url处理,robotparser处理网站的reboot.txt。今天只学一学request,毕竟正加班呢。

阅读更多

Python-urllib使用二

首先祝各位愚人节快乐。上一篇文章写了urllib发送请求,今天学习urllib的异常处理和链接解析。我们爬取网站数据,如果程序按照所想去执行,那异常就没什么用了,但这是不可能的😂😂😂。程序总会因为主观或者客观原因出现异常,有些严重的异常如果不进行处理,那就会导致程序的崩溃。链接解析主要是方便开发者的,下面详细说明。

阅读更多

Requests使用

上周学习了Python urllib使用(一),Python urllib使用(二),对Python HTTP请求有了一些了解,但操作起来太麻烦,需要写很多的Opener和Handler,在进行登陆,Cookie等需要写很多代码,这一点也不Python。今天来学习Python 更为强大的HTTP库。看看官网介绍你就懂。

Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用。

警告:非专业使用其他 HTTP 库会导致危险的副作用,包括:安全缺陷症、冗余代码症、重新发明轮子症、啃文档症、抑郁、头疼、甚至死亡。

阅读更多