百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程文章 > 正文

Python爬虫第二讲:Requests库使用(异端原创)

qiyuwang 2024-10-07 15:25 9 浏览 0 评论

先言

HTTP和HTTPS协议构成了用户和服务器的底层文件传送协议,爬虫的实质就是如何构建一个请求,让服务器响应给你需要的数据(爬数据)或者发送你想要服务器接受的数据(刷单,游戏辅助等等)。由于HTTP协议是无状态的,服务器只能通过你的请求内容识别出你的个人信息,只要能伪造合理的请求内容,即可实现你想要实现的操作。这就是爬虫的底层逻辑。

试着想象,如果你的登录状态被截取,黑客就能用该账号做一些事情。年轻时还记得学校附近的一个网吧,只要在该网吧登录QQ,回来时就都会发现QQ上多了不少美女,而且并没有通过你人工通过,其实底层原理就是截获信息流,更改客户端,实现自定义操作(类似于爬虫的原理)。

Requests库基本使用

上图为最简单的一个Requests库的应用,但是其包含的内容基本涵盖了HTTP的基本内容。

首先先说说响应头:

简单说点最重要的:User-Agent 这个属性为中文名为用户代理,在互联网中用来识别你的浏览器型号和操作系统的版本。很多网站会通过识别请求头做反爬,但是Python有专门的库: fake-useragent,里面有丰富的各个版本的UA,可供使用。具体使用就不赘述了。

请求头中包含用户大量信息的一般为Cookie字段,这个字段不仅可能包含用户的登录信息,浏览痕迹,还可能包含秘钥,没有该字段网站服务器可能拒绝响应你的请求。这里会是很多网站反爬的核心。后面会着重介绍怎么在一段session中保持cookie,用以通过校验。(技术大佬可以试图用我的cookies试试看是否能直接我的百度号,或者逆向我的账号密码)

其他的都是一些基本的规则,Referer俗称防盗链,注意一下host(服务器)可能有些框架需要对Host做校验,但是很少。

Requests库的简单原理

Requests库实际就是发送HTTP请求,并返回响应数据。这里我想着重推荐大家了解下HTTP协议。如果打个最简单的比喻就是通过请求头告诉服务器,我来自哪里,我要什么数据。服务器通过验证给你需要的数据,而现在主流反爬都是通过校验你来自哪里实现的。那么怎么告诉用户是否是你想要的数据呢?响应状态码的作用就出来了。相信做过WEB的都知道502,404,200,302的意思

Requests响应数据

Response.body包含了服务器响应给你的数据,在本次请求中,响应的是一个HTML文档,如果你需要的数据存在这里面的话,你就只需要循环发送不同的请求头数据即可。但是很多情况下,数据是通过AJAX动态渲染的,那么你可能需要多花一点功夫。

以上是一次Requests库的基本使用过程,下次我将详细讲解get请求和post(共四种提交方式)的差异。

相关推荐

在Word中分栏设置页码一页两个页码的技巧!

施老师:在正常情况下,Word文档中一页只会出现一个页码。但在某种情况下,比如说:用了分栏后,我们希望一页中出现两个页码,那应该如何实现呢?今天,就由宁双学好网施老师来为大家讲一下,利用域来实现一页两...

如何在关键时刻向上自荐(如何在关键时刻做出正确选择)

抓住机会,挺身而出有种时刻叫“关键时刻”,关键时刻,作为一个认为自己有能力的、训练有素的人,应该考虑挺身而出,甚至应该不考虑就挺身而出。...

WPS Word:跨页的文档表格,快速调整为一页。#Excel

如何快速将跨页的文档表格调整为一页?需要根据两种情况分别处理。如果表格所有行的行高相同,调整为一页的方法有两种。第一种方法是将光标移动到表格内,然后将鼠标移动到表格右下角的方框处,按住鼠标左键向上拖动...

word文档插入下一页分节符(word下一页分页符)

在word文档中,对文档页面进行分页是特别常见的操作,其中的下一页分节符也是用得比较多的,但是一些人不太清楚在哪里设置,也不知道它具体能实现的功能是什么。接下来看看如何在word文档中插入下一页分节符...

word文档如何设置某一页纸张的方向

word文档页面方向有横向和纵向,纵向是默认的纸张方向,有时我们需要将页面设置为横向,或只设置其中某一页方向,应该怎么操作呢?一起来看看下面的详细介绍第一步:...

word怎么单独设置一页为横向(word2019怎样设置单独一页为横向)

word里面其中一页可以改为横向的吗?经过实际操作发现是完全可以的。...

Word如何设置分栏,如何一页内容同时显示一栏和两栏

我们使用Word文档,有时需要用到两栏的排版,甚至一页内容同时包含一栏和两栏的排版,这种格式怎么设置呢?具体步骤如下:首先是两栏排版的设置,直接点击Word文件上方工具栏【布局】,选择【分栏】下面的【...

Word怎么分页?这三个方法可以帮到你

我们不仅可以利用Word编辑文档,还可以编辑文集呢。但是有时候会出现两个部分的文章长短不一,我们需要对文档进行分页处理。这样可以方便我们对文档进行其他操作。那么Word怎么分页呢?大家可以采用下面这...

Word内容稍超一页,如何优化至单页打印?

如何将两页纸的内容,缩到一页打印呢?有时候一页纸多一点内容,我们完全可以缩一下,放到一页来打印。...

[word] word 表格如何跨行显示表头、标题

word表格如何跨行显示表头、标题在Word中的表格如果过长的话,会跨行显示在另一页,如果想要在其它页面上也显示表头,更直观的查看数据。难道要一个个复制表头吗?当然不是,教你简单的方法操作设置Wo...

Word表格跨页如何续上表?(word如何让表格跨页不断掉)

长文档的表格跨页时,你会发现页末空白太多了,这时要怎么调整?选中整张表格,右击【表格属性】,点击【行】选项,之后勾选【允许跨页断行】,点击确定即可解决空白问题。...

Word怎么连续自动生成页码,操作步骤来了!

Word怎么连续自动生成页码,操作步骤来了!...

word文档怎么把两页合并成一页内容?教你4种方法

word怎么把两页合并成一页?word怎么把两页合并成一页?用四种方法演示一下。·方法一:把这一个文档合并成一页,按ctrl加a全选文档,然后右键点击段落,弹出的界面行距改成固定值,磅值可以改小一点,...

如何将Word中的一页的纸张方向设置为横向?这里提供详细步骤

默认情况下,MicrosoftWord将页面定向为纵向视图。虽然这在大多数情况下都很好,但你可能拥有在横向视图中看起来更好的页面或页面组。以下是实现这一目标的两种方法。无论使用哪种方法,请注意,如果...

Word横竖混排你会玩吗?(word横排竖排混合)

我们在用Word排版的时候,一般都是竖版格式,但偶尔会需要到一些特殊的版式要求,比如文档中插入的一个表格,横向的内容比较多,这时就需要用到横版,否则表格显示不全。这种横竖版混排的要求,在Word20...

取消回复欢迎 发表评论: