爬虫实战(二)爬取Ajax数据（爬取数据的代码）
qiyuwang 2025-04-07 18:38 7 浏览 0 评论
前言
我们这次主要实现对 Ajax 数据的爬取，网站链接为
:https://spa1.scrape.center，该实例网站的数据是通过Ajax 完成的，页面的内容是通过JaveScrip渲染出来的，如下图所示：
我们这次爬取的数据包括电影的名称、封面、类别、上映日期、评分、剧情等信息。需要将数据爬取下来然后保存在 MongoDB 数据库中。
爬取过程
我们通过 requests 直接提取页面，在提取的结果中只有一点 HTML 内容，主要是一些 javascript和css文件，并没有观察到任何电影数据信息。遇到这种情况，说明我们看到的整个页面都是JavaScript渲染得到的，里面的电影数据一般是通过 Ajax 加载的，JavaScript在后台调用 Ajax 数据接口，得到数据之后，再对数据进行解析并渲染呈现出来。想要爬取这个页面数据，直接爬取 Ajax 接口，再获取数据就好了。
爬取列表页
我们分析列表页的 Ajax 接口逻辑，打开浏览器开发者工具，切换到 Network 面板，勾选 Preserve Log并切换到 XHR 选项卡，接着重新刷新页面，再点击第二页，这时可以观察到不仅页面上的数据发生了变化，开发者工具下方页监听到几个Ajax请求，如下图所示:
我们点开一个Ajax请求，其接口的请求
URL为:
https://spa1.scrape.center/api/movie/?limit=10&offset=20，通过观察多个 Ajax 接口的参数，我们总结出这么一个规律，limit 一直为10，正好对应每页10条数据，offset 再依次变大，页数每加1，offset 就加10，因此其代表页面的数据偏移量。这样的话，我们只需要构造出所有页面的 Ajax 接口，就可以轻松获取所有页面的数据了。
我们先定义一个 scrape api 方法，这个方法用来实现对一个 Ajax 接口数据的获取，这是一个通用的方法，返回的内容为一个 JSON 字符串。
接着我们定义一个爬取列表页的方法:acrape index，它接收一个参数page，该参数代表列表页的页码。
这样我们就完成了列表页的爬取，每次发生 Ajax 请求都会得到 10 电影数据信息。
爬取详情页
虽然我们已经可以拿到每一页的电影数据,但是这项数据实际上还缺少一些我们想要的信息，如剧情简介等，所有需要进一步进入详情页来获取这些内容。以查看列表页同样的方法查看详情页调用的Ajax接口,可以发现详情页的接口URL为:
https://spa1.scrape.center/detail/40，后面的40为每部电影的id，接着，我们就定义一个详情页的爬取逻辑，定义一个scrape_detail 方法，它接收一个参数id，先构造一个真实的详情页 Ajax 请求的 URL，再直接调用 scrape api 方法传入这个url 即可。
保存数据
我们将数据保存在 MongoDB数据库中，具体代码如下:
最后定义一个总的调用方法main：
运行脚本,可以看到爬取成功,并成功存储数据,没有任何报错信息。
相关推荐
- 微软宣布将于10月份关闭OneDrive组功能
-
【巴士数码】微软已经宣布将在今年10月关闭OneDrive的组功能。一年多之前，微软已经关闭了用户在OneDrive当中创建组的功能。大大多数用户会发现共享文件夹是一种合适的替代品，而且由于这一点，O...
- 玩转Win10任务栏:从基础设置到效率神器的全攻略
-
一、基础操作：解锁任务栏的「隐藏布局」...
- 文档以只读模式打开的原因及解决方法
-
当文档以只读模式打开时，可能由多种原因导致。以下是详细的原因分析与对应解决方法，您可根据实际情况灵活选择操作。一、文件属性设置问题（一）Windows系统在Windows系统中，若文件属性被标记...
- Windows系统的优化（windows优化设置）
-
今天给大家讲一讲系统的图标和一些基本的优化。安装了原版系统之后有很多地方需要优化比如桌面图标小箭头，盾牌，休眠占用内存，关闭通知栏。首先我们打开软件这款软件以前就讲到过就是dism++软件，他可以清理...
- Win 10偷偷传送用户隐私至微软（win10设备隐私）
-
自推出以来Win10不断被揭发盗取用户带宽、泄漏WiFi密码等各式各样的私隐问题，令不少网络专家开始留意Win10还隐藏了多少类似的私隐漏洞。最近再有人发现Win10部分功能静静...
- OneDrive逆势下调存储空间，不限量存储被取消
-
日前，微软在周一晚发布的博客文章中表示，由于部分用户存滥用储存功能，所以该公司将取消不限量OneDrive存储服务。不限量用户的最大存储空间将被下调至1TB，定价为6.99美元，对于已存储较多文件和内...
- Win10中那些被微软取消的功能（微软公司从9日起停止对windows8的主流服务支持）
-
很多用户在使用Win10的时候，都会发现一些在Win7系统中的功能被取消了，有的时候想找也找不到。那么到底是那些过去的功能在Win10中被取消了呢？下面我们就简单梳理一下，并且告诉大家解决的办法。Wi...
- 微软推Win11 Dev 26200.5570预览版:语音打字上线脏话过滤选项
-
IT之家4月26日消息，微软公司昨日（4月25日）发布博文，邀请Dev频道的WindowsInsider项目成员，测试适用于Windows1124H2的KB50556...
- 微软VSCode商店发现9款挖矿恶意插件，已安装超30万次
-
IT之家4月8日消息，科技媒体bleepingcomputer昨日（4月7日）发布博文，报道称安全专家在微软VSCode扩展商店中，发现了9款伪装成开发工具的恶意插件。这些插...
- 微软Windows 11开始菜单大改版!（windows 11 开始菜单）
-
根据最新消息，微软正在对Windows11的开始菜单进行重大改版，这一更新将彻底改变其布局和功能。Windows11的开始菜单将从现有的多栏布局改为单栏可滚动视图，所有固定图标和已安装应用都将集中...
- OneDrive无限存储空间取消 免费降至5GB
-
2015-11-0313:35:06作者：徐鹏北京时间11月3日消息，微软在一篇博客文章中称，将取消OneDrive存储服务的不限量空间，原因是部分用户有滥用问题。OneDrive无限存储空间取消...
- 省出电脑C盘空间!微软悄悄更新:OneDrive终于能卸载了
-
快科技3月12日消息，近日，微软悄悄地在官方更新了关闭、禁用、卸载Windows自带软件OneDrive的方法。微软Windows系统自带了很多软件和功能，其中有很多我们可能永远都用不上。但这些软件还...
- 微软关闭OneDrive新建组群功能（windows关闭onedrive）
-
微软的OneDrive云端储存服务能够让你创建组群（Group），这样当你和团队成员共同从事一个项目的时候能够通过云端协作提升效率，并且组群的文档储存空间还将同你标准的OneDrive分割独立开来。不...
- 微软为何取消OneDrive无限制容量存储?被75TB占用吓坏
-
那么为什么微软会取消Office365的无限OneDrive存储呢？“自推出Office365订阅无限制存储服务以来，一小部分用户开始备份多台PC设备，存储众多电影收藏合集和DVR录像。在某些情况下...
- Win11必关的5个设置!关闭后电脑流畅到起飞，操作简单不藏私!
-
Windows11虽然界面炫酷，但默认设置中隐藏了不少“拖慢电脑”的坑！尤其是老电脑用户，用久了卡顿、开机慢、反应迟钝……其实只需关闭几个鸡肋功能，就能让电脑提速50%以上！...
欢迎 你 发表评论:
- 一周热门
- 最近发表
-
- 微软宣布将于10月份关闭OneDrive组功能
- 玩转Win10任务栏:从基础设置到效率神器的全攻略
- 文档以只读模式打开的原因及解决方法
- Windows系统的优化（windows优化设置）
- Win 10偷偷传送用户隐私至微软（win10设备隐私）
- OneDrive逆势下调存储空间，不限量存储被取消
- Win10中那些被微软取消的功能（微软公司从9日起停止对windows8的主流服务支持）
- 微软推Win11 Dev 26200.5570预览版:语音打字上线脏话过滤选项
- 微软VSCode商店发现9款挖矿恶意插件，已安装超30万次
- 微软Windows 11开始菜单大改版!（windows 11 开始菜单）
- 标签列表
-
- navicat无法连接mysql服务器 (65)
- 下横线怎么打 (71)
- flash插件怎么安装 (60)
- lol体验服怎么进 (66)
- ae插件怎么安装 (62)
- yum卸载 (75)
- .key文件 (63)
- cad一打开就致命错误是怎么回事 (61)
- rpm文件怎么安装 (66)
- linux取消挂载 (81)
- ie代理配置错误 (61)
- ajax error (67)
- centos7 重启网络 (67)
- centos6下载 (58)
- mysql 外网访问权限 (69)
- centos查看内核版本 (61)
- ps错误16 (66)
- nodejs读取json文件 (64)
- centos7 1810 (59)
- 加载com加载项时运行错误 (67)
- php打乱数组顺序 (68)
- cad安装失败怎么解决 (58)
- 因文件头错误而不能打开怎么解决 (68)
- js判断字符串为空 (62)
- centos查看端口 (64)