随着前后端技术的越来越成熟，使用成熟的前端框架来实现前后端分离的项目越来越多，这就导致了如果直接使用 requests 库获取到的页面内容，可能与最终在浏览器呈现的不一致，而且没有任何数据内容。这是因为前后端分离的项目页面上的数据是通过 JavaScript 从服务器获取数据后，然后重新处理后所展示出的内容(前台渲染)，而数据是通过 Ajax 方式获取的，整个过程通常都是异步完成的，因此在用户体验上非常好。

基于上述原因，想要爬取这种页面的数据，就需要学会分析网页如何通过接口向后台发送 Ajax 请求，并使用 requests 来模拟浏览器发送 Ajax 请求来获取数据。

什么是 Ajax 请求

Ajax 是一种异步的 JavaScript 请求，其中 x 表示的 XML，但现在 JSON 的使用要多于 XML。利用 Ajax 可以实现在页面不刷新的情况下与服务器进行通讯更新数据，这就避免了因为要更新页面而刷新网址的操作，体验效果更好。

Ajax 的原理

Ajax 的原理非常简单，大致包含三个步骤：

1. 发送网络请求

在早先时候，window 下的 XMLHttpRequest 对象是发送 Ajax 请求的原始实现，通过获取 XMLHttpRequest 示例，并监听 onreadystatechange 事件来完成整个异步流程，而且需要考虑浏览器的兼容性，在使用过程中非常麻烦。不过后来的 JQuery 框架提供了非常简便的调用方法，还不需要考虑兼容性，这使得 Ajax 使用易用且越来越广泛。现在非常流行的 Vue 项目，则使用 axios 框架来完成 Ajax 请求。

2. 服务器响应数据成功后，解析响应数据

数据解析的过程相对简单，虽然通过 Ajax 可以返回任意形式的数据，这在开发阶段一般前后端会做约定，现今较为流行的是返回 JSON 格式的标准数据，JavaScript 可以非常容易的处理这些响应的数据。

3. 通过 JavaScript 更新页面内容

不管是使用原生 JavaScript DOM api 还是使用像 JQuery 这样的库，都是将接口返回的数据重新渲染到页面上，才完成了最终的目的。

如何获取 Ajax 请求

由于 Ajax 请求是在不刷新页面的情况下且异步完成的数据请求。因此我们必须借助浏览器开发工具（有多重打开方式: 快捷键 F12, 页面鼠标右键-检查等等）来获取请求链接的相关内容。这对于我们有 web 开发的经验的同学是非常熟悉的技能，在绝大多数时候需要借助此工具来调试接口。

如上述中的图片中，Ajax 发起的请求在浏览器中显示的类型是 xhr，点击后就可看到请求的各种内容，Ajax 请求响应回的数据既有 HTML 页面内容，也有 JSON 数据，在做接口响应分析时一定要关注。

同时也可以在请求头中看到X-Requested-With: XMLHttpRequest 的描述信息（这不是必有的选项）。

Ajax 响应数据处理

前边我们说过，在 Ajax 的响应数据中，返回的数据不总是 JSON 格式的，因此在做接口响应处理之前，需要对响应内容做基础的判断，防止解析方式错误导致获取到的数据不正确。不过当前流行的前后端分离项目中，以 JSON 作为响应结果的占绝大多数，因此以下以 JSON 结果为例做说明。

以 httbin 中的 json 获取为例，通过点击浏览器网络工具中标头可以获得请求相关的信息，包含请求地址 URL，请求方式 GET 等相关内容。

import requests
import pprint

res = requests.get(
  'https://www.httpbin.org/json')

pprint.pprint(res.json())

# {
#   "slideshow": {
#     "author": "Yours Truly",
#     "date": "date of publication",
#     "slides": [
#       {
#         "title": "Wake up to WonderWidgets!",
#         "type": "all"
#       },
#       {
#         "items": [
#           "Why <em>WonderWidgets</em> are great",
#           "Who <em>buys</em> WonderWidgets"
#         ],
#         "title": "Overview",
#         "type": "all"
#       }
#     ],
#     "title": "Sample Slide Show"
#   }
# }

如上边的代码示例，我们通过使用 request 访问地址，在响应结果中调用 json 方法即可获取到返回的 JSON 数据，并且自动转换为了dic类型，至此就可以轻松的获取 Ajax 响应中的数据。

在爬取Ajax 数据的时候，最重要的就是分析请求接口，包括每次请求的规律，比如每次请求参数是如何变化的，以及各种参数是如何获取和生成的，还有各种防止爬虫的策略，需要设置请求头的数据等等。