PHP网络爬虫之CURL学习 php curl_setopt
qiyuwang 2024-10-07 15:23 9 浏览 0 评论
PHP的CURL
php的curl可以实现模拟http的各种请求，这也是php做网络爬虫的基础，也多用于接口api的调用。
这个时候有人就要发问了：为什么你特么不用file_get_contents?
curl的性能比它好，而且可以完成更多复杂的操作，不仅仅只是获取页面数据。
下面先分别介绍一些常用的函数。
- curl_init 初始化一个curl对话
- curl_setopt 设置curl参数，即传输选项
- curl_exec 执行请求
- curl_close 关闭一个curl对话
主要是上面四个
- curl_errno 返回最后一次错误码,php已经定义了诸多错误枚举编码
- curl_errror 返回一个保护当前会话最近一次错误的字符串
下面直接上实例吧，相关解释都在注释里面
1. 在网络上下载一个网页并把内容中的“百度”替换为“屌丝”之后输出
<?php
/**
* 实例描述：在网络上下载一个网页并把内容中的“百度”替换为“屌丝”之后输出
*/
$curlobj = curl_init(); // 初始化
curl_setopt($curlobj, CURLOPT_URL, "http://www.baidu.com"); // 设置访问网页的URL
curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, true); // 执行之后不直接打印出来
$output=curl_exec($curlobj); // 执行
curl_close($curlobj); // 关闭cURL
echo str_replace("百度","屌丝",$output);
?>
1
2
3
4
5
6
7
8
9
10
11
2. 通过调用WebService查询北京的当前天气
<?php
/**
* 实例描述：通过调用WebService查询北京的当前天气
*/
$data = 'theCityName=北京';
$curlobj = curl_init();
curl_setopt($curlobj, CURLOPT_URL, "http://www.webxml.com.cn/WebServices/WeatherWebService.asmx/getWeatherbyCityName");
curl_setopt($curlobj, CURLOPT_HEADER, 0);
curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($curlobj, CURLOPT_POST, 1);
curl_setopt($curlobj, CURLOPT_POSTFIELDS, $data);
curl_setopt($curlobj, CURLOPT_HTTPHEADER, array("application/x-www-form-urlencoded; charset=utf-8",
"Content-length: ".strlen($data)
));
$rtn = curl_exec($curlobj);
if(!curl_errno($curlobj)){
// $info = curl_getinfo($curlobj);
// print_r($info);
echo $rtn;
} else {
echo 'Curl error: ' . curl_error($curlobj);
}
curl_close($curlobj);
?>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
3. 模拟需要登录的网址并抓取网页的内容
<?php
/**
* 实例描述：模拟需要登录的网址并抓取网页的内容
*/
$data=array('username' => 'promonkey',
'password' => '1q2w3e',
'remember'=>1);
$data='username=zjzhoufy@126.com&password=1q2w3e&remember=1';
$curlobj = curl_init(); // 初始化
curl_setopt($curlobj, CURLOPT_URL, "http://www.imooc.com/user/login"); // 设置访问网页的URL
curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, true); // 执行之后不直接打印出来
// Cookie相关设置，这部分设置需要在所有会话开始之前设置
date_default_timezone_set('PRC'); // 使用Cookie时，必须先设置时区
curl_setopt($curlobj, CURLOPT_COOKIESESSION, TRUE);
curl_setopt($curlobj, CURLOPT_HEADER, 0);
curl_setopt($curlobj, CURLOPT_FOLLOWLOCATION, 1); // 这样能够让cURL支持页面链接跳转
curl_setopt($curlobj, CURLOPT_POST, 1);
curl_setopt($curlobj, CURLOPT_POSTFIELDS, $data);
curl_setopt($curlobj, CURLOPT_HTTPHEADER, array("application/x-www-form-urlencoded; charset=utf-8",
"Content-length: ".strlen($data)
));
curl_exec($curlobj); // 执行
curl_setopt($curlobj, CURLOPT_URL, "http://www.imooc.com/space/index");
curl_setopt($curlobj, CURLOPT_POST, 0);
curl_setopt($curlobj, CURLOPT_HTTPHEADER, array("Content-type: text/xml"
));
$output=curl_exec($curlobj); // 执行
curl_close($curlobj); // 关闭cURL
echo $output;
?>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
4. 登录网站的信息抓取并下载个人空间页面 + 自定义实现页面链接跳转抓取
<?php
/**
* 实例描述：登录网站的信息抓取并下载个人空间页面
* 自定义实现页面链接跳转抓取
*
*/
$data='username=demo_peter@126.com&password=123qwe&remember=1';
$curlobj = curl_init(); // 初始化
curl_setopt($curlobj, CURLOPT_URL, "http://www.imooc.com/user/login"); // 设置访问网页的URL
curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, true); // 执行之后不直接打印出来
// Cookie相关设置，这部分设置需要在所有会话开始之前设置
date_default_timezone_set('PRC'); // 使用Cookie时，必须先设置时区
curl_setopt($curlobj, CURLOPT_COOKIESESSION, TRUE);
curl_setopt($curlobj, CURLOPT_HEADER, 0);
// 注释掉这行，因为这个设置必须关闭安全模式 以及关闭open_basedir，对服务器安全不利
//curl_setopt($curlobj, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($curlobj, CURLOPT_POST, 1);
curl_setopt($curlobj, CURLOPT_POSTFIELDS, $data);
curl_setopt($curlobj, CURLOPT_HTTPHEADER, array("application/x-www-form-urlencoded; charset=utf-8",
"Content-length: ".strlen($data)
));
curl_exec($curlobj); // 执行
curl_setopt($curlobj, CURLOPT_URL, "http://www.imooc.com/space/index");
curl_setopt($curlobj, CURLOPT_POST, 0);
curl_setopt($curlobj, CURLOPT_HTTPHEADER, array("Content-type: text/xml"
));
$output=curl_redir_exec($curlobj); // 执行
curl_close($curlobj); // 关闭cURL
echo $output;
/**
* 自定义实现页面链接跳转抓取
*/
function curl_redir_exec($ch,$debug="")
{
static $curl_loops = 0;
static $curl_max_loops = 20;
if ($curl_loops++ >= $curl_max_loops)
{
$curl_loops = 0;
return FALSE;
}
curl_setopt($ch, CURLOPT_HEADER, true); // 开启header才能够抓取到重定向到的新URL
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$data = curl_exec($ch);
// 分割返回的内容
$h_len = curl_getinfo($ch, CURLINFO_HEADER_SIZE);
$header = substr($data,0,$h_len);
$data = substr($data,$h_len - 1);
$http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
if ($http_code == 301 || $http_code == 302) {
$matches = array();
preg_match('/Location:(.*?)\n/', $header, $matches);
$url = @parse_url(trim(array_pop($matches)));
// print_r($url);
if (!$url)
{
//couldn't process the url to redirect to
$curl_loops = 0;
return $data;
}
$last_url = parse_url(curl_getinfo($ch, CURLINFO_EFFECTIVE_URL));
if (!isset($url['scheme']))
$url['scheme'] = $last_url['scheme'];
if (!isset($url['host']))
$url['host'] = $last_url['host'];
if (!isset($url['path']))
$url['path'] = $last_url['path'];
$new_url = $url['scheme'] . '://' . $url['host'] . $url['path'] . (isset($url['query'])?'?'.$url['query']:'');
curl_setopt($ch, CURLOPT_URL, $new_url);
return curl_redir_exec($ch);
} else {
$curl_loops=0;
return $data;
}
}
?>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
从FTP服务器下载一个文件到本地
<?php
/**
* 实例描述：把本地文件上传到FTP服务器上
*/
$curlobj = curl_init();
$localfile = 'ftp01.php';
$fp = fopen($localfile, 'r');
curl_setopt($curlobj, CURLOPT_URL, "ftp://192.168.1.100/ftp01_uploaded.php");
curl_setopt($curlobj, CURLOPT_HEADER, 0);
curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($curlobj, CURLOPT_TIMEOUT, 300); // times out after 300s
curl_setopt($curlobj, CURLOPT_USERPWD, "peter.zhou:123456");//FTP用户名：密码
//上传和下载主要是下面子三个参数不一样
curl_setopt($curlobj, CURLOPT_UPLOAD, 1);
curl_setopt($curlobj, CURLOPT_INFILE, $fp);
curl_setopt($curlobj, CURLOPT_INFILESIZE, filesize($localfile));
$rtn = curl_exec($curlobj);
fclose($fp);
if(!curl_errno($curlobj)){
echo "Uploaded successfully.";
} else {
echo 'Curl error: ' . curl_error($curlobj);
}
curl_close($curlobj);
?>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
6.下载网络上面的一个HTTPS的资源
<?php
/**
* 实例描述：下载网络上面的一个HTTPS的资源
*/
$curlobj = curl_init(); // 初始化
curl_setopt($curlobj, CURLOPT_URL, "https://ajax.aspnetcdn.com/ajax/jquery.validate/1.12.0/jquery.validate.js"); // 设置访问网页的URL
curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, true); // 执行之后不直接打印出来
// 设置HTTPS支持
date_default_timezone_set('PRC'); // 使用Cookie时，必须先设置时区
curl_setopt($curlobj, CURLOPT_SSL_VERIFYPEER, 0); // 对认证证书来源的检查从证书中检查SSL加密算法是否存在
curl_setopt($curlobj, CURLOPT_SSL_VERIFYHOST, 2); //
$output=curl_exec($curlobj); // 执行
curl_close($curlobj); // 关闭cURL
echo $output;
?>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
原生PHP模拟http请求
有时候为了简单模拟一个http请求，这样就去用curl有点浪费，其实php自身已经可以实现这个功能，
需要在服务器端模拟 POST/GET 等请求，也就是在 PHP 程序中去实现模拟，改怎么做到呢？或者说，在 PHP 程序里，给你一个数组，如何将这个数组 POST/GET 到另外一个地址呢？当然，使用 CURL 很容易办到，那么如果不使用 CURL 库，又该怎么办呢？其实，在 PHP 里已经有相关的函数实现了，这个函数就是接下来要讲的 stream_context_create()。
直接 show you the code，这是最好的方法：
$data = array( 'foo'=>'bar', 'baz'=>'boom', 'site'=>'www.nowamagic.net', 'name'=>'nowa magic'); $data = http_build_query($data); //$postdata = http_build_query($data); $options = array( 'http' => array( 'method' => 'POST', 'header' => 'Content-type:application/x-www-form-urlencoded', 'content' => $data //'timeout' => 60 * 60 // 超时时间（单位:s） ) ); $url = "http://www.nowamagic.net/test2.php"; $context = stream_context_create($options); $result = file_get_contents($url, false, $context); echo $result; http://www.nowamagic.net/test2.php 的代码为： $data = $_POST; echo '<pre>'; print_r( $data ); echo '</pre>'; 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
运行结果为：
Array ( [foo] => bar [baz] => boom [site] => www.nowamagic.net [name] => nowa magic ) 1 2 3 4 5 6 7
一些要点讲解：
- 以上程序用到了 http_build_query() 函数，构造URL字符串。
- stream_context_create() 是用来创建打开文件的上下文件选项的，比如用POST访问，使用代理，发送header等。就是 创建一个流，再举一个例子吧：
$context = stream_context_create(array(
'http' => array(
'method' => 'POST',
'header' => sprintf("Authorization: Basic %s\r\n", base64_encode($username.':'.$password)).
"Content-type: application/x-www-form-urlencoded\r\n",
'content' => http_build_query(array('status' => $message)),
'timeout' => 5,
),
));
$ret = file_get_contents('http://twitter.com/statuses/update.xml', false, $context);
1
2
3
4
5
6
7
8
9
10
- stream_context_create创建的上下文选项即可用于流(stream)，也可用于文件系统(file system)。对于像 file_get_contents、file_put_contents、readfile直接使用文件名操作而没有文件句柄的函数来说更有用。stream_context_create增加header头只是一部份功能，还可以定义代理、超时等。这使得访问web的功能不弱于curl。
- stream_context_create() 作用：创建并返回一个文本数据流并应用各种选项，可用于fopen(),file_get_contents()等过程的超时设置、代理服务器、请求方式、头信息设置的特殊过程。
- stream_context_create 还能通过增加 timeout 选项解决file_get_contents超时处理：
$opts = array(
'http'=>array(
'method'=>"GET",
'timeout'=>60,
)
);
//创建数据流上下文
$context = stream_context_create($opts);
$html =file_get_contents('http://www.nowamagic.net', false, $context);
//fopen输出文件指针处的所有剩余数据:
//fpassthru($fp); //fclose()前使用
相关推荐
- 在Word中分栏设置页码一页两个页码的技巧!
-
施老师：在正常情况下，Word文档中一页只会出现一个页码。但在某种情况下，比如说：用了分栏后，我们希望一页中出现两个页码，那应该如何实现呢？今天，就由宁双学好网施老师来为大家讲一下，利用域来实现一页两...
- 如何在关键时刻向上自荐（如何在关键时刻做出正确选择）
-
抓住机会，挺身而出有种时刻叫“关键时刻”，关键时刻，作为一个认为自己有能力的、训练有素的人，应该考虑挺身而出，甚至应该不考虑就挺身而出。...
- WPS Word:跨页的文档表格，快速调整为一页。#Excel
-
如何快速将跨页的文档表格调整为一页？需要根据两种情况分别处理。如果表格所有行的行高相同，调整为一页的方法有两种。第一种方法是将光标移动到表格内，然后将鼠标移动到表格右下角的方框处，按住鼠标左键向上拖动...
- word文档插入下一页分节符（word下一页分页符）
-
在word文档中，对文档页面进行分页是特别常见的操作，其中的下一页分节符也是用得比较多的，但是一些人不太清楚在哪里设置，也不知道它具体能实现的功能是什么。接下来看看如何在word文档中插入下一页分节符...
- word文档如何设置某一页纸张的方向
-
word文档页面方向有横向和纵向，纵向是默认的纸张方向，有时我们需要将页面设置为横向，或只设置其中某一页方向，应该怎么操作呢？一起来看看下面的详细介绍第一步：...
- word怎么单独设置一页为横向（word2019怎样设置单独一页为横向）
-
word里面其中一页可以改为横向的吗？经过实际操作发现是完全可以的。...
- Word如何设置分栏，如何一页内容同时显示一栏和两栏
-
我们使用Word文档，有时需要用到两栏的排版，甚至一页内容同时包含一栏和两栏的排版，这种格式怎么设置呢？具体步骤如下：首先是两栏排版的设置，直接点击Word文件上方工具栏【布局】，选择【分栏】下面的【...
- Word怎么分页?这三个方法可以帮到你
-
我们不仅可以利用Word编辑文档，还可以编辑文集呢。但是有时候会出现两个部分的文章长短不一，我们需要对文档进行分页处理。这样可以方便我们对文档进行其他操作。那么Word怎么分页呢？大家可以采用下面这...
- Word内容稍超一页，如何优化至单页打印?
-
如何将两页纸的内容，缩到一页打印呢？有时候一页纸多一点内容，我们完全可以缩一下，放到一页来打印。...
- [word] word 表格如何跨行显示表头、标题
-
word表格如何跨行显示表头、标题在Word中的表格如果过长的话，会跨行显示在另一页，如果想要在其它页面上也显示表头，更直观的查看数据。难道要一个个复制表头吗？当然不是，教你简单的方法操作设置Wo...
- Word表格跨页如何续上表?（word如何让表格跨页不断掉）
-
长文档的表格跨页时，你会发现页末空白太多了，这时要怎么调整？选中整张表格，右击【表格属性】，点击【行】选项，之后勾选【允许跨页断行】，点击确定即可解决空白问题。...
- Word怎么连续自动生成页码，操作步骤来了!
-
Word怎么连续自动生成页码，操作步骤来了!...
- word文档怎么把两页合并成一页内容?教你4种方法
-
word怎么把两页合并成一页？word怎么把两页合并成一页？用四种方法演示一下。·方法一：把这一个文档合并成一页，按ctrl加a全选文档，然后右键点击段落，弹出的界面行距改成固定值，磅值可以改小一点，...
- 如何将Word中的一页的纸张方向设置为横向?这里提供详细步骤
-
默认情况下，MicrosoftWord将页面定向为纵向视图。虽然这在大多数情况下都很好，但你可能拥有在横向视图中看起来更好的页面或页面组。以下是实现这一目标的两种方法。无论使用哪种方法，请注意，如果...
- Word横竖混排你会玩吗?（word横排竖排混合）
-
我们在用Word排版的时候，一般都是竖版格式，但偶尔会需要到一些特殊的版式要求，比如文档中插入的一个表格，横向的内容比较多，这时就需要用到横版，否则表格显示不全。这种横竖版混排的要求，在Word20...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- navicat无法连接mysql服务器 (65)
- 下横线怎么打 (71)
- flash插件怎么安装 (60)
- lol体验服怎么进 (66)
- ae插件怎么安装 (62)
- yum卸载 (75)
- .key文件 (63)
- cad一打开就致命错误是怎么回事 (61)
- rpm文件怎么安装 (66)
- linux取消挂载 (81)
- ie代理配置错误 (61)
- ajax error (67)
- centos7 重启网络 (67)
- centos6下载 (58)
- mysql 外网访问权限 (69)
- centos查看内核版本 (61)
- ps错误16 (66)
- nodejs读取json文件 (64)
- centos7 1810 (59)
- 加载com加载项时运行错误 (67)
- php打乱数组顺序 (68)
- cad安装失败怎么解决 (58)
- 因文件头错误而不能打开怎么解决 (68)
- js判断字符串为空 (62)
- centos查看端口 (64)