在推特怎么搜索(在推特怎么搜站姐)

未标题-1-4 (1).png

PHP的CURL

php的curl可以实现模拟http的各种请求,这也是php做网络爬虫的基础,也多用于接口api的调用。

这个时候有人就要发问了:为什么你特么不用file_get_contents?

curl的性能比它好,而且可以完成更多复杂的操作,不仅仅只是获取页面数据。

下面先分别介绍一些常用的函数。

curl_init 初始化一个curl对话curl_setopt 设置curl参数,即传输选项curl_exec 执行请求curl_close 关闭一个curl对话

主要是上面四个

curl_errno 返回蕞后一次错误码,php已经定义了诸多错误枚举编码curl_errror 返回一个保护当前会话蕞近一次错误的字符串

下面直接上实例吧,相关解释都在注释里面

1. 在网络上下载一个网页并把内容中的“百度”替换为“屌丝”之后输出

<?php/** * 实例描述:在网络上下载一个网页并把内容中的“百度”替换为“屌丝”之后输出 */$curlobj = curl_init; // 初始化curl_setopt; // 设置访问网页的URLcurl_setopt; // 执行之后不直接打印出来$output=curl_exec; // 执行curl_close; // 关闭cURLecho str_replace;?>1234567891022

2. 通过调用WebService查询北京的当前天气

<?php/** * 实例描述:通过调用WebService查询北京的当前天气 */$data = \’theCityName=北京\’;$curlobj = curl_init; curl_setopt; curl_setopt; curl_setopt; curl_setopt; curl_setopt; curl_setopt )); $rtn = curl_exec; if){ // $info = curl_getinfo; // print_r; echo $rtn; } else { echo \’Curl error: \’ . curl_error;}curl_close;?>123456789102212131415161718192021222324

3. 模拟需要登录的网址并抓取网页的内容

<?php/** * 实例描述:模拟需要登录的网址并抓取网页的内容 */$data=array;$data=\’[email protected]&password=1q2w3e&remember=1\’;$curlobj = curl_init; // 初始化curl_setopt; // 设置访问网页的URLcurl_setopt; // 执行之后不直接打印出来// Cookie相关设置,这部分设置需要在所有会话开始之前设置date_default_timezone_set; // 使用Cookie时,必须先设置时区curl_setopt; curl_setopt; curl_setopt; // 这样能够让cURL支持页面链接跳转curl_setopt; curl_setopt; curl_setopt )); curl_exec; // 执行curl_setopt;curl_setopt; curl_setopt); $output=curl_exec; // 执行curl_close; // 关闭cURLecho $output;?>1234567891022121314151617181920212223242526272829303132

4. 登录网站的信息抓取并下载个人空间页面 + 自定义实现页面链接跳转抓取

<?php/** * 实例描述:登录网站的信息抓取并下载个人空间页面 * 自定义实现页面链接跳转抓取 * */$data=\’[email protected]&password=123qwe&remember=1\’;$curlobj = curl_init; // 初始化curl_setopt; // 设置访问网页的URLcurl_setopt; // 执行之后不直接打印出来// Cookie相关设置,这部分设置需要在所有会话开始之前设置date_default_timezone_set; // 使用Cookie时,必须先设置时区curl_setopt; curl_setopt; // 注释掉这行,因为这个设置必须关闭安全模式 以及关闭open_basedir,对服务器安全不利//curl_setopt; curl_setopt; curl_setopt; curl_setopt )); curl_exec; // 执行curl_setopt;curl_setopt; curl_setopt); $output=curl_redir_exec; // 执行curl_close; // 关闭cURLecho $output;/** * 自定义实现页面链接跳转抓取 */function curl_redir_exec { static $curl_loops = 0; static $curl_max_loops = 20; if { $curl_loops = 0; return FALSE; } curl_setopt; // 开启header才能够抓取到重定向到的新URL curl_setopt; $data = curl_exec; // 分割返回的内容 $h_len = curl_getinfo; $header = substr; $data = substr; $http_code = curl_getinfo; if { $matches = array; preg_match\\n/\’, $header, $matches); $url = @parse_url)); // print_r; if { //couldn\’t process the url to redirect to $curl_loops = 0; return $data; } $last_url = parse_url); if ) $url[\’scheme\’] = $last_url[\’scheme\’]; if ) $url[\’host\’] = $last_url[\’host\’]; if ) $url[\’path\’] = $last_url[\’path\’]; $new_url = $url[\’scheme\’] . \’://\’ . $url[\’host\’] . $url[\’path\’] . ?\’?\’.$url[\’query\’]:\’\’); curl_setopt; return curl_redir_exec; } else { $curl_loops=0; return $data; } } ?>1234567891022121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677787980818283

从FTP服务器下载一个文件到本地

<?php/** * 实例描述:把本地文件上传到FTP服务器上 */$curlobj = curl_init; $localfile = \’ftp01.php\’;$fp = fopen;curl_setopt; curl_setopt; curl_setopt; curl_setopt; // times out after 300scurl_setopt;//FTP用户名:密码//上传和下载主要是下面子三个参数不一样curl_setopt;curl_setopt;curl_setopt);$rtn = curl_exec; fclose; if){ echo \\\”Uploaded successfully.\\\”; } else { echo \’Curl error: \’ . curl_error;}curl_close;?>123456789102212131415161718192021222324252627

6.下载网络上面的一个HTTPS的资源

<?php/** * 实例描述:下载网络上面的一个HTTPS的资源 */$curlobj = curl_init; // 初始化curl_setopt; // 设置访问网页的URLcurl_setopt; // 执行之后不直接打印出来// 设置HTTPS支持date_default_timezone_set; // 使用Cookie时,必须先设置时区curl_setopt; // 对认证证书来源的检查从证书中检查SSL加密算法是否存在curl_setopt; // $output=curl_exec; // 执行curl_close; // 关闭cURLecho $output;?>1234567891022121314151617

原生PHP模拟http请求

有时候为了简单模拟一个http请求,这样就去用curl有点浪费,其实php自身已经可以实现这个功能,

需要在服务器端模拟 POST/GET 等请求,也就是在 PHP 程序中去实现模拟,改怎么做到呢?或者说,在 PHP 程序里,给你一个数组,如何将这个数组 POST/GET 到另外一个地址呢?当然,使用 CURL 很容易办到,那么如果不使用 CURL 库,又该怎么办呢?其实,在 PHP 里已经有相关的函数实现了,这个函数就是接下来要讲的 stream_context_create。

直接 show you the code,这是蕞好的方法:

$data = array; $data = http_build_query; //$postdata = http_build_query;$options = array);$url = \\\”http://www.nowamagic.net/test2.php\\\”;$context = stream_context_create;$result = file_get_contents;echo $result;http://www.nowamagic.net/test2.php 的代码为:$data = $_POST;echo \'<pre>\’;print_r;echo \'</pre>\’;123456789102212131415161718192021222324252627282930

运行结果为:

Array1234567

一些要点讲解:

以上程序用到了 http_build_query 函数,构造URL字符串。stream_context_create 是用来创建打开文件的上下文件选项的,比如用POST访问,使用代理,发送header等。就是 创建一个流,再举一个例子吧:

$context = stream_context_create). \\\”Content-type: application/x-www-form-urlencoded\\r\\n\\\”, \’content\’ => http_build_query), \’timeout\’ => 5, ), )); $ret = file_get_contents; 12345678910

stream_context_create创建的上下文选项即可用于流,也可用于文件系统。对于像 file_get_contents、file_put_contents、readfile直接使用文件名操作而没有文件句柄的函数来说更有用。stream_context_create增加header头只是一部份功能,还可以定义代理、超时等。这使得访问web的功能不弱于curl。stream_context_create 作用:创建并返回一个文本数据流并应用各种选项,可用于fopen,file_get_contents等过程的超时设置、代理服务器、请求方式、头信息设置的特殊过程。stream_context_create 还能通过增加 timeout 选项解决file_get_contents超时处理:

$opts = array);//创建数据流上下文$context = stream_context_create;$html =file_get_contents;//fopen输出文件指针处的所有剩余数据://fpassthru; //fclose前使用

海外精品引流脚本–最强海外引流  

官网:www.facebook18.com

唯一TG:https://t.me/Facebook181818

Facebook.png

更多海外引流脚本方案

如果你需要脚本演示、部署咨询或海外获客方案,可以通过下面入口继续查看。

官网首页 | 演示视频 | TG 在线客服 | TG 频道

相关阅读

© 版权声明
广告也精彩

相关文章