用户名:
密 码: 记住
您当前的位置:首页 > 网络编程 > php教程

php curl 抓取页面几种方法介绍

时间:2015-01-23  来源:西部数据  作者:西部数据

curl主要是抓取数据,当然我们可以用其他的方法来抓取,比如fsockopen,file_get_contents等,但是只能抓那些能直接访问的页面,如果要抓取有页面访问控制的页面,或者是登录以后的页面就比较困难了,是把PHP的主页取回放到一个文件中.

例 1,使用PHP的CURL模块取回PHP主页,代码如下:

  1. $ch = curl_init(); 
  2. curl_setopt($ch, CURLOPT_URL, "http://localhost/mytest/phpinfo.php"); 
  3. curl_setopt($ch, CURLOPT_HEADER, false); 
  4. curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //如果把这行注释掉的话,就会直接输出 
  5. $result=curl_exec($ch); 
  6. curl_close($ch);  

2,使用代理进行抓取

为什么要使用代理进行抓取呢?以google为例吧,如果去抓google的数据,短时间内抓的很频繁的话,你就抓取不到了,google对你的ip地址做限制这个时候,你可以换代理重新抓,代码如下:

  1. <?php 
  2.  $ch = curl_init(); 
  3.  curl_setopt($ch, CURLOPT_URL, "http://www.phpfensi.com"); 
  4.  curl_setopt($ch, CURLOPT_HEADER, false); 
  5.  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
  6.  curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, TRUE); 
  7.  curl_setopt($ch, CURLOPT_PROXY, 125.21.23.6:8080); 
  8.  //url_setopt($ch, CURLOPT_PROXYUSERPWD, 'user:password');如果要密码的话,加上这个 
  9.  $result=curl_exec($ch); 
  10.  curl_close($ch); 
  11.  ?> 

3,post数据后,抓取数据

单独说一下数据提交数据,因为用 curl的时候,很多时候会有数据交互的,所以比较重要的,代码如下:

  1. <?php 
  2.  $ch = curl_init(); 
  3.  /*在这里需要注意的是,要提交的数据不能是二维数组或者更高 
  4.  *例如array('name'=>serialize(array('tank','zhang')),'sex'=>1,'birth'=>'20101010')//开源代码phpfensi.com 
  5.  *例如array('name'=>array('tank','zhang'),'sex'=>1,'birth'=>'20101010')这样会报错的*/ 
  6.  $data = array('name' => 'test''sex'=>1,'birth'=>'20101010'); 
  7.  curl_setopt($ch, CURLOPT_URL, 'http://localhost/mytest/curl/upload.php'); 
  8.  curl_setopt($ch, CURLOPT_POST, 1); 
  9.  curl_setopt($ch, CURLOPT_POSTFIELDS, $data); 
  10.  curl_exec($ch); 
  11.  ?> 

在 upload.php文件中,print_r($_POST);利用curl就能抓取出upload.php输出的内容Array ( [name] => test [sex] => 1 [birth] => 20101010 )

4,抓取一些有页面访问控制的页面,页面访问控制的3种方法.

分类目录: apache/nginx

apache 页面访问控制:为什么要进行这样的控制呢,给不同的人看不同的东西,对信息进行保护,虽然这种保护比较低级,多多少少还是有点用的.

一,用htpasswd命令,产生权限控制文件,代码如下:

  1. 1.[zhangy@BlackGhost test]$ htpasswd -c ./access tank  //生成一个密码文件 ,-c是新建一个文件  htpasswd -h可查看    
  2. 2.New password:            //提示输入密码    
  3. 3.Re-type new password:        //重复密码    
  4. 4.Adding password for user tank    
  5. 5.[zhangy@BlackGhost test]$ cat access    //查看一下密码文件    
  6. 6.tank:Uj5B3qIF/BNdI      //用户名是明文的,密码是加密的。   
  7. [zhangy@BlackGhost test]$ htpasswd -c ./access tank  //生成一个密码文件 ,-c是新建一个文件  htpasswd -h可查看 
  8. New password:            //提示输入密码 
  9. Re-type new password:        //重复密码 
  10. Adding password for user tank 
  11. [zhangy@BlackGhost test]$ cat access    //查看一下密码文件 
  12. tank:Uj5B3qIF/BNdI      //用户名是明文的,密码是加密的。到这儿密码文件是生成好了。 

二,页面访问控制方法

1,能过修改httpd.conf或者是httpd-vhosts.conf来进行配置,代码如下:

  1. listen 10004 
  2. NameVirtualHost *:10004 
  3. <VirtualHost *:10004> 
  4.  DocumentRoot "/home/zhangy/www/test" 
  5.  ServerName *:10004 
  6.  BandwidthModule On 
  7.  ForceBandWidthModule On 
  8.  Bandwidth all 1024000 
  9.  MinBandwidth all 50000 
  10.  LargeFileLimit * 500 50000 
  11.  MaxConnection all 2 
  12.  
  13.  ErrorLog "/home/zhangy/apache/blog.51yip.com.com-error.log" 
  14.  CustomLog "/home/zhangy/apache/blog.51yip.com-access.log" common 
  15. //看一下,下面的配置 
  16.  <Directory /home/zhangy/www/test> 
  17.  AuthType Basic 
  18.  AuthName "access test" 
  19.  AuthUserFile /home/zhangy/www/test/access 
  20.  Require valid-user 
  21.  </Directory> 
  22.  
  23. </VirtualHost> 

2,我们可以利用.htaccess文件来进行控制,在test的根目录下面建一个.htaccess的文件,代码如下:

  1. [zhangy@BlackGhost test]$ vi .htaccess&nbsp;&nbsp; //打开个文件 ,添加权限内容 
  2. [zhangy@BlackGhost test]$ cat .htaccess&nbsp; //下面就是.htaccess的内容 
  3.  AuthType Basic 
  4.  AuthName "access test" 
  5.  AuthUserFile /home/zhangy/www/test/access 
  6.  Require valid-user 

3,不用密码文件,也可以进行访问控制,代码如下:

  1. define('ADMIN_USERNAME','tank'); &nbsp;&nbsp; &nbsp;// Admin Username 
  2. define('ADMIN_PASSWORD','tank'); &nbsp;&nbsp;&nbsp; &nbsp;// Admin Password 
  3.  
  4. //log check 
  5. if (!isset($_SERVER['PHP_AUTH_USER']) || !isset($_SERVER['PHP_AUTH_PW']) || 
  6.  $_SERVER['PHP_AUTH_USER'] != ADMIN_USERNAME ||$_SERVER['PHP_AUTH_PW'] != ADMIN_PASSWORD) { 
  7.  Header("WWW-Authenticate: Basic realm="access test""); 
  8.  Header("HTTP/1.0 401 Unauthorized"); 
  9.  
  10.  echo &lt;&lt;&lt;EOB 
  11.  &lt;html&gt;&lt;body&gt; 
  12.  &lt;h1&gt;Rejected!&lt;/h1&gt; 
  13.  &lt;big&gt;Wrong Username or Password!&lt;/big&gt; 
  14.  &lt;/body&gt;&lt;/html&gt; 
  15. EOB; 
  16.  exit

curl相关函数列表:

curl_init — 初始化一个CURL会话

curl_setopt — 为CURL调用设置一个选项

curl_exec — 执行一个CURL会话

curl_close — 关闭一个CURL会话

curl_version — 返回当前CURL版本

curl_init — 初始化一个CURL会话

描述:int curl_init ([string url])

curl_init()函数将初始化一个新的会话,返回一个CURL句柄供 curl_setopt(), curl_exec(),和 curl_close() 函数使用,如果可选参数被提供,那么CURLOPT_URL选项将被设置成这个参数的值,你可以使用curl_setopt()函数人工设置.

例 1.初始化一个新的CURL会话,且取回一个网页,代码如下:

  1. $ch = curl_init(); 
  2. curl_setopt ($ch, CURLOPT_URL, “http://www.phpfensi.com/”); 
  3. curl_setopt ($ch, CURLOPT_HEADER, 0); 
  4. curl_exec ($ch); 
  5. curl_close ($ch);
来顶一下
返回首页
返回首页
推荐资讯
WiFi太不安全:7岁女孩11分钟内入侵公共网络 WiFi太不安全:7岁女孩11分钟内入侵近期刚刚发布研究说WiFi网络能获得人们手机里多少私人信息,
不服跑个分?人工智能也出现“刷分”乱象 不服跑个分?人工智能也出现“刷分2014年,人工智能领域突然爆发,成为了科研和科技创业的热门
相关文章
栏目更新
栏目热门