用户名:
密 码: 记住
您当前的位置:首页 > 网络编程 > php教程

php file_get_contents 设置代理抓取页面示例

时间:2015-01-23  来源:西部数据  作者:西部数据

file_get_contents函数在php中可以直接打开本地文件也可以直接抓取远程服务器文件,如果简单的采集我们可以使用file_get_contents直接来操作,如果有防采集我们可能需要代理来操作,下面我来介绍file_get_contents抓取页面示例.

例1,普通页面获取

例如,访问54master论坛,想抓取首页里 所有h3标记内的元素,代码如下:

  1. $url=http://www.phpfensi.com; 
  2. $contents=@file_get_contents($url); 
  3. //preg_match_all("/<p class="right forumcount">(.*?)</p>/is",$contents,$content); 
  4. preg_match_all("/<h3>(.*?)</h3>/is",$contents,$content); 
  5. print_r($content[0]); 

例2,设置代码IP去采集数据

使用file_get_contents 和 stream_context_create 即可,代码如下:

  1. $aContext = array(  
  2.     'http' => array(  
  3.         'proxy' => 'tcp://192.168.0.2:3128',  //这里设置你要使用的代理ip及端口号  
  4.         'request_fulluri' => true,  
  5.     ),  
  6. );  
  7. $cxContext = stream_context_create($aContext);  
  8. $sFile = file_get_contents("http://www.phpfensi.com", False, $cxContext);  
  9. echo $sFile

以上代码适用于正常情况,但是如果目标页面需要登录或需要认证信息才能访问的话,可以加多一句代码,代码如下:

  1. $auth = base64_encode('LOGIN:PASSWORD');//LOGIN:PASSWORD 这里是你的账户名及密码  
  2. $aContext = array(  
  3.     'http' => array(  
  4.         'proxy' => 'tcp://192.168.0.2:3128',//这里设置你要使用的代理ip及端口号  
  5.         'request_fulluri' => true,  
  6.         'header' => "Proxy-Authorization: Basic $auth",  
  7.     ),  
  8. );  
  9. $cxContext = stream_context_create($aContext);  
  10. $sFile = file_get_contents(http://www.phpfensi.com, False, $cxContext);  
  11. echo $sFile

这样就可以使用代理来抓取页面或文件了.

来顶一下
返回首页
返回首页
推荐资讯
WiFi太不安全:7岁女孩11分钟内入侵公共网络 WiFi太不安全:7岁女孩11分钟内入侵近期刚刚发布研究说WiFi网络能获得人们手机里多少私人信息,
不服跑个分?人工智能也出现“刷分”乱象 不服跑个分?人工智能也出现“刷分2014年,人工智能领域突然爆发,成为了科研和科技创业的热门
相关文章
栏目更新
栏目热门