用户名:
密 码: 记住
您当前的位置:首页 > 网络编程 > php教程

php模仿百度spider蜘蛛爬虫程序例子

时间:2015-01-23  来源:西部数据  作者:西部数据

下面来看一个php模仿百度spider蜘蛛爬虫程序例子,这个代码写得比较高级了我就不分析了,大家有需要的可以进入参考一下吧.

自己用PHP写了个爬虫,基本功能已经实现,有兴趣的可以试试

脚本缺点:1.未对静态页面进行去重处理,2.未对页面内js操作后的结果进行处理

php模仿百度spider蜘蛛爬虫程序例子代码如下:

  1. <?php 
  2. #加载页面 
  3. function curl_get($url){ 
  4.         $ch=curl_init(); 
  5.         curl_setopt($ch,CURLOPT_URL,$url); 
  6.         curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
  7.         curl_setopt($ch,CURLOPT_HEADER,1); 
  8.         $result=curl_exec($ch); 
  9.         $code=curl_getinfo($ch,CURLINFO_HTTP_CODE); 
  10.  if($code!='404' && $result){ 
  11.   return $result
  12.  } 
  13.         curl_close($ch); 
  14. #获取页面url链接 
  15. function get_page_urls($spider_page_result,$base_url){ 
  16.   $get_url_result=preg_match_all("/<[a|A].*?href=[\'\"]{0,1}([^>\'\"\ ]*).*?>/",$spider_page_result,$out); 
  17.   if($get_url_result){ 
  18.    return $out[1]; 
  19.   }else
  20.    return
  21.   } 
  22. #相对路径转绝对路径 
  23. function xdtojd($base_url,$url_list){ 
  24.  if(is_array($url_list)){ 
  25.   foreach($url_list as $url_item){ 
  26.    if(preg_match("/^(http:\/\/|https:\/\/|javascript:)/",$url_item)){ 
  27.     $result_url_list[]=$url_item
  28.    }else { 
  29.     if(preg_match("/^\//",$url_item)){ 
  30.      $real_url = $base_url.$url_item
  31.     }else
  32.      $real_url = $base_url."/".$url_item
  33.     } 
  34.     #$real_url = 'http://www.sumpay.cn/'.$url_item;   
  35.                   $result_url_list[] = $real_url;   
  36.    } 
  37.   } 
  38.   return $result_url_list
  39.  }else
  40.   return
  41.  } 
  42. #删除其他站点url 
  43. function other_site_url_del($jd_url_list,$url_base){ 
  44.  
  45.  if(is_array($jd_url_list)){ 
  46.   foreach($jd_url_list as $all_url){ 
  47.    echo $all_url
  48.    if(strpos($all_url,$url_base)===0){ 
  49.     $all_url_list[]=$all_url
  50.    } 
  51.  
  52.   } 
  53.   return $all_url_list
  54.  }else
  55.   return
  56.  } 
  57. #删除相同URL 
  58. function url_same_del($array_url){ 
  59.  
  60.  if(is_array($array_url)){ 
  61.   $insert_url=array(); 
  62.   $pizza=file_get_contents("/tmp/url.txt"); 
  63.                 if($pizza){ 
  64.    $pizza=explode("\r\n",$pizza); 
  65.    foreach($array_url as $array_value_url){ 
  66.     if(!in_array($array_value_url,$pizza)){ 
  67.      $insert_url[]=$array_value_url;  
  68.     } 
  69.    } 
  70.    if($insert_url){ 
  71.                                 foreach($insert_url as $key => $insert_url_value){ 
  72.                                         #这里只做了参数相同去重处理 
  73.      $update_insert_url=preg_replace('/=[^&]*/','=leesec',$insert_url_value); 
  74.                                         foreach($pizza as $pizza_value){ 
  75.                                          $update_pizza_value=preg_replace('/=[^&]*/','=leesec',$pizza_value); 
  76.                                                 if($update_insert_url==$update_pizza_value){ 
  77.                                                  unset($insert_url[$key]); 
  78.                                                         continue
  79.                                                 } 
  80.                                         } 
  81.     } 
  82.    } 
  83.    
  84.   }else
  85.    $insert_url=array(); 
  86.    $insert_new_url=array(); 
  87.    $insert_url=$array_url
  88.    foreach($insert_url as $insert_url_value){ 
  89.     $update_insert_url=preg_replace('/=[^&]*/','=leesec',$insert_url_value); 
  90.     $insert_new_url[]=$update_insert_url;    
  91.    } 
  92.    $insert_new_url=array_unique($insert_new_url); 
  93.    foreach($insert_new_url as $key => $insert_new_url_val){ 
  94.     $insert_url_bf[]=$insert_url[$key]; 
  95.    }  
  96.    $insert_url=$insert_url_bf
  97.   } 
  98.   return $insert_url
  99.  }else
  100.   return;  
  101.  } 
  102. $current_url=$argv[1]; 
  103. $fp_puts = fopen("/tmp/url.txt","ab");//记录url列表   
  104. $fp_gets = fopen("/tmp/url.txt","r");//保存url列表   
  105. $url_base_url=parse_url($current_url); 
  106. if($url_base_url['scheme']==""){ 
  107.  $url_base="http://".$url_base_url['host']; 
  108. }else
  109.  $url_base=$url_base_url['scheme']."://".$url_base_url['host']; 
  110. do
  111.  $spider_page_result=curl_get($current_url); 
  112.  #var_dump($spider_page_result); 
  113.  $url_list=get_page_urls($spider_page_result,$url_base); 
  114.  #var_dump($url_list); 
  115.  if(!$url_list){ 
  116.   continue
  117.  } 
  118.  $jd_url_list=xdtojd($url_base,$url_list); 
  119.  #var_dump($jd_url_list); 
  120.  $result_url_arr=other_site_url_del($jd_url_list,$url_base); 
  121.  var_dump($result_url_arr); 
  122.  $result_url_arr=url_same_del($result_url_arr);  
  123.  #var_dump($result_url_arr);  
  124.  if(is_array($result_url_arr)){   
  125.      $result_url_arr=array_unique($result_url_arr); 
  126.             foreach($result_url_arr as $new_url) {   
  127.                 fputs($fp_puts,$new_url."\r\n");   
  128.             }//开源代码phpfensi.com 
  129.  }   
  130.  
  131. while ($current_url = fgets($fp_gets,1024));//不断获得url   
  132. preg_match_all("/<a[^>]+href=[\"']([^\"']+)[\"'][^>]+>/",$spider_page_result,$out); 
  133. echo a href 
  134. #var_dump($out[1]); 
  135. ?> 
来顶一下
返回首页
返回首页
推荐资讯
WiFi太不安全:7岁女孩11分钟内入侵公共网络 WiFi太不安全:7岁女孩11分钟内入侵近期刚刚发布研究说WiFi网络能获得人们手机里多少私人信息,
不服跑个分?人工智能也出现“刷分”乱象 不服跑个分?人工智能也出现“刷分2014年,人工智能领域突然爆发,成为了科研和科技创业的热门
相关文章
    无相关信息
栏目更新
栏目热门