用户名:
密 码: 记住
您当前的位置:首页 > 网络编程 > php教程

PHP采集静态页面并把页面下载css,img,js保存

时间:2015-01-23  来源:西部数据  作者:西部数据

这是一个可以获取网页的html代码以及css,js,font和img资源的小工具,主要用来快速获取模板,如果你来不及设计UI或者看到不错的模板,则可以使用这个工具来抓取网页和提取资源文件,提取的内容会按相对路径来保存资源,因此你不必担心资源文件的错误url导入.

首页 index.php,代码如下:

  1. <!DOCTYPE html> 
  2. <html> 
  3. <head> 
  4. <meta name="author" content="flute" /> 
  5. <meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> 
  6. <title>网页抓取器</title> 
  7. <link rel="stylesheet" href="main.css" media="all" /> 
  8. <script type="text/javascript" src="jquery.js"></script> 
  9. <script type="text/javascript" src="main.js"></script> 
  10. </head> 
  11. <body> 
  12. <h1>Web Grabber</h1> 
  13. <hr /> 
  14. <div class="box"
  15.   <h2>Url</h2> 
  16.   <div class="form"
  17.     <input type="text" id="project" value="projectname" /> 
  18.     <input type="text" id="url" value="http://" size="60" /> 
  19.     <button class="submit" type="button">Get</button><span id="tip"></span> 
  20.   </div> www.phpfensi.com 
  21. </div> 
  22. <div class="box"
  23.   <span class="all" id="saveall">Save All</span> 
  24.   <h2>List</h2> 
  25.   <ul id="list"
  26.   </ul> 
  27. </div> 
  28. </body> 
  29. </html> 

抓取页面代码 grab.php,代码如下:

  1. <?PHP 
  2.  /* 
  3.  * flute 
  4.  * 2014/03/31 
  5.  */ 
  6.  
  7.  if(isset($_POST['url'])) { 
  8.   if(isset($_POST['project']) && !is_dir($_POST['project'])) mkdir($_POST['project'], 0777); 
  9.   echo json_encode(grab($_POST['url'])); 
  10.  } 
  11.  
  12.  function grab($url) { 
  13.   //$url = 'http://ldixing-wordpress.stor.sinaapp.com/uploads/leaves/test.html'; 
  14.   $data = array(); 
  15.   $file = preg_replace('/^.*//'''$url); 
  16.  
  17.   if(($content = file_get_contents($url)) !== false) { 
  18.  
  19.    if(isset($_POST['project'])) file_put_contents($_POST['project'].'/'.$file$content); 
  20.  
  21.    $pattern = '/<link.*?href=('|")(.*?.css)1.*?>/i'; 
  22.    if(preg_match_all($pattern$content$matches)) { 
  23.     $data['css'] = $matches[2]; 
  24.    } 
  25.  
  26.    $pattern = '/<script.*?src=('|")(.*?.js)1.*?>/i'; 
  27.    if(preg_match_all($pattern$content$matches)) { 
  28.     $data['js'] = $matches[2]; 
  29.    } 
  30.  
  31.    $pattern = '/<img.*?src=('|")(.*?)1.*?>/i'; 
  32.    if(preg_match_all($pattern$content$matches)) { 
  33.     $data['img'] = $matches[2]; 
  34.    } 
  35.  
  36.    $pattern = '/url(('|"|s)(.*?)1)/i'; 
  37.    if(preg_match_all($pattern$content$matches)) { 
  38.     $data['src'] = $matches[2]; 
  39.    } 
  40.   } 
  41.  
  42.   return $data
  43.  } 
  44.  
  45.  
  46.  function vardump($obj) { 
  47.   echo '<pre>'
  48.   print_r($obj); 
  49.   echo '</pre>'
  50.  } 
  51. ?> 

保存css,js,img等资源的页面 save.php,代码如下:

  1. <?PHP 
  2.  /* 
  3.  *  flute 
  4.  *  2014/03/31 
  5.  */ 
  6.  
  7.  if(isset($_POST['url']) && isset($_POST['project']) && isset($_POST['domain'])) { 
  8.   extract($_POST); 
  9.   $url = preg_replace('/?.*$/'''$url); 
  10.   $file = $url
  11.   $arr = explode('/'$file); 
  12.   $length = sizeof($arr); 
  13.   $filename = $arr[$length - 1]; 
  14.   $root = $project
  15.   $dir = $root
  16.  
  17.   if($domain == 'http') { 
  18.    $dir = $root.'/http'
  19.    if(!is_dir($dir)) mkdir($dir, 0777); 
  20.   } else { 
  21.    $file = $domain.'/'.$url
  22.    for($i = 0; $i < $length -1; $i++) { 
  23.     if(!emptyempty($arr[$i])) { 
  24.      $dir .= '/'.$arr[$i]; 
  25.      if(!is_dir($dir)) mkdir($dir, 0777); 
  26.     }//开源代码phpfensi.com 
  27.    } 
  28.   } 
  29.   if(!file_exists($dir.'/'.$filename) || filesize($dir.'/'.$filename) == 0) { 
  30.    $content = file_get_contents($file); 
  31.    file_put_contents($dir.'/'.$filename$content); 
  32.   } 
  33.  } 
  34. ?> 

使用方法:

1. 打开index页,输入项目名和要抓取的网址,网址必须是文件名结尾,如index.html;

2. 点Get按钮,得到当前页面所有的css,js,img等资源列表;

3. 点击css链接会获取css文件中的背景资源图片,附加在列表后头;

4. 点击Save All即可保存列表中所有的文件,并按相对路径生成;

5. 如果网页上有http远程文件,将会直接保存在http文件夹下;

6. Get和Save有时会失败,没关系重试几次即可。

来顶一下
返回首页
返回首页
推荐资讯
WiFi太不安全:7岁女孩11分钟内入侵公共网络 WiFi太不安全:7岁女孩11分钟内入侵近期刚刚发布研究说WiFi网络能获得人们手机里多少私人信息,
不服跑个分?人工智能也出现“刷分”乱象 不服跑个分?人工智能也出现“刷分2014年,人工智能领域突然爆发,成为了科研和科技创业的热门
相关文章
栏目更新
栏目热门