php利用fopen实现简单的网页采集程序

这个采集程序是一个非常简单的程序了,个人认为不适合于大量数据采集了单页还是没有问题了,因为fopen函数对于远程文件操作与多线程时是非常的不理想的,这个只是一个作者写的觉得好玩合出来了,代码如下:

1. /** 
2. * 根据URL采集网页内容 
3. * 
4. * @param string $url 链接地址 
5. * @return string 
6. */ 
7.  
8. private function fetchbyurl($url){ 
9. $handle = fopen($url, ‘r’); 
10. $content = ”; 
11. while (!feof($handle)){ 
12. $content .= fgets($handle, 10000); 
13. } 
14. return $content; 
15. //?$this->utf8_iconv($content):”; 
16. } 
17.  
18. /*获取所有匹配的内容 
19. * @param string $str 内容 
20. * @param string $start 起始匹配 
21. * @param string $end 中止匹配 
22. * @return array 
23. */ 
24.  
25. private function utf8_iconv($content){ 
26. return iconv(‘GBK’, ‘UTF-8′, $content); 
27. } 
28. private function strCutAll($str,$start,$end){ 
29. $content = explode($start,$str); 
30. $matchs = array(); 
31. $sum = count($content); 
32. for( $i = 1;$i < $sum;$i++ ){ 
33. $tmp = explode($end,$content[$i]); 
34. $matchs[] = $tmp[0]; 
35. unset($tmp); 
36. } 
37. return $matchs; 
38. } 
39.  
40. /*获取第一个匹配的内容 
41. * @param string $str 内容 
42. * @param string $start 起始匹配 
43. * @param string $end 中止匹配 
44. * @return string 
45. */ 
46. private function strCut($str, $start, $end){ 
47. $content = strstr( $str, $start ); 
48. $content = substr( $content, strlen( $start ), strpos( $content, $end ) - strlen( $start ) ); 
49. return $content; 
50. } 

测试,实例代码如下:

1. /*采集程序*/header("content-Type: text/html; charset=utf-8"); //$nr = file_get_contents(‘/webback/php/php-yi-ju-hua-hou-men-zhuan’); $nr = $this->fetchbyurl(‘/webback/php/php-yi-ju-hua-hou-men-zhuan’);//推荐，还可以用curl dump($this->strCut($nr,’<div class="context">’,'<div class="betterrelated">’));//得到内容。需要进一步过滤用（preg_match_all） dump($this->strCutAll($nr,’<title>’,'</title>’)); 得到标题 
2. //开源代码phpfensi.com