用户名:
密 码: 记住
您当前的位置:首页 > 网络编程 > php教程

php生成百度站点地图sitemap类函数

时间:2015-01-23  来源:西部数据  作者:西部数据

百度站点地图是百度工具中一个非常实用的功能,可以实时的让我们的网站给百度定时抓取,下面我们一起来看看由php生成的一个xml文档了.

公司网站是问答百科的网站、seo工程师提出需求说根据网站的问题来生成xml文件,每个xml文件包含5000条setmap格式数据,现在线上网站大约有70w条问题,所以说基本生成140个xml文件,还有一个索引文件,比如文件的名称以数字开头的,索引文件包含的内容就是每个xml文件的路径还有名称.

为什么要每个文件存储5000条数据呢,因为这是mysql的一个界限值、如果每次取多了以后可能会对线上用户访问造成影响,或者速度变慢,每个文件存储5000条数据,但是mysql selsect的时候不能每次取5000条、现在写的是每次取1000条,那这样逻辑就有点复杂.

先说一下实现:

首先取出1000条数据,可以灵活些成活的,方便以后修改,然后循环生成xml格式文件,file_puts_contens写入文件,然后再把生成的xml文件名称、取出问题的最小id、取出问题的最大id、取出问题的条数写出一个索引查询的txt文件当中,格式大概是这个样子的.

0,3146886,3145887,1000

发现最后面的条数是1000了吗、第一次select取出1000条数据、然后写入0.xml文件当中,把取出的xml文件名称、最小id、最大id、条数写入到索引查询txt中,第一次写入了1000条数据到0.xml、生成条数为1000,第二次查询的时候select语句会成为,where id > 取出的最大id,当前mysql为正序查询、如果为倒序、改成小于,limit 1000 这样的话又取出1000、然后修改索引查询txt的最小id、最大id、生成条数加到2000。以此类推等生成条数到了5000的时候再另起一行写入索引文件、类似这样.

0,3146886,3145887,5000

1,3148886,3147887,1000

这样写的话就减轻了服务器的压力,下面贴出实现代码,风格有点乱,代码如下:

  1. <?php 
  2. /* 
  3.  * SiteMap接口类 
  4.  */ 
  5.  
  6. class SitemapAction extends Action{ 
  7. private static $baseURL = ''//URL地址 
  8. private static $askMobileUrl = 'http://m.xxx.cn/ask/'; //问答移动版地址 
  9. private static $askPcUrl = "http://www.xxx.cn/ask/";   //问答pc地址 
  10.  
  11. private static $askZonePcUrl = "http://www.xxx.cn/ask/jingxuan/"; //问答精选Pc链接 
  12. private static $askZoneMobileUrl = "http://m.xxx.cn/ask/jx/"; //问答精选移动版链接 
  13.         //问答setmaps 
  14. public function askSetMap(){ 
  15. header('Content-type:text/html;charset=utf-8'); 
  16. //获取问题列表 
  17. $maxid = 0;    //索引文件最大id 
  18. $minid = 0;    //索引文件最小id 
  19. $psize = 1000; //数据库每次取数量 
  20. $maxXml = 5000; //xml写入记录数量 
  21. $where = array(); 
  22.  
  23. //读取索引文件 
  24. $index = APP_PATH.'setmapxml/Index.txt'
  25. //关联setmaps路径 
  26. $askXml = "../siteditu/ask/ask.xml"
  27. if(!file_exists($index)){ 
  28. $fp=fopen("$index""w+"); 
  29. if ( !is_writable($index) ){ 
  30. die("文件:" .$index"不可写,请检查!"); 
  31. fclose($fp); 
  32. }else
  33. //index.txt文件说明 0:xml文件名称(从1开始)、1:文件最大id、2:文件最小id、3:文件当前记录数 
  34. $fp = file($index); 
  35. $string = $fp[count($fp)-1];//显示最后一行 
  36. $arr = explode(','$string); 
  37. //索引文件数量是否小于$maxXml 
  38. //如果为第一次运行 
  39. if(!$arr[1]){ 
  40. $bs=1; 
  41. $filename=0; 
  42. }else
  43. if($arr && $arr[3]<$maxXml){ 
  44. $filename = $arr[0]; 
  45. $psize = $maxXml-$arr[3]>$psize?$psize:($maxXml-$arr[3]); 
  46. $bs = 0; 
  47. }else
  48. $filename = $arr[0]+1; 
  49. $bs=1; 
  50. $maxid = emptyempty($arr[1])?0:$arr[1]; 
  51. $minid = emptyempty($arr[2])?0:$arr[2]; 
  52. echo "文件名称:".$filename.".xml"."<br/ >"
  53. echo "最大id:".$maxid."<br />"
  54. echo "最小id:".$minid."<br />"
  55. echo "xml写入最大记录:".$maxXml."<br />"
  56. echo "数据库每次读取数量:".$psize."<br />"
  57. $list = self::$questionObj->getQuestionSetMap($where,$maxid,$psize); 
  58. if(count($list)<=0){ 
  59. echo 1;exit
  60. $record = $arr[3]+count($list); //索引文件写入记录数 
  61. $indexArr = array('filename'=>$filename,'maxid'=>$maxid,'minid'=>$minid,'maxXml'=>$record); 
  62.  
  63. $start = '<?xml version="1.0" encoding="UTF-8" ?> '.chr(10); 
  64. $start.="<urlset xmlns=\"http://www.sitemaps.org/schemas/sitemap/0.9\" xmlns:mobile=\"http://www.baidu.com/schemas/sitemap-mobile/1/\">".chr(10); 
  65.                                 $start.="</urlset>"
  66. foreach($list as $k=>$qinfo){ 
  67. if($k==0) 
  68. $indexArr['minid']=$qinfo['id']; 
  69. $qinfo['lastmod'] = substr($qinfo['lasttime'],0,10); 
  70. $qinfo['mobielurl'] = self::$askMobileUrl.$qinfo['id'].'.html'//移动版链接 
  71. $qinfo['pcurl'] = self::$askPcUrl.$qinfo['id'].'-p1.html'//pc版链接 
  72. $xml.=$this->askMapMobileUrl($qinfo); //移动版 
  73. $xml.=$this->askMapPcUrl($qinfo);     //pc版 
  74. $maxid = end($list); 
  75. $indexArr['maxid'] = $maxid['id']; 
  76. //更新索引文件 
  77. if($bs==0){ 
  78. //更新最后一行 
  79. $txt = file($index); 
  80. $txt[count($txt)-1] = $indexArr[filename].','.$indexArr[maxid].','.$indexArr['minid'].','.$indexArr['maxXml']."\r\n"
  81. $str = join($txt); 
  82. if (is_writable($index)) { 
  83. if (!$handle = fopen($index'w')) { 
  84. echo "不能打开文件 $index";exit
  85. exit
  86. if (fwrite($handle$str) === FALSE) { 
  87. echo "不能写入到文件 $index";exit
  88. exit
  89. echo "成功地写入文件$index"
  90. fclose($handle); 
  91. else { 
  92. echo "文件 $index 不可写";exit
  93. fclose($index); 
  94. }elseif($bs==1){ 
  95. //新加入一行 
  96. $fp = fopen($index,'a'); 
  97. $num = count($list); 
  98. $string = $indexArr[filename].','.$indexArr[maxid].','.$indexArr['minid'].','.$num."\r\n"
  99. if(fwrite($fp,$string)===false){ 
  100. echo "追加新行失败。。。";exit
  101. }else
  102. echo "追加成功<br />"
  103. //更新sitemap索引文件 
  104. $xmlData="<?xml version=\"1.0\"  encoding=\"UTF-8\" ?>".chr(10); 
  105. $xmlData.="<sitemapindex>".chr(10); 
  106. $xmlData.="</sitemapindex>"
  107. if(!file_exists($askXml)) 
  108. file_put_contents($askXml,$xmlData); 
  109. $fileList = file($askXml); 
  110. $fileCount = count($fileList); 
  111. $setmapxml = "http://www.xxx.cn/ask/setmapxml/{$filename}.xml";//正常问题链接 
  112. $txt = $this->setMapIndex($setmapxml); 
  113. $fileList[$fileCount-1]=$txt."</sitemapindex>"
  114. $newContent = ''
  115. foreach($fileList as $v){ 
  116. $newContent.= $v
  117. if(!file_put_contents($askXml,$newContent)) exit('无法写入数据'); 
  118. echo '已经写入文档' . $askXml
  119. fclose($fp); 
  120. $filename =  APP_PATH.'setmapxml/'.$filename.'.xml'
  121.                 //更新到xml文件中,增加结尾 
  122.                 if(!file_exists($filename)) 
  123.                         file_put_contents($filename,$start); 
  124.                 $xmlList = file($filename); 
  125.                 $xmlCount = count($fileList); 
  126.                 $xmlList[$xmlCount-1]=$xml."</urlset>"
  127.                 $newXml = ''
  128. foreach($xmlList as $v){ 
  129. $newXml.= $v
  130. if(!file_put_contents($filename$newXml))exit("写入数据错误"); 
  131.                 else 
  132.                     echo "写入数据成功<br />"
  133. //问答移动版xml 
  134. private function askMapMobileUrl($data){ 
  135. $xml = ''
  136. if(is_array($data)&&!emptyempty($data)){ 
  137. $xml .="<url>".chr(10); 
  138. if($data['id']) 
  139. $xml.='<loc>'.$data['mobielurl'].'</loc>'.chr(10);//移动版链接 
  140. $xml.="<mobile:mobile type=\"mobile\"/>".chr(10); 
  141. if($data['lastmod']) 
  142. $xml.='<lastmod>'.$data['lastmod'].'</lastmod>'.chr(10); 
  143. $xml.='<changefreq>daily</changefreq>'.chr(10); 
  144. $xml.='<priority>0.8</priority>'.chr(10);    
  145. $xml.="</url>".chr(10); 
  146. return $xml
  147. //问答pc版xml 
  148. private function askMapPcUrl($data){ 
  149. $xml = ''
  150. if(is_array($data)&&!emptyempty($data)){ 
  151. $xml.='<url>'.chr(10); 
  152. if($data['id']) 
  153. $xml.='<loc>'.$data['pcurl'].'</loc>'.chr(10);//pc版链接 
  154. if($data['lastmod']) 
  155. $xml.='<lastmod>'.$data['lastmod'].'</lastmod>'.chr(10); 
  156. $xml.='<changefreq>daily</changefreq>'.chr(10); 
  157. $xml.='<priority>0.8</priority>'.chr(10); 
  158. $xml.='</url>'.chr(10); 
  159. return $xml
  160. //setmaps索引文件 
  161. private function setMapIndex($filename){ 
  162. $xml = ''
  163. $xml.="<sitemap>".chr(10); 
  164. $xml.="<loc>{$filename}</loc>".chr(10); 
  165. $xml.="<lastmod>".date("Y-m-d",time())."</lastmod>".chr(10); 
  166. $xml.="</sitemap>".chr(10); 
  167. return $xml
  168. //开源代码phpfensi.com 
  169. ?> 

xml索引文件格式,代码如下:

  1. <?xml version="1.0"  encoding="UTF-8" ?> 
  2. <sitemapindex> 
  3. <sitemap> 
  4. <loc>http://www.phpfensi.com/ask/setmapxml/0.xml</loc> 
  5. <lastmod>2014-05-12</lastmod> 
  6. </sitemap> 
  7. <sitemap> 
  8. <loc>http://www.phpfensi.com/ask/setmapxml/1.xml</loc> 
  9. <lastmod>2014-05-12</lastmod> 
  10. </sitemap> 
  11. </sitemapindex> 

xml文件格式,每个文件需要存储5000条、现展示1条例子,实例代码如下:

  1. <?xml version="1.0" encoding="UTF-8" ?>  
  2. <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:mobile="http://www.baidu.com/schemas/sitemap-mobile/1/"> 
  3. <url> 
  4. <loc>http://m.xxx.cn/ask/7460.html</loc> 
  5. <mobile:mobile type="mobile"/> 
  6. <lastmod>2013-01-11</lastmod> 
  7. <changefreq>daily</changefreq> 
  8. <priority>0.8</priority> 
  9. </url> 
  10. <url> 
  11. </urlset> 
来顶一下
返回首页
返回首页
推荐资讯
WiFi太不安全:7岁女孩11分钟内入侵公共网络 WiFi太不安全:7岁女孩11分钟内入侵近期刚刚发布研究说WiFi网络能获得人们手机里多少私人信息,
不服跑个分?人工智能也出现“刷分”乱象 不服跑个分?人工智能也出现“刷分2014年,人工智能领域突然爆发,成为了科研和科技创业的热门
相关文章
    无相关信息
栏目更新
栏目热门