問題概述:
公司網(wǎng)站是問答百科的網(wǎng)站、seo工程師提出需求說根據(jù)網(wǎng)站的問題來生成xml文件。每個(gè)xml文件包含5000條setmap格式數(shù)據(jù)?,F(xiàn)在線上網(wǎng)站大約有70w條問題,所以說基本生成140個(gè)xml文件。還有一個(gè)索引文件。比如文件的名稱以數(shù)字開頭的。索引文件包含的內(nèi)容就是每個(gè)xml文件的路徑還有名稱。
為什么要每個(gè)文件存儲5000條數(shù)據(jù)呢,因?yàn)檫@是mysql的一個(gè)界限值、如果每次取多了以后可能會對線上用戶訪問造成影響,或者速度變慢。每個(gè)文件存儲5000條數(shù)據(jù),但是mysql selsect的時(shí)候不能每次取5000條、現(xiàn)在寫的是每次取1000條。那這樣邏輯就有點(diǎn)復(fù)雜。
實(shí)現(xiàn)方法:
首先取出1000條數(shù)據(jù)(可以靈活些成活的,方便以后修改),然后循環(huán)生成xml格式文件。file_puts_contens寫入文件。然后再把生成的xml文件名稱、取出問題的最小id、取出問題的最大id、取出問題的條數(shù)寫出一個(gè)索引查詢的txt文件當(dāng)中,格式大概是這個(gè)樣子的。
0,3146886,3145887,1000
發(fā)現(xiàn)最后面的條數(shù)是1000了嗎、第一次select取出1000條數(shù)據(jù)、然后寫入0.xml文件當(dāng)中。把取出的xml文件名稱、最小id、最大id、條數(shù)寫入到索引查詢txt中。第一次寫入了1000條數(shù)據(jù)到0.xml、生成條數(shù)為1000。第二次查詢的時(shí)候select語句會成為。 where id > 取出的最大id(當(dāng)前mysql為正序查詢、如果為倒序、改成小于) limit 1000 這樣的話又取出1000、然后修改索引查詢txt的最小id、最大id、生成條數(shù)加到2000。以此類推等生成條數(shù)到了5000的時(shí)候再另起一行寫入索引文件、類似這樣
0,3146886,3145887,5000
1,3148886,3147887,1000
這樣寫的話就減輕了服務(wù)器的壓力。
下面貼出實(shí)現(xiàn)代碼(風(fēng)格有點(diǎn)亂):
具體功能代碼如下:
代碼如下:
<?php
/*
* sitemap接口類
*/
class sitemapaction extends action{
private static $baseurl = ''; //url地址
private static $askmobileurl = 'http://m.xxx.cn/ask/'; //問答移動版地址
private static $askpcurl =; //問答pc地址
private static $askzonepcurl = ; //問答精選pc鏈接
private static $askzonemobileurl = ; //問答精選移動版鏈接
//問答setmaps
public function asksetmap(){
header('content-type:text/html;charset=utf-8');
//獲取問題列表
$maxid = 0; //索引文件最大id
$minid = 0; //索引文件最小id
$psize = 1000; //數(shù)據(jù)庫每次取數(shù)量
$maxxml = 5000; //xml寫入記錄數(shù)量
$where = array();
//讀取索引文件
$index = app_path.'setmapxml/index.txt';
//關(guān)聯(lián)setmaps路徑
$askxml = ../siteditu/ask/ask.xml;
if(!file_exists($index)){
$fp=fopen($index, w+);
if ( !is_writable($index) ){
die(文件: .$index. 不可寫,請檢查!);
}
fclose($fp);
}else{
//index.txt文件說明 0:xml文件名稱(從1開始)、1:文件最大id、2:文件最小id、3:文件當(dāng)前記錄數(shù)
$fp = file($index);
$string = $fp[count($fp)-1];//顯示最后一行
$arr = explode(',', $string);
}
//索引文件數(shù)量是否小于$maxxml
//如果為第一次運(yùn)行
if(!$arr[1]){
$bs=1;
$filename=0;
}else{
if($arr && $arr[3]<$maxxml){
$filename = $arr[0];
$psize = $maxxml-$arr[3]>$psize?$psize:($maxxml-$arr[3]);
$bs = 0;
}else{
$filename = $arr[0]+1;
$bs=1;
}
}
$maxid = empty($arr[1])?0:$arr[1];
$minid = empty($arr[2])?0:$arr[2];
echo 文件名稱:.$filename..xml.<br/ >;
echo 最大id:.$maxid.<br />;
echo 最小id:.$minid.<br />;
echo xml寫入最大記錄:.$maxxml.<br />;
echo 數(shù)據(jù)庫每次讀取數(shù)量:.$psize.<br />;
$list = self::$questionobj->getquestionsetmap($where,$maxid,$psize);
if(count($list)<=0){
echo 1;exit;
}
$record = $arr[3]+count($list); //索引文件寫入記錄數(shù)
$indexarr = array('filename'=>$filename,'maxid'=>$maxid,'minid'=>$minid,'maxxml'=>$record);
$start = '<?xml version=1.0 encoding=utf-8 ?> '.chr(10);
$start.=<urlset xmlns= xmlns:mobile=);
$start.=</urlset>;
foreach($list as $k=>$qinfo){
if($k==0)
$indexarr['minid']=$qinfo['id'];
$qinfo['lastmod'] = substr($qinfo['lasttime'],0,10);
$qinfo['mobielurl'] = self::$askmobileurl.$qinfo['id'].'.html'; //移動版鏈接
$qinfo['pcurl'] = self::$askpcurl.$qinfo['id'].'-p1.html'; //pc版鏈接
$xml.=$this->askmapmobileurl($qinfo); //移動版
$xml.=$this->askmappcurl($qinfo); //pc版
}
$maxid = end($list);
$indexarr['maxid'] = $maxid['id'];
//更新索引文件
if($bs==0){
//更新最后一行
$txt = file($index);
$txt[count($txt)-1] = $indexarr[filename].','.$indexarr[maxid].','.$indexarr['minid'].','.$indexarr['maxxml'].rn;
$str = join($txt);
if (is_writable($index)) {
if (!$handle = fopen($index, 'w')) {
echo 不能打開文件 $index;exit;
exit;
}
if (fwrite($handle, $str) === false) {
echo 不能寫入到文件 $index;exit;
exit;
}
echo 成功地寫入文件$index;
fclose($handle);
} else {
echo 文件 $index 不可寫;exit;
}
fclose($index);
}elseif($bs==1){
//新加入一行
$fp = fopen($index,'a');
$num = count($list);
$string = $indexarr[filename].','.$indexarr[maxid].','.$indexarr['minid'].','.$num.rn;
if(fwrite($fp,$string)===false){
echo 追加新行失敗。。。;exit;
}else{
echo 追加成功<br />;
//更新sitemap索引文件
$xmldata=<?xml version=1.0 encoding=utf-8 ?>.chr(10);
$xmldata.=<sitemapindex>.chr(10);
$xmldata.=</sitemapindex>;
if(!file_exists($askxml))
file_put_contents($askxml,$xmldata);
$filelist = file($askxml);
$filecount = count($filelist);
$setmapxml = 正常問題鏈接
$txt = $this->setmapindex($setmapxml);
$filelist[$filecount-1]=$txt.</sitemapindex>;
$newcontent = '';
foreach($filelist as $v){
$newcontent.= $v;
}
if(!file_put_contents($askxml,$newcontent)) exit('無法寫入數(shù)據(jù)');
echo '已經(jīng)寫入文檔' . $askxml;
}
fclose($fp);
}
$filename = app_path.'setmapxml/'.$filename.'.xml';
//更新到xml文件中,增加結(jié)尾
if(!file_exists($filename))
file_put_contents($filename,$start);
$xmllist = file($filename);
$xmlcount = count($filelist);
$xmllist[$xmlcount-1]=$xml.</urlset>;
$newxml = '';
foreach($xmllist as $v){
$newxml.= $v;
}
if(!file_put_contents($filename, $newxml))exit(寫入數(shù)據(jù)錯(cuò)誤);
else
echo 寫入數(shù)據(jù)成功<br />;
}
//問答移動版xml
private function askmapmobileurl($data){
$xml = '';
if(is_array($data)&&!empty($data)){
$xml .=<url>.chr(10);
if($data['id'])
$xml.='<loc>'.$data['mobielurl'].'</loc>'.chr(10);//移動版鏈接
$xml.=<mobile:mobile type=mobile/>.chr(10);
if($data['lastmod'])
$xml.='<lastmod>'.$data['lastmod'].'</lastmod>'.chr(10);
$xml.='<changefreq>daily</changefreq>'.chr(10);
$xml.='<priority>0.8</priority>'.chr(10);
$xml.=</url>.chr(10);
return $xml;
}
}
//問答pc版xml
private function askmappcurl($data){
$xml = '';
if(is_array($data)&&!empty($data)){
$xml.='<url>'.chr(10);
if($data['id'])
$xml.='<loc>'.$data['pcurl'].'</loc>'.chr(10);//pc版鏈接
if($data['lastmod'])
$xml.='<lastmod>'.$data['lastmod'].'</lastmod>'.chr(10);
$xml.='<changefreq>daily</changefreq>'.chr(10);
$xml.='<priority>0.8</priority>'.chr(10);
$xml.='</url>'.chr(10);
return $xml;
}
}
//setmaps索引文件
private function setmapindex($filename){
$xml = '';
$xml.=<sitemap>.chr(10);
$xml.=<loc>{$filename}</loc>.chr(10);
$xml.=<lastmod>.date(y-m-d,time()).</lastmod>.chr(10);
$xml.=</sitemap>.chr(10);
return $xml;
}
}
?>
xml索引文件格式如下:
代碼如下:
<?xml version=1.0 encoding=utf-8 ?>
<sitemapindex>
<sitemap>
<loc>http://www.xxx.cn/ask/setmapxml/0.xml</loc>
<lastmod>2014-05-12</lastmod>
</sitemap>
<sitemap>
<loc>http://www.xxx.cn/ask/setmapxml/1.xml</loc>
<lastmod>2014-05-12</lastmod>
</sitemap>
</sitemapindex>
xml文件格式(每個(gè)文件需要存儲5000條、現(xiàn)展示1條例子)
代碼如下:
<?xml version=1.0 encoding=utf-8 ?>
<urlset xmlns= xmlns:mobile=>
<url>
<loc>http://m.xxx.cn/ask/7460.html</loc>
<mobile:mobile type=mobile/>
<lastmod>2013-01-11</lastmod>
<changefreq>daily</changefreq>
<priority>0.8</priority>
</url>
<url>
</urlset>
至于sql代碼主要就是一個(gè)select語句,這里就不貼出來了。
更多信息請查看IT技術(shù)專欄