遇到的問題就從先到后的一一說吧。
問題1 按照我最初的想法,先上傳文件再讀取文件。這里問題就來了,當(dāng)文件較大的時(shí)候上傳較慢,導(dǎo)致客戶看到的操作一直處于等待狀態(tài),不人性化。
處理辦法:我是這樣做的,大神有更好的辦法,求介紹。我先把文件上傳上去,然后把文件存到一個(gè)特定的文件夾就叫 import吧 ,然后返回一個(gè)這個(gè)文件名字。這樣就確保了文件是上傳成功的。并且我可以在他返回名字的這一步用js 給客戶一個(gè)提示。然后就是ajax去請(qǐng)求php讀取文件,插入數(shù)據(jù)庫(kù)??墒菃栴}來了。
問題2 當(dāng)我用ajax去請(qǐng)求php讀取文件并插入數(shù)據(jù)庫(kù)的時(shí)候,遇到一個(gè)問題,就是ajax請(qǐng)求總是在1min的時(shí)候,斷掉。我一想 ,這應(yīng)該是php的最大執(zhí)行時(shí)間max_execution_time的原因吧,結(jié)果我修改為300秒。還是這樣,那我就認(rèn)為會(huì)不會(huì)是apache的 最大get時(shí)間max_input_time呢,我就在代碼加一個(gè) ini_set 結(jié)果,用ini_get 查看max_input_time,用ini_set設(shè)置無效,還是60秒,在網(wǎng)上查了很多資料,還是不知道為啥。有大神知道的,請(qǐng)給我回復(fù)下。菜鳥先謝過了。那沒辦法,我只能去服務(wù)器把php.ini配置修改了。經(jīng)理說不讓修改的,為了測(cè)試,偷偷改了--最后修改回來了。修改之后,測(cè)試,還是不行。還是到一分鐘 就執(zhí)行超時(shí)。真的很納悶。不知道什么原因。求指教。那沒辦法。
這種辦法行不通了,對(duì)一個(gè)5m的文件只能分行讀取了。然后就是對(duì)代碼的一通修改,分行讀取是這樣操作的,先ajax請(qǐng)求,然后每次讀取2000條 然后對(duì)這2000條數(shù)據(jù)進(jìn)行處理,插入數(shù)據(jù)庫(kù)(文章最后介紹一個(gè)好用的分行讀取函數(shù))。然后每次ajax執(zhí)行完,返回一個(gè)狀態(tài)符,和本次讀取到的行數(shù),然后下次接著讀。知道最后讀取完。這中間還遇到一個(gè)問題:就是當(dāng)我對(duì)每一行數(shù)據(jù)進(jìn)行查重的時(shí)候遇到的,是這樣的,我對(duì)得到的內(nèi)容進(jìn)行循環(huán),然后查一下每行是否存在,當(dāng)我判斷$count是否大于0 的時(shí)候,當(dāng)已存在的時(shí)候,我用continue,執(zhí)行下一次循環(huán)。但是當(dāng)我在導(dǎo)入10000條的時(shí)候,總是在8000條的時(shí)候報(bào)錯(cuò)說 服務(wù)器內(nèi)部錯(cuò)誤。很悶,不解問什么,結(jié)果只能用if else代替了。納悶。一個(gè)小提醒:插入數(shù)據(jù)庫(kù)的時(shí)候 不要一條一條的插入,最好這樣 inset into aaa(`xx`,`xxx`)values('111','111'),('222','222')。這樣 速度會(huì)快很多。
行號(hào)讀取函數(shù),splfileobject這個(gè)類庫(kù)真的很好用推薦。有知道我的問題的,求大神指教。
代碼如下:
function getfilelines($filename, $startline, $endline, $method = 'rb'){
$content = array();
$filename = data_path.ds.'import' . ds . $filename;
$count = $endline - $startline;
$fp = new splfileobject($filename, $method);
$fp->seek($startline); // 轉(zhuǎn)到第n行, seek方法參數(shù)從0開始計(jì)數(shù)
for ($ii = 0; $ii <= $count; ++$ii) {
$content[] = $fp->current(); // current()獲取當(dāng)前行內(nèi)容
$fp->next(); // 下一行
}
return array_filter($content); // array_filter過濾:false,null,''
}
更多信息請(qǐng)查看IT技術(shù)專欄