php+ajax導(dǎo)入大數(shù)據(jù)時(shí)產(chǎn)生的問題處理
來源:易賢網(wǎng) 閱讀:660 次 日期:2014-10-08 13:41:31
溫馨提示:易賢網(wǎng)小編為您整理了“php+ajax導(dǎo)入大數(shù)據(jù)時(shí)產(chǎn)生的問題處理”,方便廣大網(wǎng)友查閱!

遇到的問題就從先到后的一一說吧。

問題1 按照我最初的想法,先上傳文件再讀取文件。這里問題就來了,當(dāng)文件較大的時(shí)候上傳較慢,導(dǎo)致客戶看到的操作一直處于等待狀態(tài),不人性化。

處理辦法:我是這樣做的,大神有更好的辦法,求介紹。我先把文件上傳上去,然后把文件存到一個(gè)特定的文件夾就叫 import吧 ,然后返回一個(gè)這個(gè)文件名字。這樣就確保了文件是上傳成功的。并且我可以在他返回名字的這一步用js 給客戶一個(gè)提示。然后就是ajax去請(qǐng)求php讀取文件,插入數(shù)據(jù)庫(kù)??墒菃栴}來了。

問題2 當(dāng)我用ajax去請(qǐng)求php讀取文件并插入數(shù)據(jù)庫(kù)的時(shí)候,遇到一個(gè)問題,就是ajax請(qǐng)求總是在1min的時(shí)候,斷掉。我一想 ,這應(yīng)該是php的最大執(zhí)行時(shí)間max_execution_time的原因吧,結(jié)果我修改為300秒。還是這樣,那我就認(rèn)為會(huì)不會(huì)是apache的 最大get時(shí)間max_input_time呢,我就在代碼加一個(gè) ini_set 結(jié)果,用ini_get 查看max_input_time,用ini_set設(shè)置無效,還是60秒,在網(wǎng)上查了很多資料,還是不知道為啥。有大神知道的,請(qǐng)給我回復(fù)下。菜鳥先謝過了。那沒辦法,我只能去服務(wù)器把php.ini配置修改了。經(jīng)理說不讓修改的,為了測(cè)試,偷偷改了--最后修改回來了。修改之后,測(cè)試,還是不行。還是到一分鐘 就執(zhí)行超時(shí)。真的很納悶。不知道什么原因。求指教。那沒辦法。

這種辦法行不通了,對(duì)一個(gè)5m的文件只能分行讀取了。然后就是對(duì)代碼的一通修改,分行讀取是這樣操作的,先ajax請(qǐng)求,然后每次讀取2000條 然后對(duì)這2000條數(shù)據(jù)進(jìn)行處理,插入數(shù)據(jù)庫(kù)(文章最后介紹一個(gè)好用的分行讀取函數(shù))。然后每次ajax執(zhí)行完,返回一個(gè)狀態(tài)符,和本次讀取到的行數(shù),然后下次接著讀。知道最后讀取完。這中間還遇到一個(gè)問題:就是當(dāng)我對(duì)每一行數(shù)據(jù)進(jìn)行查重的時(shí)候遇到的,是這樣的,我對(duì)得到的內(nèi)容進(jìn)行循環(huán),然后查一下每行是否存在,當(dāng)我判斷$count是否大于0 的時(shí)候,當(dāng)已存在的時(shí)候,我用continue,執(zhí)行下一次循環(huán)。但是當(dāng)我在導(dǎo)入10000條的時(shí)候,總是在8000條的時(shí)候報(bào)錯(cuò)說 服務(wù)器內(nèi)部錯(cuò)誤。很悶,不解問什么,結(jié)果只能用if else代替了。納悶。一個(gè)小提醒:插入數(shù)據(jù)庫(kù)的時(shí)候 不要一條一條的插入,最好這樣 inset into aaa(`xx`,`xxx`)values('111','111'),('222','222')。這樣 速度會(huì)快很多。

行號(hào)讀取函數(shù),splfileobject這個(gè)類庫(kù)真的很好用推薦。有知道我的問題的,求大神指教。

代碼如下:

function getfilelines($filename, $startline, $endline, $method = 'rb'){

$content = array();

$filename = data_path.ds.'import' . ds . $filename;

$count = $endline - $startline;

$fp = new splfileobject($filename, $method);

$fp->seek($startline); // 轉(zhuǎn)到第n行, seek方法參數(shù)從0開始計(jì)數(shù)

for ($ii = 0; $ii <= $count; ++$ii) {

$content[] = $fp->current(); // current()獲取當(dāng)前行內(nèi)容

$fp->next(); // 下一行

}

return array_filter($content); // array_filter過濾:false,null,''

}

更多信息請(qǐng)查看IT技術(shù)專欄

更多信息請(qǐng)查看網(wǎng)絡(luò)編程
由于各方面情況的不斷調(diào)整與變化,易賢網(wǎng)提供的所有考試信息和咨詢回復(fù)僅供參考,敬請(qǐng)考生以權(quán)威部門公布的正式信息和咨詢?yōu)闇?zhǔn)!

2025國(guó)考·省考課程試聽報(bào)名

  • 報(bào)班類型
  • 姓名
  • 手機(jī)號(hào)
  • 驗(yàn)證碼
關(guān)于我們 | 聯(lián)系我們 | 人才招聘 | 網(wǎng)站聲明 | 網(wǎng)站幫助 | 非正式的簡(jiǎn)要咨詢 | 簡(jiǎn)要咨詢須知 | 新媒體/短視頻平臺(tái) | 手機(jī)站點(diǎn) | 投訴建議
工業(yè)和信息化部備案號(hào):滇ICP備2023014141號(hào)-1 云南省教育廳備案號(hào):云教ICP備0901021 滇公網(wǎng)安備53010202001879號(hào) 人力資源服務(wù)許可證:(云)人服證字(2023)第0102001523號(hào)
云南網(wǎng)警備案專用圖標(biāo)
聯(lián)系電話:0871-65099533/13759567129 獲取招聘考試信息及咨詢關(guān)注公眾號(hào):hfpxwx
咨詢QQ:1093837350(9:00—18:00)版權(quán)所有:易賢網(wǎng)
云南網(wǎng)警報(bào)警專用圖標(biāo)