介紹：就是想實現簡單的ajax上傳數據，但是當數據量較大的時候，問題就一個一個接著來了，其實數據也不是很大，就是csv格式數據 不到5w條數據。大小5M,一開始認為這個很簡單，就是先上傳一下文件，然后讀取一下，存到數據庫就好了，結果，可能我比較菜，弄了半天做出這個功能。環境是linux.在整個調試過程下來，我覺找到問題點才是最重要的，但是一般當一段程序除了問題之后，我們都會覺得，這里有問題，那里有問題，其實這個時候，我們可以這樣，一步一步的來測試，找到問題點在哪，這樣處理問題來，就不會那樣束手無策了--

遇到的問題就從先到后的一一說吧。

問題1 按照我最初的想法，先上傳文件再讀取文件。這里問題就來了，當文件較大的時候上傳較慢，導致客戶看到的操作一直處于等待狀態，不人性化。

處理辦法：我是這樣做的，大神有更好的辦法，求介紹。我先把文件上傳上去，然后把文件存到一個特定的文件夾就叫 import吧?? ，然后返回一個這個文件名字。這樣就確保了文件是上傳成功的。并且我可以在他返回名字的這一步用js? 給客戶一個提示。然后就是ajax去請求php讀取文件，插入數據庫。可是問題來了。

問題2 當我用ajax去請求php讀取文件并插入數據庫的時候，遇到一個問題，就是ajax請求總是在1min的時候，斷掉。我一想 ，這應該是php的最大執行時間max_execution_time的原因吧，結果我修改為300秒。還是這樣，那我就認為會不會是apache的 最大get時間max_input_time呢，我就在代碼加一個 ini_set? 結果，用ini_get?? 查看max_input_time,用ini_set設置無效，還是60秒，在網上查了很多資料，還是不知道為啥。有大神知道的，請給我回復下。菜鳥先謝過了。那沒辦法，我只能去服務器把php.ini配置修改了。經理說不讓修改的，為了測試，偷偷改了--最后修改回來了。修改之后，測試，還是不行。還是到一分鐘 就執行超時。真的很納悶。不知道什么原因。求指教。那沒辦法。

這種辦法行不通了，對一個5m的文件只能分行讀取了。然后就是對代碼的一通修改，分行讀取是這樣操作的，先ajax請求，然后每次讀取2000條? 然后對這2000條數據進行處理，插入數據庫（文章最后介紹一個好用的分行讀取函數）。然后每次ajax執行完，返回一個狀態符，和本次讀取到的行數，然后下次接著讀。知道最后讀取完。這中間還遇到一個問題：就是當我對每一行數據進行查重的時候遇到的，是這樣的，我對得到的內容進行循環，然后查一下每行是否存在，當我判斷$count是否大于0 的時候，當已存在的時候，我用continue，執行下一次循環。但是當我在導入10000條的時候，總是在8000條的時候報錯說 服務器內部錯誤。很悶，不解問什么，結果只能用if? else代替了。納悶。一個小提醒：插入數據庫的時候 不要一條一條的插入，最好這樣 inset? into? aaa(`xx`,`xxx`)values('111','111'),('222','222')。這樣 速度會快很多。

行號讀取函數，SplFileObject這個類庫真的很好用推薦。有知道我的問題的，求大神指教。

function getFileLines($filename, $startLine, $endLine, $method = 'rb'){
????? $content = array();
????? $filename = DATA_PATH.DS.'import' . DS . $filename;
????? $count = $endLine - $startLine;
????? $fp = new SplFileObject($filename, $method);
????? $fp->seek($startLine); // 轉到第N行, seek方法參數從0開始計數
????? for ($ii = 0; $ii <= $count; ++$ii) {
??????????? $content[] = $fp->current(); // current()獲取當前行內容
??????????? $fp->next(); // 下一行
????? }
????? return array_filter($content); // array_filter過濾：false,null,''
}

轉載于:https://www.cnblogs.com/min-cj/p/ajax_import_5.html

總結

以上是生活随笔為你收集整理的ajax大数据导入的一系列问题处理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。