生活随笔
收集整理的這篇文章主要介紹了
PHP读取大文件的几种方法
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
場景：PHP讀取超大文件，例如1G的日志文件，我這里使用的是400M的access.log文件
1、使用file直接讀取
<?php
$starttime=microtime_float();ini_set('memory_limit', '-1');
$file = 'testfile.txt';$data = file($file);
$line = $data[count($data) - 1000];
$endtime=microtime_float();echo count($data),"<br/>";
echo $endtime-$starttime;function microtime_float(){list($usec, $sec) = explode(" ", microtime());return ((float)$usec + (float)$sec);
}
?>
?
運(yùn)行結(jié)果：10127784 行 ? 共使用了，7.8764359951s
我的電腦是3G內(nèi)存，此方法不是推薦使用，因為需要把文件全部載入內(nèi)存
2、使用linux命令? tail
<?php$starttime=microtime_float();$file = 'testfile.txt';
$file = escapeshellarg($file); // 對命令行參數(shù)進(jìn)行安全轉(zhuǎn)義
$line = `tail -n 100 $file`;echo $line,"<br/>";$endtime=microtime_float();
echo $endtime-$starttime;function microtime_float(){list($usec, $sec) = explode(" ", microtime());return ((float)$usec + (float)$sec);
} //end
?
運(yùn)行結(jié)果：只使用了幾毫秒、輕松搞定、這種方法不能在windows下使用
3、使用fseek函數(shù)
這種方式是最為普遍的方式，它不需要將文件的內(nèi)容全部讀入內(nèi)容，因為PHP是C寫的，所以實現(xiàn)的時候也類似C讀取文件，通過指針的移動，所以效率是相當(dāng)高效的。在使用fseek來對文件進(jìn)行操作時，也有多種不同的方法，效率可能也是略有差別的，下面是常用的幾種方法
方法一：使用fopen打開文件（從文件指針資源句柄）
<?php
$starttime=microtime_float();$file = 'testfile.txt';
$fp = fopen($file, "r+");$line = 100;
$pos = -2;
$t =$data="";while ($line > 0)
{while ($t != "\n") //換行符{fseek($fp, $pos, SEEK_END);//移動指針$t = fgetc($fp);//獲取一個字符$pos--;//向前偏移}$t = "";$data = fgets($fp);//獲取當(dāng)前行的數(shù)據(jù)$line--;
}
fclose($fp);
echo $data,"<br/>";
$endtime=microtime_float();echo $endtime-$starttime;function microtime_float(){list($usec, $sec) = explode(" ", microtime());return ((float)$usec + (float)$sec);
}
?>
?
運(yùn)行結(jié)果：0.338493108749
方法二：一塊一塊的讀取
<?php
$starttime=microtime_float();$file = 'testfile.txt';
$fp = fopen($file, "r");
$num = 10;
$chunk = 4096;//4K的塊
$fs = sprintf("%u", filesize($file));
$readData='';
$max = (intval($fs) == PHP_INT_MAX) ? PHP_INT_MAX : $fs;for($len = 0; $len < $max; $len += $chunk){$seekSize = ($max - $len > $chunk) ? $chunk : $max - $len;fseek($fp, ($len + $seekSize) * -1, SEEK_END);$readData = fread($fp, $seekSize) . $readData;if (substr_count($readData, "\n") >= $num + 1) {$ns=substr_count($readData, "\n")-$num+2;preg_match('/(.*?\n){'.$ns.'}/',$readData,$match);$data = $match[1];break;
}
}
fclose($fp);
echo $data,"<br/>";$endtime=microtime_float();echo $endtime-$starttime;function microtime_float(){list($usec, $sec) = explode(" ", microtime());return ((float)$usec + (float)$sec);
}
?>
?
?
運(yùn)行時間：0.00199198722839
轉(zhuǎn)載于:https://www.cnblogs.com/chenpingzhao/p/4547165.html
總結(jié)
以上是生活随笔為你收集整理的PHP读取大文件的几种方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。
