批量操作, 打開鏈接.

思路

獲取超鏈接標簽, 然后使用批量打開每個超鏈接, 從而不需要手動一個個打開鏈接

完善

建議用腳本實現, 然后寫一個定時腳本[服務器上],每天定時執行.

環境

Chrome瀏覽器/其他瀏覽器也可以

PHP 7.3

nginx 1.15/1.16

方式一

2.1 使用?LmCjl在線工具?在線工具，抓取網頁超鏈接[需要清洗數據,即不需要的數據去除掉即可]? --- 現在改為需要注冊登錄? -- 20210226 周五 家里

網站鏈接抓取_在線批量獲取網頁鏈接工具_鏈接抓取? //提取超鏈接在線工具

...?

2.2 使用在線工具批量打開超鏈接

2.2.1 輸入?批量打開網址、網頁、網站（網址、超鏈接批量打開工具，如何批量一鍵快速打開多個網站、網頁）?回車

2.2.2 注意

?首次操作，點擊批量打開按鈕后，瀏覽器會在上端網址欄www.ab173.com最右端有小圖標（隱蔽圖標）提示攔截本站彈窗，請點擊選擇為允許本站所有彈窗。(不允許彈窗就是屏蔽批量打開的功能，請放心選擇)若已經選擇允許彈窗，并測試可以批量打開網址，請忽略以下操作。

詳細信息見?批量打開網址、網頁、網站（網址、超鏈接批量打開工具，如何批量一鍵快速打開多個網站、網頁）?常見問題

chrome://settings/content/popups? ?//隱私設置和安全性 - 彈出式窗口和重定向

截圖如下:

2.2.3 點擊'批量打開',結果如下:

由上可知, 已經成功.

備注:

根絕個人電腦配置以及瀏覽器種類而定同時打開的超鏈接數.

這里:[作為參考]

同時開啟200個tab, 是okay的.

cpu會瞬間升高, 但是稍后會降下來, 內存也會升高, 不會降下來.?

//另外我這里僅僅是想執行請求, 并不是要得到響應結果,所以頁面發出請求就可以關閉了.

方式二：使用爬蟲獲取超鏈接，后用循環執行打開超鏈接? //均使用腳本語言來處理, 即完全自己寫代碼來處理

php/python均可.

PHP實現

<?php

//1.數據文件[這里不是大文件]
$dataFile = dirname(__FILE__) . '/urls.txt';

//2.讀取文件內容
$dataStr = file_get_contents($dataFile);

//3.清洗數據
$dataStr = preg_replace('/([\d]+-[\d]+\s)|(\r\n)/', ' ', $dataStr);
$dataArr = explode(' ', $dataStr);

//3.1 隨機選取部分數據, 也可以做測試
shuffle($dataArr); //打亂
$dataArr = array_slice($dataArr, 0, 147);

//4.統計時間
$timeSum = 0;
$num = 0;
$dataTime = date('Y-m-d H:i:s', time());

//5.curl請求[循環,也可以同時發請求
$ch = curl_init();
foreach($dataArr as $url){
?? ?if(!$url){
?? ??? ?continue;
?? ?}
?? ?curl_setopt($ch, CURLOPT_URL, trim($url));
?? ?curl_setopt($ch, CURLOPT_HEADER, TRUE);
?? ?curl_setopt($ch, CURLOPT_NOBODY, TRUE); // remove body[即不輸出body,Will be fasters]
?? ?curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
?? ?curl_exec($ch);
?? ?if(!curl_errno($ch)){
?? ? ?$info = curl_getinfo($ch);
?? ? ?$timeSum += $info['total_time'];
?? ? ?$num++;
?? ? ?//echo 'Took ' . $info['total_time'] . ' seconds to send a request to ' . $info['url'] . "\n\r";
?? ?} else {
?? ? ?echo 'Curl error: ' . curl_error($ch) . ?" with $url \n\r";
?? ?}
}
// $httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
// echo $httpCode;

echo $dataTime . ' Total took ' . $timeSum . ' seconds to send requests of ' . $num . ' urls' . "\n\r";

curl_close($ch);

郵件通知

// 提供個思路

暫時參見:?Laravel 郵件_william_n的博客-CSDN博客_laravel 郵箱

實踐TBD

定時腳本? // 用shell/Perl編寫

shell腳本

Linux Crontab 定時任務 - 學習/實踐_william_n的博客-CSDN博客? //Linux Crontab 定時任務

request_urls.sh

#!/bin/sh
cd ~/ningxiaofa/request_urls
php -q ./request_urls.php ?>> ./request_urls.txt
fileSize=`ls -l ?./request_urls.txt | awk '{print $5}'`
if [ ${fileSize} -gt 51200 ]
then
? ? ?rm -rf ?./request_urls.txt
? ? ?touch ./request_urls.txts
fi

定時任務: //每31分鐘執行一次

?*/31?*?* * * ~/crontab/request_urls.sh >> ~/ningxiaofa/request_urls.txt

修改后[將重定向輸出寫到shell腳本中]:

*/31 * * * * ~/crontab/request_urls.sh

最終結果:

定時腳本結果:

正常執行.

Note

這里因為會將echo 輸出的內容重定向輸出到request_urls.txt文本中, 可能時間長了之后, 文件較大,

建議在shell腳本中, 添加代碼判斷, 如果文件大小超過xxMB, 便刪除該文件.然后重建文該文件[應不用TBD].

...

1.使用JavaScript能否正常實現功能? // 20201014 科學館

TBD

php curl批量打開網址(curl_multi類)的實現代碼 -php教程-PHP中文網? //php curl批量打開網址(curl_multi類)的實現代碼

在線工具大全 - 推薦_william_n的博客-CSDN博客_在線工具大全?//工具

網站鏈接抓取_在線批量獲取網頁鏈接工具_鏈接抓取? //提取超鏈接-在線工具
批量打開網址、網頁、網站（網址、超鏈接批量打開工具，如何批量一鍵快速打開多個網站、網頁）? //批量打開超鏈接-在線工具

Shell 編程 - 學習/實踐_william_n的博客-CSDN博客?//Shell 編程

Shell腳本編寫 - 學習/實踐_william_n的博客-CSDN博客_shell腳本開發學習? //shell腳本編寫思路