批量获取/打开链接 - 实践
1.應(yīng)用場景
| 批量操作, 打開鏈接. |
2.學(xué)習(xí)/操作
思路獲取超鏈接標(biāo)簽, 然后使用批量打開每個超鏈接, 從而不需要手動一個個打開鏈接 完善建議用腳本實(shí)現(xiàn), 然后寫一個定時腳本[服務(wù)器上],每天定時執(zhí)行. 環(huán)境Chrome瀏覽器/其他瀏覽器也可以 PHP 7.3 nginx 1.15/1.16 方式一2.1 使用?LmCjl在線工具?在線工具,抓取網(wǎng)頁超鏈接[需要清洗數(shù)據(jù),即不需要的數(shù)據(jù)去除掉即可]? --- 現(xiàn)在改為需要注冊登錄? -- 20210226 周五 家里網(wǎng)站鏈接抓取_在線批量獲取網(wǎng)頁鏈接工具_(dá)鏈接抓取? //提取超鏈接在線工具 ...? 2.2 使用在線工具批量打開超鏈接2.2.1 輸入?批量打開網(wǎng)址、網(wǎng)頁、網(wǎng)站(網(wǎng)址、超鏈接批量打開工具,如何批量一鍵快速打開多個網(wǎng)站、網(wǎng)頁)?回車 2.2.2 注意 ?首次操作,點(diǎn)擊批量打開按鈕后,瀏覽器會在上端網(wǎng)址欄www.ab173.com最右端有小圖標(biāo)(隱蔽圖標(biāo))提示攔截本站彈窗,請點(diǎn)擊選擇為允許本站所有彈窗。(不允許彈窗就是屏蔽批量打開的功能,請放心選擇)若已經(jīng)選擇允許彈窗,并測試可以批量打開網(wǎng)址,請忽略以下操作。 詳細(xì)信息見?批量打開網(wǎng)址、網(wǎng)頁、網(wǎng)站(網(wǎng)址、超鏈接批量打開工具,如何批量一鍵快速打開多個網(wǎng)站、網(wǎng)頁)?常見問題 chrome://settings/content/popups? ?//隱私設(shè)置和安全性 - 彈出式窗口和重定向 截圖如下: 2.2.3 點(diǎn)擊'批量打開',結(jié)果如下: 由上可知, 已經(jīng)成功. 備注: 根絕個人電腦配置以及瀏覽器種類而定同時打開的超鏈接數(shù). 這里:[作為參考] 同時開啟200個tab, 是okay的. cpu會瞬間升高, 但是稍后會降下來, 內(nèi)存也會升高, 不會降下來.? //另外我這里僅僅是想執(zhí)行請求, 并不是要得到響應(yīng)結(jié)果,所以頁面發(fā)出請求就可以關(guān)閉了. 方式二:使用爬蟲獲取超鏈接,后用循環(huán)執(zhí)行打開超鏈接? //均使用腳本語言來處理, 即完全自己寫代碼來處理php/python均可. PHP實(shí)現(xiàn) <?php //1.數(shù)據(jù)文件[這里不是大文件] //2.讀取文件內(nèi)容 //3.清洗數(shù)據(jù) //3.1 隨機(jī)選取部分?jǐn)?shù)據(jù), 也可以做測試 //4.統(tǒng)計時間 //5.curl請求[循環(huán),也可以同時發(fā)請求 echo $dataTime . ' Total took ' . $timeSum . ' seconds to send requests of ' . $num . ' urls' . "\n\r"; curl_close($ch); 郵件通知 // 提供個思路 暫時參見:?Laravel 郵件_william_n的博客-CSDN博客_laravel 郵箱 實(shí)踐TBD 定時腳本? // 用shell/Perl編寫 shell腳本 Linux Crontab 定時任務(wù) - 學(xué)習(xí)/實(shí)踐_william_n的博客-CSDN博客? //Linux Crontab 定時任務(wù) request_urls.sh #!/bin/sh 定時任務(wù): //每31分鐘執(zhí)行一次 ?*/31?*?* * * ~/crontab/request_urls.sh >> ~/ningxiaofa/request_urls.txt 修改后[將重定向輸出寫到shell腳本中]: */31 * * * * ~/crontab/request_urls.sh 最終結(jié)果: 定時腳本結(jié)果: 正常執(zhí)行. Note這里因?yàn)闀cho 輸出的內(nèi)容重定向輸出到request_urls.txt文本中, 可能時間長了之后, 文件較大, 建議在shell腳本中, 添加代碼判斷, 如果文件大小超過xxMB, 便刪除該文件.然后重建文該文件[應(yīng)不用TBD]. ... |
3.問題/補(bǔ)充
1.使用JavaScript能否正常實(shí)現(xiàn)功能? // 20201014 科學(xué)館TBD |
4.參考
| php curl批量打開網(wǎng)址(curl_multi類)的實(shí)現(xiàn)代碼 -php教程-PHP中文網(wǎng)? //php curl批量打開網(wǎng)址(curl_multi類)的實(shí)現(xiàn)代碼 在線工具大全 - 推薦_william_n的博客-CSDN博客_在線工具大全?//工具 網(wǎng)站鏈接抓取_在線批量獲取網(wǎng)頁鏈接工具_(dá)鏈接抓取? //提取超鏈接-在線工具 Shell 編程 - 學(xué)習(xí)/實(shí)踐_william_n的博客-CSDN博客?//Shell 編程 Shell腳本編寫 - 學(xué)習(xí)/實(shí)踐_william_n的博客-CSDN博客_shell腳本開發(fā)學(xué)習(xí)? //shell腳本編寫思路 |
后續(xù)補(bǔ)充
...
總結(jié)
以上是生活随笔為你收集整理的批量获取/打开链接 - 实践的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 软考信息系统项目管理师论文范文:论项目的
- 下一篇: C语言中的斐波那契数列程序