除了python是一個爬蟲的好工具，go也可以完成同樣的操作
如下，爬取的百度貼吧的代碼：

package mainimport ("fmt""io""net/http""os""strconv" )func main() {// 指定爬取起始，終止頁var start, end intfmt.Print("請輸入爬取的起始頁:")fmt.Scan(&start)fmt.Println("請輸入終止頁")fmt.Scan(&end)working(start, end) }func working(start int, end int) {fmt.Printf("正在爬取第%d頁到%d頁", start, end)// 循環讀取頁數for i := start; i <= end; i++ {url := "https://tieba.baidu.com/f?kw=%E7%BB%9D%E5%9C%B0%E6%B1%82%E7%94%9F&ie=utf-8&pn=" + strconv.Itoa((i-1)*50)result, err := HttpGet(url)if err != nil {fmt.Println("httpGet err", err)continue}//fmt.Println("result=", result)f, err := os.Create("第" + strconv.Itoa(i) + "頁" + ".html")if err != nil {fmt.Println("Create err", err)continue}f.WriteString(result)f.Close() // 保存好一個文件，關閉一個文件}}func HttpGet(url string) (result string, err error) {resp, err1 := http.Get(url)if err1 != nil {err = err1 // 將封裝函數的內部的錯誤拋給調用者return}defer resp.Body.Close()// 循環讀取，傳出給調用者buf := make([]byte, 4096)for {n, err2 := resp.Body.Read(buf)if n == 0 {fmt.Println("讀取網頁完成")break}if err2 != nil && err2 != io.EOF {err = err2return}// 累加每一次循環讀到的buf數據,存入result一次性讀取result += string(buf[:n])}return}

可以看見實現完后，項目根目錄下有了html文件：

總結

以上是生活随笔為你收集整理的用go语言完成爬虫的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。