簡單爬蟲

//爬取網頁內容 func httpGet(url string) (result string, err error) {resp, err1 := http.Get(url)if err1 != nil {err = err1return}defer resp.Body.Close()//讀取網頁的內容buf := make([]byte, 1024*4)for {n, err := resp.Body.Read(buf)if n == 0 { //讀取結束,或者出問題fmt.Println("resp.body err: ", err)break}result += string(buf[:n])}return }func DoWork(start, end int) {fmt.Printf("正在爬取 %d 到 %d的頁面\n", start, end)//明確目標for i := start; i <= end; i++ {url := "https://tieba.baidu.com/f?kw=%E7%BB%9D%E5%9C%B0%E6%B1%82%E7%94%9F&ie=utf-8&pn=" + strconv.Itoa((i-1)*50)fmt.Println(url)//爬取頁面result, err := httpGet(url)if err != nil {fmt.Println("http err: ", err)//跳出continue}fmt.Println("內容是: ", result)} }func main() {//https://tieba.baidu.com/f?kw=%E7%BB%9D%E5%9C%B0%E6%B1%82%E7%94%9F&ie=utf-8&pn=200var start, end intfmt.Println("請輸入起始頁( >= 1): ")fmt.Scan(&start)fmt.Printf("請輸入終止頁(>=起始頁): ")fmt.Scan(&end)DoWork(start, end) }

總結

以上是生活随笔為你收集整理的golang中的爬虫的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。