來源于Google資深工程師深度講解Go語言

package mainimport ("fmt""io/ioutil""net/http" )const url = "http://www.zhenai.com/zhenghun"func main() {//發(fā)送get請求resp, err := http.Get(url)if err != nil {panic(err)}//關(guān)閉通道defer resp.Body.Close()//判斷狀態(tài)if resp.StatusCode != http.StatusOK {fmt.Errorf("StatusCode:%v \n", http.StatusOK)}//輸出結(jié)果all, err := ioutil.ReadAll(resp.Body)if err != nil {fmt.Errorf("ReadAll: %s ", err)}fmt.Printf("%s\n",all) }

可以將整個html頁面爬取下來

正則表達式處理

package mainimport ("fmt""io/ioutil""net/http""regexp" )//const url = "http://www.baidu.com" const url = "http://www.zhenai.com/zhenghun"func main() {//發(fā)送get請求resp, err := http.Get(url)if err != nil {panic(err)}//關(guān)閉通道defer resp.Body.Close()//判斷狀態(tài)if resp.StatusCode != http.StatusOK {fmt.Errorf("StatusCode:%v \n", http.StatusOK)}//輸出結(jié)果all, err := ioutil.ReadAll(resp.Body)if err != nil {fmt.Errorf("ReadAll: %s ", err)}printListCity(all) }// 獲取城市，url const cityListRe = `<a href="(http://www.zhenai.com/zhenghun/[0-9a-z]+)"[^>]*>([^<]*)</a>`func printListCity(contents []byte) {rg := regexp.MustCompile(cityListRe)allSubmatch := rg.FindAllSubmatch(contents, -1)for _, m := range allSubmatch {fmt.Printf("%s\n ", m[1])fmt.Printf("%s\n ", m[2])} }

結(jié)果

http://www.zhenai.com/zhenghun/zhuhai珠海http://www.zhenai.com/zhenghun/zhumadian駐馬店http://www.zhenai.com/zhenghun/zhuzhou株洲http://www.zhenai.com/zhenghun/zibo淄博http://www.zhenai.com/zhenghun/zigong自貢http://www.zhenai.com/zhenghun/ziyang1資陽http://www.zhenai.com/zhenghun/zunyi遵義

將結(jié)果存入數(shù)據(jù)庫

• 注意的是id為自增長的主鍵，不參與golang語言的表結(jié)構(gòu)展示，特別是在插入時，不應(yīng)該算入在內(nèi)

const cityListRe = `<a href="(http://www.zhenai.com/zhenghun/[0-9a-z]+)"[^>]*>([^<]*)</a>`func mySql(contents []byte) {//用戶名：密碼^@tcp(地址:3306)/數(shù)據(jù)庫db, err := sql.Open("mysql", "root:Kou123$%^@tcp(39.107.87.114:3306)/zhenai?charset=utf8")if err!=nil {fmt.Println(err)return}//表結(jié)構(gòu)type info struct {city string `db:"city"`url string `db:"url"`}//查詢表rows,err:=db.Query("SELECT * FROM city_url_id")//遍歷打印for rows.Next(){var s infoerr=rows.Scan(&s.city,&s.url,)}//執(zhí)行MySql語句rg := regexp.MustCompile(cityListRe)allSubmatch := rg.FindAllSubmatch(contents, -1)for _, m := range allSubmatch {//fmt.Printf("%s\n ", m[1])//fmt.Printf("%s\n ", m[2])//插入語句db.Exec("INSERT INTO city_url_id(city,url)VALUES (?,?)", m[1], m[2])}rows.Close() }

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的Go语言爬虫项目将结果写入MySql数据库的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。