golang mysql大量写入_Golang 实现分片读取http超大文件流和并发控制
分片讀取http超大文件流
Golang中的HTTP發送get請求，在獲取內容有兩種情況。
Golang發送http get請求方式
resp, err := http.Get(sendUrl)
if err != nil {
fmt.Println("出錯", err)
return
}
第一種方式是直接全部讀取出來，這種方式在小數據量的時候很方便。
body變量直接全部接收resp響應內容
body, err2 := ioutil.ReadAll(resp.Body)
第二種方式，分片獲取。
首先頂一個切片buf := make([]byte, 4096) 容量和大小都是4096個char字符(切片就是Golang自己的動態變長數組)
for無限循環讀取，讀取一塊內容放入buf中。result 是一個string字符串，然后用 result 自動拼接。
for {
n, err:= resp.Body.Read(buf)
if err != nil || n == 0{
fmt.Println("出現錯誤")
break
}
result += string(buf[:n])
}
Golang中匹配正則
MustCompile內容不是單引號，而是 `
// 解析，編譯正則表達式
ret := regexp.MustCompile(`
//提取需要信息
var fileName [][] string = ret.FindAllStringSubmatch(result, -1)
該方法可以進一步推廣，可以推廣到下載超大文件，然后分片讀取和寫入硬盤。
然后再開啟另一個線程去將這些已經寫入硬盤的分片合稱在一起。
Golang 并發控制
Java中的多線程，如果主線程開啟多個子線程后，在多個子線程全部完成后，主線程才會退出，程序終止。
而在Golang中不會出現此類情況，主Go程和子Go程需要人為控制主GO程和子GO程同步，否則主GO程瞬間結束。
在主GO程開始執行子GO程地方創建一個 channel。子GO程開始往 channel 中添加數據，主GO程再消費數據。
func toWork(start, end int) {
//子Go程與主Go程完成同步，意思是子Go程沒有全部執行完畢，主Go程不許退出。
page := make(chan int)
for i:=start; i<=end; i++ {
//開啟子GO程
go SpiderPage(i, page)
}
//主GO程開始消費管道中的數據
for i:=start; i<=end; i++ {
fmt.Println("爬取完成",
}
}
往主GO程的channel中添加數據，提供給主GO程消費從而達到同步
func SpiderPage(index int, page chan int) {
page
}
讀取http二進制碼寫入圖片
創建文件
獲取http流
分片逐步寫入
func saveImag(sendUrl string, index int, imageChannel chan int) {
//創建文件
path := "C:/img/" + strconv.Itoa(index) + ".jpg"
f, err := os.Create(path)
if err != nil {
return
}
defer f.Close()
//獲取http流
resp, err :=http.Get(sendUrl)
if err != nil {
return
}
defer resp.Body.Close()
//分片逐步寫入
buf := make([]byte, 4096)
for {
n, err := resp.Body.Read(buf)
if err != nil {
break
}
f.Write(buf[:n])
}
imageChannel
}
補充：golang實現http表單大文件流式上傳服務端代碼
golang的http標準庫的上傳文件是一次性將文件全部讀到內存中，這樣上傳小文件還可以，但是大文件就無能為力了。
一開始在網上找到一篇gin實現大文件流式上傳的文章。大體思路是手動解析form表單的header和body，然后分片讀取上傳的文件內容。但是代碼量有點多且復雜。有興趣的同學可以自行百度。
后來在github找到一個庫
github.com/albrow/forms
可以看到這個庫讀取上傳文件的方法
func (d Data) GetFileBytes(key string) ([]byte, error) {
fileHeader, found := d.Files[key]
if !found {
return nil, nil
} else {
file, err := fileHeader.Open()
if err != nil {
return nil, err
}
return ioutil.ReadAll(file)
}
}
最后使用的是ioutil.ReadAll，大文件上傳的話就會有問題，要實現流式上傳，可以在這個包里加一個方法。以下是我自己加的方法
func (d Data) GetFileReader(key string) (io.Reader, error) {
fileHeader, found := d.Files[key]
if !found {
return nil, nil
} else {
file, err := fileHeader.Open()
if err != nil {
return nil, err
}
return file, nil
}
}
得到reader后使用io.Copy即可將文件落盤
userData, err := forms.Parse(c.Request)
if err != nil {
log.Printf("parse錯誤：%v", err)
return
}
header := userData.GetFile("file")
fileReader, err := userData.GetFileReader("file")
if err != nil {
log.Printf("獲取reader錯誤：%v", err)
return
}
file, _ := os.Create(header.Filename)
io.Copy(file, fileReader)
以上為個人經驗，希望能給大家一個參考，也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方，望不吝賜教。
與50位技術專家面對面20年技術見證，附贈技術全景圖總結
以上是生活随笔為你收集整理的golang mysql大量写入_Golang 实现分片读取http超大文件流和并发控制的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： ubuntu虚拟机卡住开机_虚拟机Ubu
- 下一篇： mysql 内存越界_linux内存管理