當前位置：首頁 > 前端技术 > HTML >内容正文

HTML

好程序员web前端分享Nodejs学习笔记之Stream模块

發布時間：2025/6/17 HTML 62 豆豆

生活随笔收集整理的這篇文章主要介紹了好程序员web前端分享Nodejs学习笔记之Stream模块小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

好程序員web前端分享Nodejs學習筆記之Stream模塊
　　一，開篇分析

　　流是一個抽象接口，被 Node 中的很多對象所實現。比如對一個 HTTP 服務器的請求是一個流，stdout 也是一個流。流是可讀，可寫或兼具兩者的。

　　最早接觸Stream是從早期的unix開始的，數十年的實踐證明Stream 思想可以很簡單的開發出一些龐大的系統。

　　在unix里，Stream是通過 "|" 實現的。在node中，作為內置的stream模塊，很多核心模塊和三方模塊都使用到。

　　和unix一樣，node stream主要的操作也是.pipe()，使用者可以使用反壓力機制來控制讀和寫的平衡。

　　Stream 可以為開發者提供可以重復使用統一的接口，通過抽象的Stream接口來控制Stream之間的讀寫平衡。

　　一個TCP連接既是可讀流，又是可寫流，而Http連接則不同，一個http request對象是可讀流，而http response對象則是可寫流。

　　流的傳輸過程默認是以buffer的形式傳輸的，除非你給他設置其他編碼形式,以下是一個例子：

var http = require('http') ;

var server = http.createServer(function(req,res){

res.writeHeader(200, {'Content-Type': 'text/plain'}) ;

res.end("Hello,大熊!") ;

}) ;

server.listen(8888) ;

console.log("http server running on port 8888 ...") ;

　　運行后會有亂碼出現，原因就是沒有設置指定的字符集，比如：“utf-8” 。

　　修改一下就好：

　　var http = require('http') ;

var server = http.createServer(function(req,res){

res.writeHeader(200,{

'Content-Type' : 'text/plain;charset=utf-8' // 添加charset=utf-8

}) ;

res.end("Hello,大熊!") ;

}) ;

server.listen(8888) ;

console.log("http server running on port 8888 ...") ;

　　運行結果：

　　為什么使用Stream

　　node中的I/O是異步的，因此對磁盤和網絡的讀寫需要通過回調函數來讀取數據，下面是一個文件下載例子

　　上代碼：

var http = require('http') ;

var fs = require('fs') ;

var server = http.createServer(function (req, res) {

fs.readFile(__dirname + '/data.txt', function (err, data) {

res.end(data);

}) ;

server.listen(8888) ;

　　代碼可以實現需要的功能，但是服務在發送文件數據之前需要緩存整個文件數據到內存，如果"data.txt"文件很

　　大并且并發量很大的話，會浪費很多內存。因為用戶需要等到整個文件緩存到內存才能接受的文件數據，這樣導致

　　用戶體驗相當不好。不過還好(req,res)兩個參數都是Stream，這樣我們可以用fs.createReadStream()代替fs.readFile()。如下：

　　var http = require('http') ;

var fs = require('fs') ;

var server = http.createServer(function (req, res) {

var stream = fs.createReadStream(__dirname + '/data.txt') ;

stream.pipe(res) ;

}) ;

server.listen(8888) ;

　　.pipe()方法監聽fs.createReadStream()的'data' 和'end'事件，這樣"data.txt"文件就不需要緩存整

　　個文件，當客戶端連接完成之后馬上可以發送一個數據塊到客戶端。使用.pipe()另一個好處是可以解決當客戶

　　端延遲非常大時導致的讀寫不平衡問題。

　　有五種基本的Stream：readable，writable，transform，duplex，and "classic” 。(具體使用請自己查閱api)

　　二，實例引入

　　當內存中無法一次裝下需要處理的數據時，或者一邊讀取一邊處理更加高效時，我們就需要用到數據流。NodeJS中通過各種Stream來提供對數據流的操作。

　　以大文件拷貝程序為例，我們可以為數據源創建一個只讀數據流，示例如下：

　　var rs = fs.createReadStream(pathname);

rs.on('data', function (chunk) {

doSomething(chunk) ; // 具體細節自己任意發揮

});

rs.on('end', function () {

cleanUp() ;

}) ;

　　代碼中data事件會源源不斷地被觸發，不管doSomething函數是否處理得過來。代碼可以繼續做如下改造，以解決這個問題。

var rs = fs.createReadStream(src) ;

rs.on('data', function (chunk) {

rs.pause() ;

doSomething(chunk, function () {

rs.resume() ;

}) ;

rs.on('end', function () {

cleanUp();

}) ;

　　給doSomething函數加上了回調，因此我們可以在處理數據前暫停數據讀取，并在處理數據后繼續讀取數據。

　　此外，我們也可以為數據目標創建一個只寫數據流，如下：
　　var rs = fs.createReadStream(src) ;

var ws = fs.createWriteStream(dst) ;

rs.on('data', function (chunk) {

ws.write(chunk);

}) ;

rs.on('end', function () {

ws.end();

}) ;

　　doSomething換成了往只寫數據流里寫入數據后，以上代碼看起來就像是一個文件拷貝程序了。但是以上代碼存在上邊提到的問題，如果寫入速度跟不上讀取速度的話，只寫數據流內部的緩存會爆倉。我們可以根據.write方法的返回值來判斷傳入的數據是寫入目標了，還是臨時放在了緩存了，并根據drain事件來判斷什么時候只寫數據流已經將緩存中的數據寫入目標，可以傳入下一個待寫數據了。因此代碼如下：

　　var rs = fs.createReadStream(src) ;

var ws = fs.createWriteStream(dst) ;

rs.on('data', function (chunk) {

if (ws.write(chunk) === false) {

rs.pause() ;

}

}) ;

rs.on('end', function () {

ws.end();

});

ws.on('drain', function () {

rs.resume();

}) ;

　　最終實現了數據從只讀數據流到只寫數據流的搬運，并包括了防爆倉控制。因為這種使用場景很多，例如上邊的大文件拷貝程序，NodeJS直接提供了.pipe方法來做這件事情，其內部實現方式與上邊的代碼類似。

　　下面是一個更加完整的復制文件的過程：

　　var fs = require('fs'),

path = require('path'),

out = process.stdout;

var filePath = '/bb/bigbear.mkv';

var readStream = fs.createReadStream(filePath);

var writeStream = fs.createWriteStream('file.mkv');

var stat = fs.statSync(filePath);

var totalSize = stat.size;

var passedLength = 0;

var lastSize = 0;

var startTime = Date.now();

readStream.on('data', function(chunk) {

passedLength += chunk.length;

if (writeStream.write(chunk) === false) {

readStream.pause();

}

});

readStream.on('end', function() {

writeStream.end();

});

writeStream.on('drain', function() {

readStream.resume();

});

setTimeout(function show() {

var percent = Math.ceil((passedLength / totalSize) * 100);

var size = Math.ceil(passedLength / 1000000);

var diff = size - lastSize;

lastSize = size;

out.clearLine();

out.cursorTo(0);

out.write('已完成' + size + 'MB, ' + percent + '%, 速度：' + diff * 2 +?

'MB/s');

if (passedLength < totalSize) {

setTimeout(show, 500);

} else {

var endTime = Date.now();

console.log();

console.log('共用時：' + (endTime - startTime) / 1000 + '秒。');

}

}, 500);

　　可以把上面的代碼保存為 "copy.js" 試驗一下我們添加了一個遞歸的 setTimeout (或者直接使用setInterval)來做一個旁觀者，

　　每500ms觀察一次完成進度，并把已完成的大小、百分比和復制速度一并寫到控制臺上，當復制完成時，計算總的耗費時間。

　　三，總結一下
　　(1)，理解Stream概念。
　　(2)，熟練使用相關Stream的api
　　(3)，注意細節的把控，比如：大文件的拷貝，采用的使用 “chunk data” 的形式進行分片處理。
　 ? (4)，pipe的使用
　　(5)，再次強調一個概念：一個TCP連接既是可讀流，又是可寫流，而Http連接則不同，一個http request對象是可讀流，而http response對象則是可寫流。

轉載于:https://www.cnblogs.com/gcghcxy/p/10881154.html

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的好程序员web前端分享Nodejs学习笔记之Stream模块的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇： Spring MVC中获取当前项目的路径
下一篇： galera集群