多协议数据采集网关结合TDEngine时序数据库
多協(xié)議數(shù)據(jù)采集網(wǎng)關結合TDEngine時序數(shù)據(jù)庫在車輛環(huán)境監(jiān)測中的應用
一、項目背景
隨著經(jīng)濟發(fā)展，國家對環(huán)境越來越重視，為貫徹《中華人民共和國大氣污染防治法》，落實《汽油車污染物排放限值及測量方法（雙怠速法及簡易工況法）》（GB18285-2018）、《柴油車污染物排放限值及測量方法（雙自由加速法及加載減速法）》（GB3847-2018）兩項標準的實施，根據(jù)中國環(huán)境科學研究院發(fā)布的《在用汽車排放檢驗信息系統(tǒng)及聯(lián)網(wǎng)規(guī)范（征求意見稿）》，燃油車環(huán)境參數(shù)實時監(jiān)測也變得越來越迫切，對在用機動車排放檢驗過程監(jiān)控，能更有效對異常數(shù)據(jù)進行預警控制，防止弄虛作假行為，促使超標車輛維修治理，減少污染排放，整合移動污染源排放數(shù)據(jù)，建立一套科學化、系統(tǒng)化、智能化的移動源污染排放在線監(jiān)控系統(tǒng)，實現(xiàn)機動車年檢、路檢、遙測、新車核查、非道路移動機械、檢測維修IM制度、監(jiān)控預警等綜合管理，連通機動車排放檢驗機構、市區(qū)縣生態(tài)環(huán)境局、國家生態(tài)環(huán)境部、市政務信息資源共享平臺，實現(xiàn)國家、省市、區(qū)縣三級聯(lián)網(wǎng)，數(shù)據(jù)交換與共享。
系統(tǒng)設計性能參數(shù)要求：
| 1 | 數(shù)據(jù)管理 | 單一記錄的查詢 | 時間<=2S |
| 多記錄項復合查詢 | 時間<=10S | ||
| 多表查詢 | 時間<=30S | ||
| 2 | 統(tǒng)計分析 | 參與統(tǒng)計的數(shù)據(jù)量10萬條內 | 時間<=20S |
| 參與統(tǒng)計的數(shù)據(jù)量100萬條內 | 時間<=1M | ||
| 參與統(tǒng)計的數(shù)據(jù)量100萬條以上 | 時間<=5M |
如何實現(xiàn)準確高效的采集并實時存儲查詢大數(shù)據(jù)分析等功能，在技術上必須具備分布式采集，大數(shù)據(jù)分析等能力，筆者在構建系統(tǒng)時，查閱了大量案例，學習對比了很多架構，基于超級性能和易用性，最后選擇TDEngine時序數(shù)據(jù)庫作為本系統(tǒng)的實時數(shù)據(jù)庫。
二、系統(tǒng)方案
1、整體架構
云端采用EMQ作為協(xié)議轉發(fā)服務器，搭配TDEngine做數(shù)據(jù)倉庫，實時采集數(shù)據(jù)采用MQTT進行傳輸，后期將拓展其他協(xié)議。
邊緣控制器利用自身所帶CAN總線采集OBD車載數(shù)據(jù)（大多數(shù)采用SAEJ1939，這個調試真辛苦。。。）及其他環(huán)境檢測設備采集的數(shù)據(jù)（采集設備的輸出數(shù)據(jù)通過串口或網(wǎng)絡聯(lián)網(wǎng)），收集數(shù)據(jù)并通過EC20
4G通信或wifi無線網(wǎng)絡采用MQTT協(xié)議上傳實時數(shù)據(jù)至云端并存儲在TDEngine時序數(shù)據(jù)庫中供查詢分析調用。
2、采集器
前端采集設備邊緣控制器采用樂鑫的物聯(lián)網(wǎng)模塊ESP32-WROVER-B作為主處理模塊，這款模塊強勁的處理能力簡直讓我爽到不行，最高240M主頻，而且是雙核，是通用型
Wi-Fi+BT+BLE MCU 模組，16M flash,8M
ram，支持SD卡，功能強大，用途廣泛，可以用于低功耗傳感器網(wǎng)絡和要求極高的任務，例如語音編碼、音頻流和MP3解碼等，關鍵事開源生態(tài)好，各種開軟件包都不在話下擴展了兩路CAN總線，諸多IO口(原諒我唯一缺陷，引腳比較少38針)，
支持EC20 4G和北斗GPS模塊可接AD7606實現(xiàn)多通道ADC采樣。
作為樂鑫當家花旦，稟承了樂鑫ESP-IDF的強大軟件能力，基于freertos+lwip雙劍合璧，協(xié)議是相當?shù)娜?#xff0c;工業(yè)4.0的核心協(xié)議OPC-UA，MQTT,Modbus,HTTP(S)，websocket，ODB（SAEJ1939，ISO15765）…。
數(shù)據(jù)采集控制器協(xié)議轉換網(wǎng)關
3、數(shù)據(jù)庫設計
過程數(shù)據(jù)表
| TS | TIMESTAMP | 時間 | |
| VN | NCHAR | 車牌號 | |
| HCGCSJ | FLOAT | HC過程數(shù)據(jù) | |
| COGCSJ | FLOAT | CO過程數(shù)據(jù) | |
| CO2GCSJ | FLOAT | CO2過程數(shù)據(jù) | |
| O2GCSJ | FLOAT | O2過程數(shù)據(jù) | |
| NOXGCSJ | FLOAT | NOX過程數(shù)據(jù) | |
| GLKQXSSJ | FLOAT | 過量空氣系數(shù)過程數(shù)據(jù) | |
| HCPFZLGCSJ | FLOAT | HC排放質量過程數(shù)據(jù) | |
| COPFZLGCSJ | FLOAT | CO排放質量過程數(shù)據(jù) | |
| NOXPFZLGCSJ | FLOAT | NOX排放質量過程數(shù)據(jù) | |
| LLJO2GCSJ | FLOAT | 流量計O2過程數(shù)據(jù) | |
| LLJSJLLGCSJ | FLOAT | 流量計實際流量過程數(shù)據(jù) | |
| LLJBZLLGCSJ | FLOAT | 流量計標準流量過程數(shù)據(jù) | |
| LLJWDGCSJ | FLOAT | 流量計溫度過程數(shù)據(jù) | |
| QCWQLLGCSJ | FLOAT | 汽車尾氣流量過程數(shù)據(jù) | |
| LLJQYGCSJ | FLOAT | 流量計氣壓過程數(shù)據(jù) | |
| ZSGCSJ | FLOAT | 發(fā)動機轉速過程數(shù)據(jù) | |
| YWGCSJ | FLOAT | 發(fā)動機油溫過程數(shù)據(jù) | |
| CSGCSJ | FLOAT | 車速過程數(shù)據(jù) | |
| XSBGCSJ | FLOAT | 稀釋比過程數(shù)據(jù) | |
| XSXZGCSJ | FLOAT | 稀釋修正系數(shù)過程數(shù)據(jù) | |
| SDXZGCSJ | FLOAT | 濕度修正系數(shù)過程數(shù)據(jù) | |
| JSGLGCSJ | FLOAT | 寄生功率過程數(shù)據(jù) | |
| ZSGLGCSJ | FLOAT | 指示功率過程數(shù)據(jù) | |
| HJWDGCSJ | FLOAT | 環(huán)境溫度過程數(shù)據(jù) | |
| HJSDGCSJ | FLOAT | 環(huán)境濕度過程數(shù)據(jù) | |
| HJDQYGCSJ | FLOAT | 環(huán)境大氣壓過程數(shù)據(jù) | |
| YDZGCSJ | FLOAT | 煙度值過程數(shù)據(jù) | |
| GXSXSGCSJ | FLOAT | 光吸收系數(shù)過程數(shù)據(jù) | |
| ZTBZ | INT | 狀態(tài)標注（1.預熱狀態(tài),2.高怠速15秒穩(wěn)定結束點,3.怠速） | |
| HJO2ND | FLOAT | 環(huán)境O2濃度(單位：%vol) | |
| BZLLMMSJ | FLOAT | 標準流量每秒數(shù)據(jù)(單位：L/s) | |
| CSGKZJZGL | FLOAT | 測試工況總加載功率每秒數(shù)據(jù)(單位：kW) | |
| HJO2HL | FLOAT | 環(huán)境O2含量 | |
| CO2ZL | FLOAT | CO2質量 | |
| NOZL | FLOAT | NO質量 | |
| SJQTLL | FLOAT | 實際氣體流量 | |
| BZQTLL | FLOAT | 標準氣體流量 | |
| FQLL | FLOAT | 廢氣流量 | |
| JSVELMAXHP | FLOAT | 計算VelMaxHp（單位：km/h） | |
| SJVELMAXHP | FLOAT | 實際VelMaxHp（單位：km/h） | |
| GLSMJDGLSJ | FLOAT | 功率掃描階段功率每秒數(shù)據(jù)(單位：kW) | |
| SCZDLBGL | FLOAT | 實測最大輪邊功率(單位：kW) | |
| GLXZXS | FLOAT | 功率修正系數(shù) | |
| XZZDLBGLS | FLOAT | 修正最大輪邊功率數(shù) | |
| VELMAXHPYD100 | FLOAT | 100% VelMaxHp煙度每秒數(shù)據(jù)(k和N) | |
| VELMAXHPYD90 | FLOAT | 90% VelMaxHp 煙度每秒數(shù)據(jù)(k和N) | |
| VELMAXHPCS100 | FLOAT | 100% VelMaxHp車速每秒數(shù)據(jù)(單位：km/h) | |
| VELMAXHPCS90 | FLOAT | 90% VelMaxHp 車速每秒數(shù)據(jù)（單位：km/h） | |
| VELMAXHPCS80 | FLOAT | 80% VelMaxHp 車速每秒數(shù)據(jù)（單位：km/h） | |
| BTGD | FLOAT | 不透光度 | |
| GCJCZT | FLOAT | 檢測狀態(tài)（1：功率掃描階段，2：100%VelMaxHp檢測階段， ：90%VelMaxHp檢測階段，4：80%VelMaxHp檢測階段） | |
| STRENGTH | FLOAT | 力 | |
| CGJXSGL | FLOAT | 測功機吸收功率過程數(shù)據(jù) | |
| CYDSJ | FLOAT | 采樣點時間過程數(shù)據(jù) |
OBD過程數(shù)據(jù)表
| ts | TIMESTAMP | 時序 | ||
| Vn | NCHAR | 車牌號 | ||
| jylsh | NCHAR | 檢驗流水號 | ||
| jccs | INT | 檢驗次數(shù) | ||
| cyds | INT | 采樣總點數(shù) | ||
| cysx | BIGINT | 以時序類別分類按順序自增 | ||
| jqmkd | FLOAT | 節(jié)氣門絕對開度 | % | |
| fh | FLOAT | 計算負荷值 | % | |
| qycgqxh | FLOAT | 前氧傳感器信號 | mV/mA | |
| glkqxs | FLOAT | 過量空氣系數(shù)（λ） | ||
| ymkd | FLOAT | 油門開度 | % | |
| cs | FLOAT | 車速 | km/h | |
| fdjzs | FLOAT | 發(fā)動機轉速 | r/min | |
| jql | FLOAT | 進氣量 | g/s | |
| jqyl | FLOAT | 進氣壓力 | kPa | |
| scgl | FLOAT | 發(fā)動機輸出功率 | kw | |
| zyyl | FLOAT | 增壓壓力 | kPa | |
| hyl | FLOAT | 耗油量 | L/100km | |
| no | FLOAT | 氮氧傳感器濃度 | ppm | |
| nsbsl | FLOAT | 尿素噴射量 | L/h | |
| pqwd | FLOAT | 排氣溫度 | ℃ | |
| klbjqyc | FLOAT | 顆粒捕集器壓差 | kpa | |
| egrkd | FLOAT | EGR 開度 | % | |
| rypsyl | FLOAT | 燃油噴射壓力 | bar |
4、 node.js 實現(xiàn) emq 至 TDEngine的轉儲
function createConsumer(config = {}) {const client = mqtt.connect("mqtt://XX.XX.XX.XX:1883", config);client.on("connect", () =\> {// 使用共享訂閱 \$share/ 前綴client.subscribe("VEHICLE/\#", (err, granded = []) =\> {if (!err && granded[0].qos \<= 2) {console.log("Consumer client ready");}});});client.on("message", handleMessage);}// 創(chuàng)建 10 個共享訂閱消費者for (let i = 0; i \< 1; i++) {createConsumer();}// MQTT 處理訂閱消息回調async function handleMessage(topic, message) {try {console.log(topic, message.toString());if (topic.includes("xxx")) {// JSON 轉對象const p = JSON.parse(message.toString());const resp = await exec(\`INSERT INTO db_vehicle\${p.xxx.xxx}\${p.xxx.xxx } values('\${p.xxx.DATE+' ' +p.xxx.TIME}',\${p.xxx.xxx},\${p.xxx.xxx});\`);console.log(\`Exec success:\`, resp.data); }} catch (e) {console.log("exec insert error:",e.message,e.response ? e.response.data : "");}}function exec(sql = "") {console.log("exc sql", sql); return axios({method: "post",url: "http://xx.xx.xx.xx:6020/rest/sql",auth: {username: "root",password: "taosdata"},data: sql});}5、實時時序過程數(shù)據(jù)分析
TDEngine很好的解決了過程數(shù)據(jù)的實時存儲和連續(xù)查詢功能，很好的實現(xiàn)了系統(tǒng)要求的數(shù)據(jù)吞吐性能，查詢速度并不會因為數(shù)據(jù)的增加而有明顯的增加，基本上0.02秒左右，時間段的任意查詢大大的簡化了程序的邏輯處理。
三、 業(yè)務功能
1、業(yè)務流程
注冊登記檢驗流程
汽油：
柴油：
在用車輛
汽油：
柴油：
2系統(tǒng)及功能
2.1 檢測業(yè)務
該功能面向檢測機構
1、合規(guī)性確認
檢測機構在車輛檢驗完成后，對整個檢驗過程進行合規(guī)性核查，當出現(xiàn)影響檢測過程準確性的情況，判定為檢驗過程不合規(guī)，該次檢驗無論檢驗結果合格或不合格都計為無效數(shù)據(jù)。機構工作人員需對檢驗數(shù)據(jù)、報告單、照片、視頻等當次檢驗檔案進行逐項核查，核查完根據(jù)事實情況做出合規(guī)性確認。合規(guī)性確認后方可進行數(shù)據(jù)上傳和報告單打印等相關操作
2、不合規(guī)申請
根據(jù)不合規(guī)判定的原則，由于出現(xiàn)影響檢測過程準確性的情況，車輛無需到M站維修，可以直接再次復檢，因此當出現(xiàn)該情況時，為保障車主利益，檢測機構工作人員應在系統(tǒng)中通過該功能發(fā)起不合規(guī)申請，由監(jiān)管中心工作人員進行審核后可以立即復檢。
3、車輛同步
車輛檢驗結束后該車的環(huán)檢結果自動同步至公安安檢平臺。此外在免檢車申請時，監(jiān)管中心人員也應該在判定車輛免檢提交數(shù)據(jù)的真實性后，進行手動同步數(shù)據(jù)。
4、檢測實時數(shù)據(jù)
對檢測業(yè)務數(shù)據(jù)進行實時查詢，可查看車輛檢測數(shù)據(jù)，外檢照片，現(xiàn)場視頻等相關數(shù)據(jù)。
5、車輛退辦
車輛在檢測過程中，受各方面影響，檢測機構工作人員可在系統(tǒng)中申請退辦該筆業(yè)務，退辦原因必須在系統(tǒng)內進行如實備注。
6、檢測終止
車輛在檢測過程中，監(jiān)管中心發(fā)現(xiàn)車輛上傳的檢測數(shù)據(jù)存在異常或其他特殊情況的，監(jiān)管中心工作人員可以通過檢測終止功能取消該次檢測流程。終止后檢測機構需重新進行該車檢測業(yè)務。
7、檢測方法修改
車輛在檢測過程中，發(fā)現(xiàn)車輛存在異常問題，無法正常適配默認檢測方法，可以在系統(tǒng)中進行檢測方法修改，修改檢測方法需備注變更方法原因，提交后可用其他方法進行檢測，此功能只能由授權簽字人進行操作。
8、免檢車申請
若車輛由于處于免檢有效期內，可以免于進行環(huán)保檢測，因此檢測機構工作人員可以對該類車輛信息進行錄入拍照，提交免檢車申請，由監(jiān)管中心進行審核并同步車輛信息至公安，免于檢測。
9、站務管理
檢測機構可對站內人員進行設置，新增、修改、刪除帳號，配置人員權限。也可在系統(tǒng)內對檢測設備、檢測線進行配置。
10、報告打印
車輛檢測完成后，檢測機構工作人員可以在檢測記錄中找到車輛檢測記錄進行報告打印，紙質報告蓋章并由授權簽字人簽名后交予車主或機構自行存檔。
11、I/M維修記錄
交通管理部門將M站內完成的車輛維修記錄傳輸至機動車排氣污染監(jiān)控平臺，并在系統(tǒng)內生成對應車輛的維修記錄列表，展示機動車基本數(shù)據(jù)、檢測報告單數(shù)據(jù)，維修現(xiàn)場照片等相關維修數(shù)據(jù)，供檢測機構查看。
12、視頻監(jiān)控
可以對檢測機構內各檢測線攝像頭采集的視頻信息進行實時調閱，可以在車輛檢測中進行檢測視頻回放、也可以選擇時間段進行回放。
13、檢測統(tǒng)計
檢測機構可通過查詢統(tǒng)計功能對車型、合規(guī)率、合格率等數(shù)據(jù)進行統(tǒng)計并生成與之相對應的統(tǒng)計報表，以供檢測機構了解日常檢測作業(yè)情況。
2.2 監(jiān)管業(yè)務
該功能面向管理部門
1、信息發(fā)布
管理部門工作人員可以通過監(jiān)控平臺實時發(fā)布通知公告信息，使用平臺的所有用戶都可以收到并查看通知公告信息。
2、退辦車輛記錄
管理工作人員可以通過退辦車輛功能查詢車輛所有退辦記錄。根據(jù)記錄情況對檢測機構業(yè)務開展規(guī)范性，是否存在一車多次退辦等異常情況進行倒查。
3、不合規(guī)車輛記錄
通過不合規(guī)車輛功能，可以查看全市所有不合規(guī)車輛情況，如出現(xiàn)某站大面積不合格車輛數(shù)據(jù)，可通過此功能對該站進行重點監(jiān)管。
4、數(shù)據(jù)核查
車輛檢測完成后，該車檢測數(shù)據(jù)交由監(jiān)管中心工作人員核查并備注核查意見，
5、數(shù)據(jù)復核
檢測數(shù)據(jù)經(jīng)過監(jiān)管中心工作人員核查后，可由中心管理人員進行二次復核。
6、IM車輛維修
針對在IM制度中，可能出現(xiàn)各種異常情況或其他特殊原因，管理部門可以通過該功能取消特殊情況的車輛卡控進行上線。
7、方法變更
車輛在檢測過程中，發(fā)現(xiàn)車輛存在制動、驅動等異常問題，無法正常適配默認檢測方法，可以在系統(tǒng)中進行檢測方法修改，修改檢測方法需備注變更方法原因，提交后可用其他方法進行檢測。所有方法變更痕跡都在系統(tǒng)中進行保留，以方法變更原因為準，核查歷史變更方法車輛檢測數(shù)據(jù)，如某站惡意頻繁變更方法可以通過該功能進行數(shù)據(jù)溯源。
8、重點監(jiān)管車輛
管理部門工作人員在日常工作過程中，根據(jù)中心管理要求可以對符合條件的車輛進行錄入納入重點監(jiān)管車輛范圍，通過對重點監(jiān)管車輛的主動監(jiān)管，提升宜賓市機動車排污監(jiān)控能力。
9、免檢車審核
若車輛處于免檢有效期內，檢測機構工作人員可以對該類車輛信息進行錄入拍照，提交免檢車申請，由監(jiān)管中心進行審核并同步車輛信息至公安，免于檢測。所有免檢車需完整提交車輛信息、照片，由中心審核后同步公安。
10、抽查不合格數(shù)據(jù)
管理部門工作人員可對不合格車輛進行抽查，驗證不合格車輛數(shù)據(jù)真實性、有效性。
11、手動審核
管理部門工作人員按照中心管理辦法對已配置為手動審核范圍的檢測機構、檢驗方法對應的檢驗車輛數(shù)據(jù)進行逐一手動審核。批注審核結論和意見。
12、注冊不合格車輛庫
管理部門工作人員按照管理辦法注冊檢驗尾氣不合格的車輛進行備案，錄入車輛庫，定期通過行政渠道反饋至車輛生產(chǎn)企業(yè)。
13、檢測機構管理
管理部門工作人員按照中心管理辦法對檢測機構進行管理，查看檢測機構資料、人員信息、檢測線、檢測設備等，可進行檢測機構關停，檢測線關停，檢測人員帳號停用等相關操作。
14、I/M維修記錄
交通管理部門將本市具備開展尾氣維修治理的企業(yè)信息通過機動車尾氣治理信息化管理系統(tǒng)傳輸至機動車排氣污染監(jiān)控平臺，并在系統(tǒng)內生成對應車輛的維修記錄列表，展示機動車基本數(shù)據(jù)、檢測報告單數(shù)據(jù)，維修現(xiàn)場照片等相關維修數(shù)據(jù)，供管理部門和檢測機構查看，并由環(huán)保部門依據(jù)職責對機動車排放檢測機構的不合格車輛排放復檢工作開展情況進行監(jiān)督檢查。
15、視頻監(jiān)控
可以對全市檢測機構各檢測線攝像頭采集的視頻信息進行實時調閱。可以在車輛檢測中進行檢測視頻回放、也可以選擇時間段進行回放。
16、統(tǒng)計
管理部門可通過查詢統(tǒng)計功能對車型、合規(guī)率、合格率、核查率、核查通過率、核查量等數(shù)據(jù)進行統(tǒng)計并生成與之相對應的統(tǒng)計報表
2.3 手持終端APP應用模塊
手持終端APP應用模塊主要面向檢測機構工作人員
檢測機構工作人員通過輸入機動車車輛基本信息，車牌號、車牌顏色、VIN碼進行車輛登錄進行外檢操作
檢測人員輸入車牌號，系統(tǒng)自動通過公安接口獲取機動車資料，并有檢測人員補充其它車輛信息，完成車輛基本資料錄入
檢測人員對新車查驗環(huán)保隨車清單是否與信息公開內容是否一致。檢查車輛污染控制裝置和發(fā)動機與環(huán)保信息隨車清單是否一致。對在用車檢查被檢車輛的車況是否正常、檢查發(fā)動機排氣管、排氣消聲器和排氣后處理裝置的外觀及安裝緊固部位是否完好、檢查車輛是否配置有OBD系統(tǒng)、判斷車輛檢測方法、確認車輛輪胎表面無夾雜異物、查驗污染控制裝置是否完好等相關檢驗工作，對三項否決項重點檢查1、排氣污染控制裝置是否齊全，正常2、燃油蒸發(fā)控制系統(tǒng)是否正常3、車輛是否存在燒機油、或者嚴重冒黑煙現(xiàn)象，若以上三點存在問題，外檢直接判定車輛不合格，檢測流程結束。最后按照要求拍照并上傳。
系統(tǒng)會將車輛以列表形式在系統(tǒng)內展示，檢測人員也通過該功能查看當前待檢車輛外檢記錄，也可查看車輛歷史外檢記錄。
四、展望
隨著TDEngine
2.0版本的到來，開源了分布式多節(jié)點功能，彌補了原有社區(qū)單機版的遺憾，讓我覺得選擇TDEngine
這個生態(tài)超級幸運。
通過系統(tǒng)實踐，不僅滿足了系統(tǒng)設計的初衷，而且?guī)砹烁囿@喜，在以后的項目中，筆者將繼續(xù)實踐TDEngine新功能，包括引入linux
版本的邊緣存儲架構去適應更多工業(yè)控制采集領域對響應時間的嚴格要求，可維護性強，硬件資源占用極少的TDEngine將大放異彩。
總結
以上是生活随笔為你收集整理的多协议数据采集网关结合TDEngine时序数据库的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 英雄杀判定
- 下一篇： [转]SQL Server 数据库规范