車聯(lián)網(wǎng)屬于物聯(lián)網(wǎng)的一個分支，通過車載終端采集數(shù)據(jù)，利用無線網(wǎng)絡(luò)傳輸?shù)皆品?wù)平臺進行持久化存儲，最終提供基于實時/歷史數(shù)據(jù)的個性化服務(wù)。

目前初創(chuàng)型的車輛網(wǎng)企業(yè)，接入的車輛通常低于10萬，數(shù)據(jù)采集頻率遠遠大于1秒。這個級別的數(shù)據(jù)規(guī)模，如果采用HBase系的技術(shù)方案，需要至少6臺8核32G配置的機器，而采用TDengine作為數(shù)據(jù)存儲引擎，一臺2核8G的機器就可以完成。

技術(shù)架構(gòu)

TDengine作為時序處理引擎，可以完全不用Kafka、HDFS/HBase/Spark、Redis等軟件，大幅簡化大數(shù)據(jù)平臺的設(shè)計，降低研發(fā)成本和運營成本。因為需要集成的開源組件少，因而系統(tǒng)可以更加健壯，也更容易保證數(shù)據(jù)的一致性。

• 基于HBase的解決方案，架構(gòu)圖如下

• 而基于TDengine的解決方案，架構(gòu)圖如下

數(shù)據(jù)模型

車載終端采集的數(shù)據(jù)字段非常多，很多企業(yè)按照國標ISO 22901建立數(shù)據(jù)模型，也有公司按照業(yè)務(wù)需要使用自定義的數(shù)據(jù)模型。但通常，采集數(shù)據(jù)都包含如下字段，本文也采用這種方法構(gòu)造數(shù)據(jù)模型。

• 采集時間（時間戳）
• 車輛標志（字符串）
• 經(jīng)度（雙精度浮點）
• 維度（雙精度浮點）
• 海拔（浮點）
• 方向（浮點）
• 速度（浮點）
• 車牌號（字符串）
• 車輛型號（字符串）
• 車輛vid（字符串）

不同于其他時序數(shù)據(jù)引擎，TDengine為每輛車單獨創(chuàng)建一張數(shù)據(jù)表，數(shù)據(jù)字段為采集時間、車輛標志、經(jīng)度、緯度、海拔、方向、速度等與時間序列相關(guān)的采集數(shù)據(jù)；標簽字段為車牌號、車輛型號等車輛本身固定的描述信息。這里面有一個小技巧，浮點數(shù)據(jù)壓縮比相對整型數(shù)據(jù)壓縮比很差，經(jīng)度緯度通常精確到小數(shù)點后7位，因此將經(jīng)度緯度增大1E7倍轉(zhuǎn)為長整型存儲，將海拔、方向、速度增大1E2倍轉(zhuǎn)為整型存儲。

創(chuàng)建數(shù)據(jù)庫的語句為

create?database?db?cache?8192?ablocks?2?tblocks?1000?tables?10000;

創(chuàng)建超級表的SQL語句為

create?table?vehicle(ts?timestamp, longitude?bigint, latitude?bigint, altitude?int, direction?int, velocity?int) tags(card?int,?model?binary(10));

以車輛vid作為表名（例如vid為1，車牌號為25746，類型為bmw），那么創(chuàng)建數(shù)據(jù)表的語句為

create?table?v1?using?tags(25746, ‘bmw’);

數(shù)據(jù)寫入

仍然以車輛v1為例，寫入一條記錄到表v1的SQL語句為

insert?into?v1?values(1562150939000,1,2,3,4,5);

測試數(shù)據(jù)的生成，可以采用批量數(shù)據(jù)寫入方法，類似

insert?into?v1?values(1562150939000,1,1,1,1,1) (1562150969000,2,2,2,2,2) (1562150999000,3,3,3,3,3) (……)(……);

本文采用C語言編寫了一個車輛模擬數(shù)據(jù)生成程序，該程序首先10萬張數(shù)據(jù)表，然后每張數(shù)據(jù)表寫入1個月的數(shù)據(jù)（數(shù)據(jù)間隔1分鐘，計44000條數(shù)據(jù)）

#include <stdio.h> #include <stdlib.h> #include <string.h> #include <unistd.h> #include "time.h" #include "taos.h" int main(int argc, char *argv[]) {taos_init();TAOS *taos = taos_connect("127.0.0.1", "root", "taosdata", NULL, 0);if (taos == NULL) {printf("failed to connect to server, reason:%s\n", taos_errstr(taos));exit(1);}if (taos_query(taos, "create database db cache 8192 ablocks 2 tblocks 1000 tables 10000") != 0) {printf("failed to create database, reason:%s\n", taos_errstr(taos));exit(1);}taos_query(taos, "use db");char sql[65000] = "create table vehicles(ts timestamp, longitude bigint, latitude bigint, altitude int, direction int, velocity int) tags(card int, model binary(10))";if (taos_query(taos, sql) != 0) {printf("failed to create stable, reason:%s\n", taos_errstr(taos));exit(1);}int begin = time(NULL);for (int table = 0; table < 100000; ++table) {sprintf(sql, "create table v%d using vehicles tags(%d, 't%d')", table, table, table);if (taos_query(taos, sql) != 0) {printf("failed to create table t%d, reason:%s\n", table, taos_errstr(taos));exit(1);}for (int loop = 0; loop < 44; loop++) { int len = sprintf(sql, "insert into v%d values", table); for (int row = 0; row < 1000; row++) { len += sprintf(sql + len, "(%ld,%d,%d,%d,%d,%d)", 1561910400000L + 60000L * (row + loop * 1000L), row, row, row, row, row); } if (taos_query(taos, sql) != 0) { printf("failed to insert table t%d, reason:%s\n", table, taos_errstr(taos)); } }}int end = time(NULL);printf("insert finished, time spend %d seconds", end - begin);} }

將改C文件命名為test.c，在相同目錄下創(chuàng)建makefile文件

ROOT = ./ TARGET = exe LFLAGS = -Wl,-rpath,/usr/lib/ -ltaos -lpthread -lm -lrt CFLAGS = -O3 -g -Wall -Wno-deprecated -fPIC -Wno-unused-result -Wconversion -Wno-char-subscripts -D_REENTRANT -Wno-format -D_REENTRANT -DLINUX -msse4.2 -Wno-unused-function -D_M_X64 -std=gnu99 -I/usr/local/include/taos/all: $(TARGET)exe:gcc $(CFLAGS) ./test.c -o $(ROOT)/test $(LFLAGS)clean:rm $(ROOT)test

編譯之后，將測試程序和數(shù)據(jù)庫在同一臺2核8G的臺式機上運行，寫入時間共計為3946秒，相當于4400000000條/3946秒=111.5萬條/秒，折算成點數(shù)為111.5*5=557萬點/秒。

insert?finished,?time?spend?3946?seconds

該程序是單線程運行的，如將其修改成多線程，速度還會有更大提升，但是僅就目前的性能來看，對于車輛網(wǎng)的場景也已經(jīng)足夠。

數(shù)據(jù)查詢

TDengine在數(shù)據(jù)查詢方面做了很多針對時序數(shù)據(jù)的優(yōu)化。基于上面生成的測試數(shù)據(jù)集進行查詢，這是一些常見SQL語句的運行結(jié)果，性能還是有點嚇人的。

• 查詢總數(shù)

• 單輛車的明細數(shù)據(jù)

查詢類型查詢時間

1車當前值查詢	2.3ms
1車1小時明細查詢	2.1ms
1車1日明細查詢	6.3ms
1車10日明細查詢	15.4ms
1車31日明細查詢	31.6ms

• 單輛車的聚合查詢

查詢類型查詢時間

1車1小時聚合查詢	1.9ms
1車1日聚合查詢	1.7ms
1車10日聚合查詢	2.3ms
1車31日聚合查詢	2.2ms

• 多輛車的單日聚合查詢

查詢類型查詢時間

1車單日聚合查詢	3.2ms
10車單日聚合查詢	5.1ms
100車單日聚合查詢	10.4ms
1000車單日聚合查詢	51.4ms
10000車單日聚合查詢	455.9ms
100000車單日聚合查詢	2074.8ms

• 多輛車單月聚合查詢

查詢類型查詢時間

1車單月聚合查詢	3.1ms
10車單月聚合查詢	4.1ms
100車單月聚合查詢	7.7ms
1000車單月聚合查詢	33.7ms
10000車單月聚合查詢	289.5ms
100000車單月聚合查詢	1197.ms

• 多輛車單月曲線查詢

查詢類型查詢時間

1車單月曲線查詢	6.9ms
10車單月曲線查詢	13.2ms
100車單月曲線查詢	75.6ms
1000車單月曲線查詢	710.9ms
10000車單月曲線查詢	7137.6ms
100000車單月曲線查詢	32130.8ms

• 資源消耗

數(shù)據(jù)庫服務(wù)進程只消耗了約2.7GB的內(nèi)存，CPU占用可以忽略不計。

結(jié)果分析

TDengine提供的時序數(shù)據(jù)解決方案，單機情況下的平均寫入速度在百萬條/秒級別，單輛車的所有查詢均能做到實時，多輛車的查詢速度也非常快，是車聯(lián)網(wǎng)乃至物聯(lián)網(wǎng)的必備利器。

總結(jié)

以上是生活随笔為你收集整理的使用 TDengine 快速搭建车联网平台的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。