本次內(nèi)容主要是使用kitti數(shù)據(jù)集來(lái)可視化kitti車上一些傳感器（相機(jī)、激光雷達(dá)、IMU）采集的資料以及對(duì)行人和車輛進(jìn)行檢測(cè)并在圖像中畫出行人和車輛的2D框、在點(diǎn)云中畫出行人和車輛的3D框。

首先先看看最終實(shí)現(xiàn)的效果：

自動(dòng)駕駛視頻

看了上面的效果視頻，是不是充滿好奇了呢，下面讓我們一步步的來(lái)學(xué)習(xí)。。。

1、準(zhǔn)備工作

1.1數(shù)據(jù)集下載

在開始之前，先做一些準(zhǔn)備工作，即從kitti上下載相關(guān)數(shù)據(jù)：kitty官網(wǎng)

如圖所示：下載途中箭頭所指的兩個(gè)文件【注：需要先進(jìn)行注冊(cè)】

除了下載這兩個(gè)文件，后面還需要下載汽車模型文件和標(biāo)注文件，這里直接貼出下載地址：數(shù)據(jù)下載

?

1.2 創(chuàng)建工作空間并建立一些文件

• 創(chuàng)建功能包

cd ~/catkin_ws/src catkin_create_pkg kitti_turtorial rospy

• 在剛創(chuàng)建的功能包下的src文件夾中創(chuàng)建以下python文件

?

2、詳細(xì)步驟

說(shuō)明：該部分只是自己的學(xué)習(xí)筆記，故只會(huì)貼出每一步比較核心的代碼，要想看懂整個(gè)流程，建議完整的觀看相關(guān)視頻：視頻

當(dāng)然最后我也會(huì)貼出所有文件的源碼供大家學(xué)習(xí)

?
?

2.1 發(fā)布照片

#創(chuàng)建一個(gè)攝像頭的發(fā)布者 cam_pub = rospy.Publisher('kitti_cam',Image,queue_size=10) #讀取攝像機(jī)數(shù)據(jù) image = read_camera(os.path.join(DAtA_PATH, 'image_02/data/%010d.png'%frame)) #發(fā)布數(shù)據(jù) publish_camera(cam_pub,bridge,image,boxes_2d,types)

?

2.2 發(fā)布點(diǎn)云

#創(chuàng)建一個(gè)點(diǎn)云的發(fā)布者 pcl_pub = rospy.Publisher('kitti_point_cloud',PointCloud2,queue_size=10) #讀取點(diǎn)云數(shù)據(jù) point_cloud = read_point_cloud(os.path.join(DAtA_PATH,'velodyne_points/data/%010d.bin'%frame)) #發(fā)布數(shù)據(jù) publish_point_cloud(pcl_pub,point_cloud)

?

2.3 畫出自己車子以及照相機(jī)視野

#創(chuàng)建一個(gè)汽車的發(fā)布者 ego_pub = rospy.Publisher('kitti_ego_car',MarkerArray,queue_size=10) #發(fā)布ego_car數(shù)據(jù) publish_ego_car(ego_pub)##繪制車子的照相機(jī)視野 marker.id = 0 marker.action = marker.ADD marker.lifetime = rospy.Duration() marker.type = Marker.LINE_STRIPmarker.color.r = 0.0 marker.color.g = 1.0 marker.color.b = 0.0 marker.color.a = 1.0 marker.scale.x = 0.2marker.points = [] marker.points.append(Point(10,-10,0)) marker.points.append(Point(0,0,0)) marker.points.append(Point(10,10,0))marker_array.markers.append(marker)

?

2.4 發(fā)布IMU

#創(chuàng)建一個(gè)IMU發(fā)布者 imu_pub = rospy.Publisher('kitti_imu',Imu,queue_size=10)#發(fā)布imu數(shù)據(jù) publish_imu(imu_pub,imu_data)##IMU發(fā)布函數(shù)相關(guān)設(shè)置 def publish_imu(imu_pub,imu_data):imu = Imu()imu.header.frame_id = FRAME_IDimu.header.stamp = rospy.Time.now()#設(shè)置旋轉(zhuǎn)量q = tf.transformations.quaternion_from_euler(float(imu_data.roll),float(imu_data.pitch),float(imu_data.yaw));imu.orientation.x = q[0]imu.orientation.y = q[1]imu.orientation.z = q[2]imu.orientation.w = q[3]#設(shè)置線性加速度imu.linear_acceleration.x = imu_data.afimu.linear_acceleration.y = imu_data.alimu.linear_acceleration.z = imu_data.au#設(shè)置角加速度imu.angular_velocity.x = imu_data.wfimu.angular_velocity.y = imu_data.wlimu.angular_velocity.z = imu_data.wuimu_pub.publish(imu)

?

2.5 發(fā)布GPS

#創(chuàng)建一個(gè)GPS發(fā)布者 gps_pub = rospy.Publisher('kitti_gps',NavSatFix,queue_size=10) #發(fā)布GPS數(shù)據(jù) publish_gps(gps_pub,imu_data)##GPS發(fā)布函數(shù)相關(guān)設(shè)置 def publish_gps(gps_pub,imu_data):gps = NavSatFix()gps.header.frame_id = FRAME_IDgps.header.stamp = rospy.Time.now()#gps經(jīng)度、緯度、海拔高度gps.latitude = imu_data.latgps.longitude = imu_data.longps.altitude = imu_data.altgps_pub.publish(gps)

?

2.6 在rviz上顯示2D偵測(cè)框

#讀取2D檢測(cè)框數(shù)據(jù) boxes_2d = np.array(df_tracking_frame[['bbox_left', 'bbox_top', 'bbox_right', 'bbox_bottom']]) types = np.array(df_tracking_frame['type'])## 2D框相關(guān)設(shè)置 for typ,box in zip(types,boxes):top_left = int(box[0]),int(box[1])bottom_right = int(box[2]),int(box[3])cv2.rectangle(image,top_left,bottom_right,DETECTION_COLOR_DICT[typ],2) cam_pub.publish(bridge.cv2_to_imgmsg(image,"bgr8"))

?

2.7 在rviz上顯示3D 偵測(cè)框

#讀取3D檢測(cè)框數(shù)據(jù) boxes_3d = np.array(df_tracking_frame[['height', 'width', 'length', 'pos_x', 'pos_y', 'pos_z', 'rot_y']] corners_3d_velos = [] for box_3d in boxes_3d:corners_3d_cam2 = compute_3d_box_cam2(*box_3d)corners_3d_velo = calib.project_rect_to_velo(corners_3d_cam2.T)corners_3d_velos += [corners_3d_velo]##3D框發(fā)布函數(shù)相關(guān)設(shè)置 def publish_3dbox(box3d_pub,corners_3d_velos,types):marker_array = MarkerArray()for i, corners_3d_velo in enumerate(corners_3d_velos):# 3d boxmarker = Marker()marker.header.frame_id = FRAME_IDmarker.header.stamp = rospy.Time.now()marker.id = imarker.action = Marker.ADDmarker.lifetime = rospy.Duration(LIFETIME)marker.type = Marker.LINE_LISTb, g, r = DETECTION_COLOR_DICT[types[i]]marker.color.r = r/255.0marker.color.g = g/255.0marker.color.b = b/255.0marker.color.a = 1.0marker.scale.x = 0.1marker.points = []for l in LINES:p1 = corners_3d_velo[l[0]]marker.points.append(Point(p1[0], p1[1], p1[2]))p2 = corners_3d_velo[l[1]]marker.points.append(Point(p2[0], p2[1], p2[2]))marker_array.markers.append(marker)box3d_pub.publish(marker_array)

3、代碼合集

代碼托管在Gitee上，自行下載：代碼

?
?

咻咻咻咻~~duang~~點(diǎn)個(gè)贊唄

下一篇：使用kitti數(shù)據(jù)集實(shí)現(xiàn)自動(dòng)駕駛——繪制出所有物體的行駛軌跡

總結(jié)

以上是生活随笔為你收集整理的使用kitti数据集实现自动驾驶——发布照片、点云、IMU、GPS、显示2D和3D侦测框的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。