Augmentor和imgaug——python圖像數據增強庫
Tags: ComputerVision Python
介紹兩個圖像增強庫：Augmentor和imgaug,Augmentor使用比較簡單,只有一些簡單的操作。 imgaug實現的功能更多，可以對keypoint, bounding box同步處理，比如你現在由一些標記好的數據，只有同時對原始圖片和標記信息同步處理，才能有更多的標記數據進行訓練。我在segmentation和detection任務經常使用imgaug這個庫。
Augmentor
http://augmentor.readthedocs.io/en/master/index.html
Augmentor 是管道化的圖像增強庫，每一個增強操作都是逐步疊加在圖像上。此外對于輸入的圖像，可以選擇按照一定的概率進行增強，比如只隨機對一半圖像進行旋轉。
rotate(probability=0.5, max_left_rotation=5, max_right_rotation=10)
可以實現的操作有, rotate, crop, perspective skew(視角傾斜), elastic distortions(彈性變換), sheering(坐標軸傾斜), mirroring(鏡像)
可以使用Augumentor.Pipeline()創建一個實例,調用各種方法向pipeline添加方法, status()可以顯示當前pipeline的狀態，在status中每個操作都有一個對應的index, remove_operation(index)移除一個操作, 最后調用sample(nums)得到nums個augument后的圖像。
import Augmentor
p = Augmentor.Pipeline("/path/to/images/")
p.status()
p.remove_operation(0)
rotate
- rotate() 旋轉，非90度旋轉會帶來padding或者裁剪
- rotate90()
- rotate180()
- rotate270()
- rotate_random_90() 隨機旋轉，90, 180, 270
resize
crop
- crop_centre()
- crop_by_size()
- crop_random()
sheer
+ sheer()
mirroring
- flip_left_right()
- flip_top_bottom()
- flip_random()
elastic distortion
- random_distortion()
Before
After
彈性變換是在計算機視覺任務中經常使用的一種變換，比較有名的Segmentation Model U-Net就使用了elastic deformation來對自己的數據做Augmentation.最后取得了較好的效果.
imgaug
http://imgaug.readthedocs.io/en/latest/index.html
安裝
依賴
- numpy
- scipy
- scikit-image (pip install -U + scikit-image)
- six (pip install -U six)
- OpenCV (i.e. cv2 must be available in python). The library is mainly tested in OpenCV 2, but seems to also work in OpenCV 3.
pip install git+https://github.com/aleju/imgaug
或者
pip install imgaug
前者安裝github最新版本，后者安裝pypi版本。
basic
Keypoint
Bounding Boxes
這個部分做object detection的人應該經常用到。
imgaug支持：
- 將bounding boxes作為對象表示
- 增強boundiing boxes
- 在圖像上畫bounding boxes
- boxing boxes移動， 映射， 計算IoU
Before
After
由于VOC_PASCAL是在分割和檢測領域常見的數據集，這里給出一個使用VOC_PASCAL標記格式進行數據增強的例子。
標記格式：
<?xml version="1.0" ?>
<annotation>
<folder>Pictures</folder>
<filename>bndbox.jpg</filename>
<path>/home/redtea/Pictures/bndbox.jpg</path>
<source><database>Unknown</database>
</source>
<size><width>1200</width><height>1200</height><depth>3</depth>
</size><segmented>0</segmented><object><name>cat</name><pose>Unspecified</pose><truncated>0</truncated><difficult>0</difficult><bndbox><xmin>49</xmin><ymin>647</ymin><xmax>599</xmax><ymax>1125</ymax></bndbox>
</object><object><name>dog</name><pose>Unspecified</pose><truncated>0</truncated><difficult>0</difficult><bndbox><xmin>678</xmin><ymin>547</ymin><xmax>1159</xmax><ymax>1159</ymax></bndbox>
</object>
</annotation> import xml.etree.ElementTree as ET
import pickle
import os
from os import getcwd
import numpy as np
from PIL import Image
import cv2import imgaug as ia
from imgaug import augmenters as iaaia.seed(1)def read_xml_annotation(root,image_id):in_file = open(os.path.join(root,image_id))tree = ET.parse(in_file)root = tree.getroot()bndbox = root.find('object').find('bndbox')xmin = int(bndbox.find('xmin').text)xmax = int(bndbox.find('xmax').text)ymin = int(bndbox.find('ymin').text)ymax = int(bndbox.find('ymax').text)return (xmin, ymin, xmax, ymax)def change_xml_annotation(root, image_id, new_target):new_xmin = new_target[0]new_ymin = new_target[1]new_xmax = new_target[2]new_ymax = new_target[3]in_file = open(os.path.join(root, str(image_id)+'.xml')) #這里root分別由兩個意思tree = ET.parse(in_file)xmlroot = tree.getroot() object = xmlroot.find('object')bndbox = object.find('bndbox')xmin = bndbox.find('xmin')xmin.text = str(new_xmin)ymin = bndbox.find('ymin')ymin.text = str(new_ymin)xmax = bndbox.find('xmax')xmax.text = str(new_xmax)ymax = bndbox.find('ymax')ymax.text = str(new_ymax)tree.write(os.path.join(root,str(image_id)+"_aug"+'.xml'))if __name__ == "__main__":cmd = os.getcwd()image_id = "bndbox"img = Image.open(os.path.join(cmd, str(image_id)+'.jpg'))img = np.array(img)bndbox = read_xml_annotation(cmd, str(image_id)+'.xml')bbs = ia.BoundingBoxesOnImage([ia.BoundingBox(x1=bndbox[0], y1=bndbox[1], x2=bndbox[2], y2=bndbox[3])], shape=img.shape)seq = iaa.Sequential([iaa.Flipud(0.5), # vertically flip 20% of all imagesiaa.Multiply((1.2, 1.5)), # change brightness, doesn't affect BBsiaa.Affine(translate_px={"x": 10, "y": 10},scale=(0.8, 0.95),rotate=(-10,10)) # translate by 40/60px on x/y axis, and scale to 50-70%, affects BBs])seq_det = seq.to_deterministic() # 保持坐標和圖像同步改變，而不是隨機image_aug = seq_det.augment_images([img])[0]bbs_aug = seq_det.augment_bounding_boxes([bbs])[0]before = bbs.bounding_boxes[0]after = bbs_aug.bounding_boxes[0]print("BB : (%.4f, %.4f, %.4f, %.4f) -> (%.4f, %.4f, %.4f, %.4f)" % (before.x1, before.y1, before.x2, before.y2,after.x1, after.y1, after.x2, after.y2))image_before = bbs.draw_on_image(img, thickness=2)image_after = bbs_aug.draw_on_image(image_aug, thickness=2)Image.fromarray(image_before).save("before.jpg")Image.fromarray(image_after).save('after.jpg')new_bndbox = []new_bndbox.append(int(bbs_aug.bounding_boxes[0].x1))new_bndbox.append(int(bbs_aug.bounding_boxes[0].y1))new_bndbox.append(int(bbs_aug.bounding_boxes[0].x2))new_bndbox.append(int(bbs_aug.bounding_boxes[0].y2))# 修改xml tree 并保存change_xml_annotation(cmd, image_id, new_bndbox)
這個包好像不能畫出傾斜的bounding box, 我的read xml程序只能讀取第一個bounding box，懶得修改了。
總之我覺得如果你Augmentor不能滿足你就可以使用imgaug,但是有一點需要注意！imgaug中一些變換會給邊緣區域帶來黑色填充塊，如果這些黑色填充塊對你的模型有影響的話，就需要特殊處理！！
轉載于:https://www.cnblogs.com/vincentcheng/p/9186540.html
總結
以上是生活随笔為你收集整理的【Tool】Augmentor和imgaug——python图像数据增强库的全部內容，希望文章能夠幫你解決所遇到的問題。
如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。
