要運行caffe，需要先創建一個模型（model)，如比較常用的Lenet,Alex等， 而一個模型由多個屋（layer）構成，每一屋又由許多參數組成。所有的參數都定義在caffe.proto這個文件中。要熟練使用caffe，最重要的就是學會配置文件（prototxt）的編寫。

層有很多種類型，比如Data,Convolution,Pooling等，層之間的數據流動是以Blobs的方式進行。

今天我們就先介紹一下數據層.

數據層是每個模型的最底層，是模型的入口，不僅提供數據的輸入，也提供數據從Blobs轉換成別的格式進行保存輸出。通常數據的預處理（如減去均值, 放大縮小, 裁剪和鏡像等），也在這一層設置參數實現。

數據來源可以來自高效的數據庫（如LevelDB和LMDB），也可以直接來自于內存。如果不是很注重效率的話，數據也可來自磁盤的hdf5文件和圖片格式文件。

所有的數據層的都具有的公用參數：先看示例

?

layer {name: "cifar"type: "Data"top: "data"top: "label"include {phase: TRAIN}transform_param {mean_file: "examples/cifar10/mean.binaryproto"}data_param {source: "examples/cifar10/cifar10_train_lmdb"batch_size: 100backend: LMDB} }

?

?

name: 表示該層的名稱，可隨意取

?

type: 層類型，如果是Data，表示數據來源于LevelDB或LMDB。根據數據的來源不同，數據層的類型也不同（后面會詳細闡述）。一般在練習的時候，我們都是采 ? ? ? ? 用的LevelDB或LMDB數據，因此層類型設置為Data。

?

top或bottom: 每一層用bottom來輸入數據，用top來輸出數據。如果只有top沒有bottom，則此層只有輸出，沒有輸入。反之亦然。如果有多個 top或多個 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? bottom，表示有多個blobs數據的輸入和輸出。

?

data 與 label: 在數據層中，至少有一個命名為data的top。如果有第二個top，一般命名為label。 這種(data,label)配對是分類模型所必需的。

?

include: 一般訓練的時候和測試的時候，模型的層是不一樣的。該層（layer）是屬于訓練階段的層，還是屬于測試階段的層，需要用include來指定。如果沒有 ? ? ? ? ? ? ? ? ? ? include參數，則表示該層既在訓練模型中，又在測試模型中。

Transformations: 數據的預處理，可以將數據變換到定義的范圍內。如設置scale為0.00390625，實際上就是1/255,?即將輸入數據由0-255歸一化到0-1之間

?

其它的數據預處理也在這個地方設置：

transform_param {scale: 0.00390625mean_file_size: "examples/cifar10/mean.binaryproto"# 用一個配置文件來進行均值操作mirror: 1 # 1表示開啟鏡像，0表示關閉，也可用ture和false來表示# 剪裁一個 227*227的圖塊，在訓練階段隨機剪裁，在測試階段從中間裁剪crop_size: 227}

后面的data_param部分，就是根據數據的來源不同，來進行不同的設置。

1、數據來自于數據庫（如LevelDB和LMDB）

? 層類型（layer type）:Data

必須設置的參數：

? source: 包含數據庫的目錄名稱，如examples/mnist/mnist_train_lmdb

? batch_size: 每次處理的數據個數，如64

可選的參數：

? rand_skip: 在開始的時候，路過某個數據的輸入。通常對異步的SGD很有用。

? backend: 選擇是采用LevelDB還是LMDB, 默認是LevelDB.

示例：

layer {name: "mnist"type: "Data"top: "data"top: "label"include {phase: TRAIN}transform_param {scale: 0.00390625}data_param {source: "examples/mnist/mnist_train_lmdb"batch_size: 64backend: LMDB} }

2、數據來自于內存

層類型：MemoryData

必須設置的參數：

?batch_size：每一次處理的數據個數，比如2

?channels：通道數

? height：高度

? ?width: 寬度

示例：

?

layer {top: "data"top: "label"name: "memory_data"type: "MemoryData"memory_data_param{batch_size: 2height: 100width: 100channels: 1}transform_param {scale: 0.0078125mean_file: "mean.proto"mirror: false} }

?

3、數據來自于HDF5

層類型：HDF5Data

必須設置的參數：

source: 讀取的文件名稱

batch_size: 每一次處理的數據個數

示例：

layer {name: "data"type: "HDF5Data"top: "data"top: "label"hdf5_data_param {source: "examples/hdf5_classification/data/train.txt"batch_size: 10} }

4、數據來自于圖片

層類型：ImageData

必須設置的參數：

? source: 一個文本文件的名字，每一行給定一個圖片文件的名稱和標簽（label)

? batch_size: 每一次處理的數據個數，即圖片數

可選參數：

? rand_skip:?在開始的時候，路過某個數據的輸入。通常對異步的SGD很有用。

? shuffle: 隨機打亂順序，默認值為false

? new_height,new_width: 如果設置，則將圖片進行resize

?示例：

layer {name: "data"type: "ImageData"top: "data"top: "label"transform_param {mirror: falsecrop_size: 227mean_file: "data/ilsvrc12/imagenet_mean.binaryproto"}image_data_param {source: "examples/_temp/file_list.txt"batch_size: 50new_height: 256new_width: 256} }

5、數據來源于Windows

層類型：WindowData

必須設置的參數：

? source: 一個文本文件的名字

? batch_size: 每一次處理的數據個數，即圖片數

示例：

layer {name: "data"type: "WindowData"top: "data"top: "label"include {phase: TRAIN}transform_param {mirror: truecrop_size: 227mean_file: "data/ilsvrc12/imagenet_mean.binaryproto"}window_data_param {source: "examples/finetune_pascal_detection/window_file_2007_trainval.txt"batch_size: 128fg_threshold: 0.5bg_threshold: 0.5fg_fraction: 0.25context_pad: 16crop_mode: "warp"} }

?

總結

以上是生活随笔為你收集整理的Caffe学习系列(2)：数据层及参数的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。