GPUによる高速な学習を試してみる。
keyword: Chainer, GPU, cupy
大量のデータを使って学習するにはGPU（Graphics Processing Uni）は必須です。
CPUの演算より約10倍も早くなります。
いろいろパラメータやデータなどを変えて実験するにはGPUはなくてはならないハードウェアです。
これまで作成したAIのプログラム（Pyゼミ3.05など）の修正点について説明します。
GPUを使うための環境の構築については説明しません。
環境の構築はインターネット上にたくさんの情報がりますので，OS，CUDAやその他のドライバーなどのバージョンを確認しながら構築してください。
前回Pyゼミ3.05のプログラムをGPU対応にする
ChainerのプログラムをGPU対応するには次の3点の修正を加えます。
- numpyの代わりにcupyを使う
- modelをGPUに対応させる
- UpdaterをGPUに対応させる
これだけです。それぞれについて具体的に説明します。
1. numpyの代わりにcupyを使う
cupyはGPUで演算させるためのライブラリで，行列演算などを効率的に行うnumpyと互換性を持っています。つまり，numpyで記述しているプログラムをcupyに書き換えればよいわけです。
numpyは次のようにnpという名前でインポートしています。
import numpy as np
また，GPUの使用，未使用をスイッチするために，uses_device変数を初期化します。
未使用のときはｰ1を，使用時は0以上の値（通常は0）を設定します。
uses_device = 0 # GPU 0〜、CPU -1
さて，GPU使用時にnumpyをcupyに書き換える方法ですが，
次のように，GPU使用時（>=0）に，cupyをcpとしてインポートし，
npにcpを代入するだけで，プログラムはGPU用に書き換えられました。
if uses_device >= 0:
import cupy as cp
np = cp
2. modelをGPUに対応させる
ニューラルネットワークのモデルをいつも通りに生成します。model = Alexnet(nlbl)
このモデルをGPUに対応させます。
GPU使用時（>=0）には以下の行を実行し，モデルがGPUを使って演算できるようにします。
if uses_device >= 0:
chainer.cuda.get_device_from_id(0).use()
chainer.cuda.check_cuda_available()
model.to_gpu()
3. UpdaterをGPUに対応させる
パラメータ更新を担当するUpdaterをGPUに対応させます。
引数にdevice=uses_deviceを追加するだけです。
updater = training.StandardUpdater(t_iterator, self.opt, device=uses_device)
また，Pyゼミ3.05のプログラム中のEvaluatorも同様に引数にdevice=uses_deviceを追加します。
trainer.extend(extensions.Evaluator(v_iterator, self.model, device=uses_device))
以上，３つの追加修正によりGPUに対応したプログラムになります。
プログラムを入力して実行してみよう
このプログラムはPy3.05が基本です。これに３つの修正が加わっています。
dicomAlexnetTrainGPU.py
- import os, sys
- import numpy as np
- import cv2
- import chainer
- from chainer import Function, report, training, utils, Variable
- from chainer import datasets, iterators, optimizers, serializers
- from chainer import Link, Chain, ChainList
- import chainer.functions as F
- import chainer.links as L
- from chainer.datasets import tuple_dataset
- from chainer.training import extensions
- from chainer.datasets import split_dataset_random #new
- import pydicom
- uses_device = 0 # GPU 0〜、CPU -1
- if uses_device >= 0:
- import cupy as cp
- np = cp
- def constractTrainData( fname , resz ):
- image = []
- label = []
- for i, line in enumerate(open(fname, 'r')):
- data = line.split(",")
- print("Train",i, data[0], "Label#",data[1])
- img = readDicom2png(data[0], "tmp.png")
- if resz > 0:
- img = cv2.resize(img,(resz, resz))
- img = img.astype(np.float32)
- img = (img - 128)/128 #画素値0-255を-1.0から+1.0に変換
- image.append([img])
- t = np.array(int(data[1]), dtype=np.int32)
- label.append(t)
- train = tuple_dataset.TupleDataset(image, label)
- return train
- def readDicom2png(dcmfnm, tmpfnm):
- ds = pydicom.read_file(dcmfnm)
- wc = ds.WindowCenter
- ww = ds.WindowWidth
- img = ds.pixel_array
- max = wc + ww / 2
- min = wc - ww / 2
- img = 255 * (img - min)/(max - min)
- img[img > 255] = 255
- img[img < 0 ] = 0
- img = img.astype(np.uint8)
- cv2.imwrite(tmpfnm, img)
- return img
- def getLabelName(fname):
- lblnm = []
- for line in open(fname, 'r'):
- data = line.split(",")
- lblnm.append(data[1].strip())
- #lblnm[int(data[0])]= data[1]
- print("LabelName:",lblnm)
- return len(lblnm), lblnm
- class Alexnet(Chain): ### AlexNet ###
- def __init__(self, n_label, n_channel=1):
- super(Alexnet, self).__init__(
- conv1 = L.Convolution2D(n_channel, 96, 11, stride=4),
- conv2 = L.Convolution2D(96, 256, 5, pad=2),
- conv3 = L.Convolution2D(256, 384, 3, pad=1),
- conv4 = L.Convolution2D(384, 384, 3, pad=1),
- conv5 = L.Convolution2D(384, 256, 3, pad=1),
- fc6 = L.Linear(None, 4096),
- fc7 = L.Linear(4096, 4096),
- fc8 = L.Linear(4096, n_label),
- )
- def __call__(self, x):
- h = F.max_pooling_2d(F.local_response_normalization(
- F.relu(self.conv1(x))), 3, stride=2)
- h = F.max_pooling_2d(F.local_response_normalization(
- F.relu(self.conv2(h))), 3, stride=2)
- h = F.relu(self.conv3(h))
- h = F.relu(self.conv4(h))
- h = F.max_pooling_2d(F.relu(self.conv5(h)), 2, stride=2)
- h = F.dropout(F.relu(self.fc6(h)))
- h = F.dropout(F.relu(self.fc7(h)))
- return self.fc8(h)
- class Classifier():
- def __init__(self, mdlnm, nlbl):
- model = Alexnet(nlbl)
- if uses_device >= 0: # GPUを使う
- chainer.cuda.get_device_from_id(0).use()
- chainer.cuda.check_cuda_available()
- model.to_gpu() # GPU用データ形式に変換
- self.model = L.Classifier(model,lossfun=F.softmax_cross_entropy)
- self.opt = optimizers.Adam()
- self.opt.setup(self.model)
- self.modelName = mdlnm
- def doTrain(self, nLbl, train, batch_size, n_epoch, modelName):
- trn, vld = split_dataset_random(train, int(len(train)*0.8), seed=0)
- t_iterator = iterators.SerialIterator(trn, batch_size, shuffle=True)
- v_iterator = iterators.SerialIterator(vld, batch_size, repeat=False, shuffle=False)
- updater = training.StandardUpdater(t_iterator, self.opt, device=uses_device) #GPU
- trainer = training.Trainer(updater, (n_epoch, 'epoch'), out='result')
- trainer.extend(extensions.Evaluator(v_iterator, self.model, device=uses_device)) #GPU
- trainer.extend(extensions.LogReport())
- trainer.extend(extensions.PrintReport(['epoch', 'main/loss', 'main/accuracy', 'validation/main/accuracy']))
- trainer.extend(extensions.ProgressBar())
- trainer.extend(extensions.PlotReport(['main/loss', 'validation/main/loss'], x_key='epoch', file_name='loss.png'))
- trainer.extend(extensions.PlotReport(['main/accuracy', 'validation/main/accuracy'], x_key='epoch', file_name='accuracy.png'))
- trainer.run()
- print("学習モデル",self.modelName,"を保存します．.. . .")
- chainer.serializers.save_hdf5( self.modelName, self.model )
- print("\t... . .学習モデルを保存しました")
- if __name__=='__main__':
- trainfnm = "./TrainTestList/TrainData.0.3.csv"
- labelfnm = "./TrainTestList/labelName.csv"
- resize = 128 #画像リサイズ 0のときそのままの画素サイズ
- modelnm = "Alexnet.0.3.hdf5" #モデル保存名
- batch_size = 10 # バッチサイズ
- n_epoch = 30 # エポック数
- nLbl, lblName = getLabelName(labelfnm)
- train = constractTrainData(trainfnm, resize)
- print("\ntrain\n")
- print("画像データ数:",len(train),"画像/ラベル：",len(train[0]))
- print("画像Chanel数:",len(train[0][0]),"高さ:",len(train[0][0][0]),"幅:",len(train[0][0][0][0]))
- dl = Classifier(modelnm, nLbl)
- dl.doTrain(nLbl, train, batch_size, n_epoch, modelnm)
実行結果
プログラムは，実効時間を計測するためtimeコマンドを付けて実行します。
プログラムはラベルファイルを読み込みラベル名を表示し，DICOM画像を読み込みます。
学習がはじまり30回のエポック終了後に実行時間が表示されます。
timeコマンドは，プログラムの起動から終了までの時間をrealの値で示しています。
わたしのGefoece GTX 1060では0m29.636sでした。約30秒でした。
（実行環境：OS Ubuntu 16.04 LTS，CPU Core i5-6400 2.7GHz, メモリ 8GB，GPU GeForce GTX 1060 6GB）
$ time␣python␣dicomAlexnetTrainGPU.py⏎ LabelName: ['Lung', 'Abdomen', 'Chest', 'Head'] Train 0 ../dcmdir2/Lung/W5305890 Label# 0 Train 1 ../dcmdir2/Lung/K5303593 Label# 0 Train 2 ../dcmdir2/Lung/R5305640 Label# 0 Train 5 ../dcmdir2/Lung/D5304468 Label# 0 ・・・・・ Train 139 ../dcmdir2/Head/G5221187 Label# 3 Train 140 ../dcmdir2/Head/Q5221671 Label# 3 Train 141 ../dcmdir2/Head/E5221093 Label# 3 train 画像データ数: 142 画像/ラベル： 2 画像Chanel数: 1 高さ: 128 幅: 128 epoch main/loss main/accuracy validation/main/accuracy 1 1.8203 0.283333 0.481481 2 1.06403 0.545455 0.725926 3 0.741141 0.581818 0.759259 4 0.735347 0.7 0.725926 5 0.639062 0.581818 0.825926 ・・・・・ 28 0.00639354 1 1 29 0.0178032 0.990909 1 30 0.0548964 0.981818 0.933333 学習モデル Alexnet.0.3.hdf5 を保存します．.. . . ... . .学習モデルを保存しました real 0m29.636s user 0m31.316s sys 0m17.240s
GPU使用・未使用の演算時間の比較
GPU使用時では約30秒の実行時間でしたが，
uses_device ＝ -1 にして，GPUを使用しないで実行時間を計測すると
6分18秒でした。
その差は約12倍です。
明らかに実行速度が向上しています。
real 6m18.688s user 9m16.004s sys 8m6.400s
GPUの稼働状況はNVIDIAのツールで確認できます。
引数はハイフン，エルです。
$ nvidia-smi␣-l⏎
中段の右にGPU-Utilが96％と表示され，GPUがフル稼働しているのが分かります。
まとめ
今回はGPUに対応したプログラムの作り方について説明しました。
次の３つについて修正するだけで簡単にGPUが使えることがわかりました。
- numpyの代わりにcupyを使う
- modelをGPUに対応させる
- UpdaterをGPUに対応させる
また，使っていない古い読影端末やワークステーションにGPU搭載しているものがあります。
とりあえずこれを流用する方法もあると思います。
0 件のコメント:
コメントを投稿