マイブログ リスト

医療言語処理講座

2019年9月27日金曜日

Pyゼミ1.06 DICOM CT画像をLUTで疑似カラーを付けてみる

CTのグレー画像をLUTを使ってカラー画像にしてみる。


keyword: DICOM, ImageJ, LUT(Lookup table)


CTやMR画像などはグレー画像で色がありません。
これに色を付けるには1つの画素値を赤(R),緑(G)と青(B)の3つの色に分ける必要があります。
グレーの画素値(0から255)をRGBに分解する対応表をLookup table(LUT)と呼びます。

ImageJのLUTでCT画像に色を付ける


画像処理ツールのImageJにはたくさんのLUTが揃っています。

ImageJのImage/Lookup TablesにたくさんのLUTを見ることができます。


これを使ってImageJでグレー画像に疑似カラーの色を付けることができます。
オリジナルのDICOM画像を表示します。
ImageJによるDICOM画像表示

 この画像に「16 Color」のLUTを使ってカラー化してみます。
LUT処理後のDICOM画像
このように,脳実質が緑,脳室が青,頭蓋骨が白,周囲の脂肪が赤く表示されます。グレーの画素値の違いを色を付けることで見やすくなります。

ImageJのLUTはImageJがインストールされたディレクトリImageの下のlutsのディレクトリの中に .lut ファイルとして存在します。


ImageJのLUTファイルを読み込む


プログラムreadImageJLut.pyは初めにLUTを入れるリストのためにnumpyとLUTを表示するためにmatplotlibをインポートします。

LUTファイル名を変数lutfnmに代入します。

LUTがファイルをOpenしてdtにLUTのデータを”rb”で,バイナリデータとして読み込みます。
 f = open(lutfnm, "rb")
 dt = f.read()
 f.close()

dtにはRGBの値が1次元のバイナリデータとして格納されているため整数型のnumpyのリストに変換します。
for文を使ってdtの要素を一つずつ取り出しリストrgbに入れます。
 rgb     = np.array( [ i for i in dt ] )

リストrgbにはRの成分256個,Gの成分56個,Bの成分256個が1次元に格納されているので,reshapeメソッドを使って,3x256の2次元リストに変換しています。
これをR,G,Bの各成分のリストr,g,bに代入します。
 r, g, b = np.reshape( rgb, (3,256) )

これで各画素値に対応するRGB成分がリストr,g,bに格納されました。
グレーの画素値がvのとき,各RGB成分は r[v], g[v], b[v]として取り出すことができます。

readImageJLut.py

import numpy as np
from matplotlib import pyplot as plt

lutfnm = "D:\Dropbox\Temporary\ImageJ\ij152-win-java8\ImageJ\luts\\16_Colors.lut"

f = open(lutfnm, "rb")
dt = f.read()
f.close()

print(">1>要素数:", len(dt), ",型:",type(dt))

rgb     = np.array([i for i in dt]) # [r0・・・r255 g0・・・g255 b0・・・b255]
r, g, b = np.reshape(rgb,(3,256))   #  赤,緑と青の成分をリストr,gとbに分解
print(">2>",len(r),len(g),len(b))

# 画素値(Gray)とRGB成分の表示
print("LUT\nGray\tRed\tGreen\tBlue")
for i in range(256):
    print(i,"\t", r[i],"\t", g[i],"\t", b[i])

# LUT値のグラフ表示
x = np.linspace(0,255,256)  # 0〜255を256分割する
plt.plot(x, r, color='red')
plt.plot(x, g, color='green')
plt.plot(x, b, color='blue')
plt.show()



 プログラムを実行してみよう


プログラムを実行するとはじめに次の2行が表示されます。

>1>要素数: 768 ,型: <class 'bytes'>
>2> 256 256 256


要素数は768と表示されています。これは256xRGBになります。
そしてImageJのLUTはバイナリデータでファイルに格納されているためバイト型になっています。

次にバイト型が整数型のリストに変換され,LUTが表示されます。

LUT
Gray    Red     Green   Blue
0        0       0       0
1        0       0       0
2        0       0       0
3        0       0       0
4        0       0       0
5        0       0       0
6        0       0       0
7        0       0       0
8        0       0       0
9        0       0       0
10       0       0       0
11       0       0       0
12       0       0       0
13       0       0       0
14       0       0       0
15       0       0       0
16       1       1       171
17       1       1       171
18       1       1       171
19       1       1       171
 ・・・・・・・・・
236      222     180     222
237      222     180     222
238      222     180     222
239      222     180     222
240      255     255     255
241      255     255     255
242      255     255     255
243      255     255     255
244      255     255     255
245      255     255     255
246      255     255     255
247      255     255     255
248      255     255     255
249      255     255     255
250      255     255     255
251      255     255     255
252      255     255     255
253      255     255     255
254      255     255     255
255      255     255     255


これは左の列のGrayの値の画素値がRGB成分に分解されるときの値を示しています。
この表がLUTの実体です。

最後にLUTの各値をプロットしたグラフが現れます。
16_Color.lutのカラー成分のグラフ
グラフは横軸がGrayの画素値,縦軸がRGBそれぞれの成分の値になります。
Grayが15以下ではRGBすべて0なので黒で表示され,240以上ではRGBすべて255なので白で表示されます。
Grayが16以上239以下ではRGBそれぞれの割合で混合され様々な色を出力することができます。


CT画像をLUTを使ってカラー画像にする


プログラムimageLUT.pyはDICOM画像を読み込むのためのpydicomモジュールと画像保存のためのcv2モジュールをインポートします。

プログラムの前半はLUTファイルを読み込みrgb各成分をリストr,g,bに読み込みます。
今回はLUTに”BRGBCMYW.lut”を使いました。

DICOM画像を読み込み変数dに代入します。
ウィンドウニング情報を変数wwとwcに,画像の高さと幅をrowとcolに,画像情報をimgに代入します。

DICOM画像のウィンドニング処理した後に,カラースケールを画像中に表示するために255~0の帯を画像に入れます。
 for y in range(256):            #カラースケース
     for x in range(50):         #スケールの幅
         img[350-y, x] = y       #画像中にスケールを入れる。
1行目のfor y in range(256):は,range(256)により変数yに0から255の値が入ります。
yは画素値でもあり,カラースケールの帯の縦方向の表示位置でもあります。
次のfor x in range(50):は,スケールの帯の幅を50にします。
最後に img[350-y, x] = y は,画像img中の350-y,xの位置に画素値yを代入します。
カラースケールの入った画像をグレー画像のまま”original.png”のファイル名で保存します。
ここで350は画像の上縁から350画素の位置からカラースケールが始まることを示します。

次にLUTを使って画像imgをRGBの各成分に分けるために,画素値がすべて0のrimg,gimg,bimgを作成します。
 rimg = np.zeros((row, col))

次に二重のfor文を使って,x,yの画素の値img[y,x]をリストr,g,bを使って各成分の値に変換して画像rimg,gimg,bimgに代入します。
 rimg[y, x] = r[int(img[y, x])]

Opencvのmergeメソッド使ってRGB成分の画像をマージしてカラー画像cimgを作成します。
 cimg = cv2.merge((rimg, gimg, bimg)) 

pyplotを使ってコンソールに表示します。
pyplotでコンソールに表示された疑似カラー画像
最後にOpneCV を使ってLUT処理後の画像を"tmp.png"として保存します。

OpneCVの処理系はカラー画像をBGRとの順で管理しているため他のPILなどと扱いが異なるため注意が必要です。
BGRのままで画像を保存する次のようになります。

BGR順の画像で正しく色が表示されていません。
全く異なる画像になってしまいます。

OpneCVで画像を保存するとき,その直前でRGBをBGRに変換して保存します。
BGR→RBG変換にはいくつかの方法があります。
ひとつはmergeするときに順番をBGRとしてカラー画像を作成する方法です。
 cimg = cv2.merge((bimg, gimg, rimg))
先のmergeとはrimgとbimgが反対になっています。

もう一つの方法はリストの技を使う方法です。
 cimg = cimg[:, :, ::-1]
既に存在するRGBG画像をBGR画像に変換するのに便利です。



imageLUT.py

import numpy as np
from matplotlib import pyplot as plt
import pydicom
import cv2

lutfnm = "ImageJインストールディレクトリ\ImageJ\luts\BRGBCMYW.lut"
#lutfnm = "ImageJインストールディレクトリ\ImageJ\luts\\16_Colors.lut"
#lutfnm = "ImageJインストールディレクトリ\ImageJ\luts\Red_Hot.lut"

f = open(lutfnm, "rb")
dt = f.read()
f.close()

print(">1>", len(dt), type(dt))

rgb     = np.array([i for i in dt]) # [r0・・・r255 g0・・・g255 b0・・・b255]
r, g, b = np.reshape(rgb,(3,256))   #  [[r0・・・r255] [g0・・・g255] [b0・・・b255]]

x = np.linspace(0,255,256)  # 0〜255を256分割する
plt.plot(x, r, color='red')
plt.plot(x, g, color='green')
plt.plot(x, b, color='blue')
plt.show()

# DICOM画像を読み込む
d = pydicom.dcmread('../dcmdir1/Brain01')

wc = d.WindowCenter     #ウィンドウセンターの取得
ww = d.WindowWidth      #ウィンドウ幅の取得
row= d.Rows             #画像の行数の取得
col= d.Columns          #画像の列数を取得
img = d.pixel_array     #画像を取得

#DICOM画像のウィンドニング
max = wc + ww / 2         #表示最大画素値
min = wc - ww / 2         #表示最小画素値
img = 255*(img-min)/(max-min)
img[img > 255] =255
img[img < 0] = 0

# カラースケールを画像に入れる
for y in range(256):            #カラースケース
    for x in range(50):         #スケールの幅
        img[350-y, x] = y       #画像中にスケールを入れる。

cv2.imwrite("original.png", img)

#LUTを使ってR,G,Bのチャンネルを作成する。
rimg = np.zeros((row, col))     #Rチャンネルの初期化
gimg = np.zeros((row, col))     #Gチャンネルの初期化
bimg = np.zeros((row, col))     #Bチャンネルの初期化
for y in range(row):
    for x in range(col):
        #LUTで画像を各チャンネルに変換
        rimg[y, x] = r[int(img[y, x])]
        gimg[y, x] = g[int(img[y, x])]
        bimg[y, x] = b[int(img[y, x])]
      
cimg = cv2.merge((rimg, gimg, bimg)) # RGB
plt.imshow(cimg)
plt.show()

#OpenCV は画像のチャンネル順を BGR として扱うためBGRの順ででマージする。
#cimg = cv2.merge((bimg, gimg, rimg)) # BGR
cimg = cimg[:, :, ::-1]               # BGR->RGB変換
cv2.imwrite("temp.png", cimg)



プログラムを実行してみる


LUTには”BRGBCMYW.lut”を用いています。
実行するとLUTのグラフとLUT処理した画像がコンソールに現れます。
カレントディレクトリにカラースケールを入れたグレー画像original.pngとLUT処理された画像temp.pngが保存されます。
LUT処理前のグレー画像
左にカラースケール(まだグレーですが)が入っています。

LUT(BRGBCMYW.lut)処理後の画像
左のカラースケールに色がついている

ImageJはたくさんのLUTを提供しています。是非いろいろ試してみてください。
3つほどカラースケールを下に示しました。
目的に応じて使い分けるとよいでしょう。



おわりに


今回はLUTの処理について,ImageJのLUTファイルを読み込むところから説明をしました。
様々な処理結果を見やすくすにはLUTを使った疑似カラー表示が適している場合が多いと思います。
LUTによる表示は実験結果の効果的な表現に便利です。



2019年9月13日金曜日

医用画像使ったPythonゼミナールを始めまーす


修正履歴:各Pyゼミのリンクを作成しました。また,一部採番が重複していたので修正しました。2019.09.13

年も明けて2019年

ブログを立ち上げてかなり放置していたので,そろそろなんかやってみようかとPCに向かっているところです。
放置している間にBloggerもだいぶ変わった。
医療情報に関連するテーマで少し持続するテーマ,”Pythonで医用画像AI”を考えてみました。

人工知能の流行もやや一段落

人工知能の流行も一時よりはだいぶ熱が冷めた感じですが,医療においてはこれからでしょう。
研究室では,これまでJavaを使ってAIを作ってきましたが,あるきっかけらPythonに移行することにしました。
それれは医療画像規格であるDICOM(Digital Imaging and COmmunication in Medicine)が非常に簡単にPythonで扱えるからでした。

本学,北海道情報大学医療情報学部ではJavaプログラミングが1年生(診療情報管理専攻)で必修科目です。
プログラミングの実習中の学生との雑談でpython勉強中です,という学生もいたりして,彼らにも画像処理結果が見れるので良いテーマでしょう。

PythonでAIやってみる?

本研究室の3,4年生のゼミナールでこれまで勉強してきた内容や作成物を整理して,1年生でもわかるようにブログの中で公開してみようかと考えたわけです。

もちろんここらでちょっと自分もAIに触れてみようと思っている人や学生などを対象に連載を組んでみたいと思っています。読んでもらいたいターゲットとしては

  • python勉強したいけど興味ある分野が見つからない人々
  • とりあえず人工知能に触れてみた大学生,高校生,ひょっとしたら小中高生
  • 修士のテーマにしたいけどどうする,という大学院生
  • 画像がいっぱいあって解析してみたい診療放射線技師や医師など医療スタッフ
  • 会社でAI推進の指示があったが何から手を付けて良いかわからない社会人
  • ネットで色々調べたけど具体的にAIとDICOMをどうくっつけるか迷える人々

環境構築編,DICOM編,GUI編とAI編をはじめます

具体的には以下の内容で進めていきたいと考えています。どこから始めても良いように並行して公開していきます。

0 環境構築編

本ゼミナールではUbuntu上で開発することを前提に進めまていますが,Windows上でのAI開発環境構築やノートPC上でのDual boot環境構築をまとめました。

Pyゼミ0.01 Pythonで医用画像のAIを試すための環境構築 
              
Pyゼミ0.02 Windows10AIしたい
              
Pyゼミ0.03 MSI ノートPCPS42 8RC-009JP)にAI環境を構築する
             
Pyゼミ0.04 MSI P65Dual bootにしてみた

Pyゼミ0.05 備忘録 Ubuntu18.04にTensorFlowとChainerをインストールする 

Pyゼミ0.06 備忘録 Ubuntu20.04にTensorFlowとPyTorchをインストールする New 20221019

Ⅰ DICOM編

医用画像は標準化が進み,DICOM(Digital Imaging and COmmunication in Medicine)が一般的に用いられています。Pydicomを使った簡単な画像の表示,ウィンドニングと呼ばれる最適画像濃度変換処理とJPEG,PNG画像変換や画像ポジションによるソート,画像拡張について紹介します。

Pyゼミ1.01 DICOM画像表示
              
Pyゼミ1.02 DICOMからJPEGなどへの変換
              
Pyゼミ1.03 DICOMのタグ情報を読む
              
Pyゼミ1.04 DICOMのタグ情報(ImagePosition)で画像ファイルをソートする
              
Pyゼミ1.05 DICOM JPEG圧縮画像を解凍する

Pyゼミ1.06 DICOM CT画像をLUTで疑似カラーを付けてみる


Pyゼミ1.07 CT画像にDICOM Color LUTを使ってヒートマップ画像などを重ねてFusion画像を作ってみる

Pyゼミ1.0 番外編 DICOM RDSRを読む 20220502

Pyゼミ1.08 PET画像を読む  20220506 


Ⅱ GUI(Graphical User Interface)編

PyQt5を使ったGUIプログラムを紹介します。
DICOM画像表示,複数DICOM画像のページングとマウスにより任意画像の抽出,DICOM画像上から任意のROIの抽出など画像加工プログラムを紹介します。

Pyゼミ2.01 PyQt5によるDICOM画像表示.画像ファイル渡し
              
Pyゼミ2.02 PyQt5によるDICOM画像表示とページング
              
Pyゼミ2.03 PyQt5によるDICOM画像のセグメンテーション
              
Pyゼミ2.04 PyQt5によるDICOM画像の拡大表示と保存

Pyゼミ2.05 PyQt5によるラジオボタンとチェックボックス new2020.02.16

             

Ⅲ 人工知能編

人工知能のフレームワークであるChainerを使います。
手書き数字認識MNISTのデータから医用画像データへの拡張方法,pythonを使ったChainerの訓練プログラムをGPU対応にする方法などを紹介します。

Pyゼミ3.01 手書き認識のニューラルネットワーク
              
Pyゼミ3.02 手書き画像からDICOM画像へ
              
Pyゼミ3.03 DICOM画像を訓練用とテスト用に分けてみる
              
Pyゼミ3.04 手書き文字認識のニューラルネットワークをDICOMに拡張する
              
Pyゼミ3.05 MNISTのネットワークをAlexnetに対応させる
              
Pyゼミ3.06 ChainerTrainer Extensionを使ってみる
              
Pyゼミ3.07 ChainerGPUを使って学習してみる



プログラムの方針

プログラムのサンプルを探すのであればGitHubに大量のソースコードが保存されています。しかし,初心者がチャレンジしてするには敷居が高いように思います。
そこでPyゼミでは次の点に留意してプログラムを作成しています。

  • 100行程度の長さで,アルゴリズムを容易に理解できる
  • ひとつのプログラム内でアルゴリズムが完結している
  • 実行した結果が複雑ではなく容易に理解が得られる


おわりに

本研究室のゼミナールだけでなく,外部の他の勉強会やセミナーにも参加してみて,周囲の人たちがいろいろな問題をもっていることが分かってきました。
おおよそ図書などで人工知能が使えるようになっても,最初にデータをどのように加工してAIに与えるべきなのか,つまりMNISTのデータで上手くいくのは分かったけどその次どうしたらいいの...という問題にすこしでも参考になればと考えています。

ちょっとお願い

なお本ソースコードの使用にあたって,何らかの具都合や不利益が生じたとしても本研究室で責任を負いかねます.どうぞご了承ください。
本ゼミナールで配布するDICOM画像は私のCT全身像です。実験以外の利用はしないようお願いいたします。
また,ご意見などありましたらメッセージをいただけますでしょうか。