CNN による画像分類，モデルの作成と学習と検証（MobileNetV2，ResNet50，DenseNet 121，DenseNet 169，NASNet，TensorFlow データセットのCIFAR 10 データセットを使用）（Google Colab 上もしくはパソコン上）

CIFAR 10 データセット（下図）の画像分類を行う．所定の 10種類に画像分類を行うものである．その 10種類は，airplane, automobile, bird, cat, deer, dog, frog, horse, ship, truck である．

CNN の作成，学習，画像分類を行う． TensorFlow データセットのCIFAR 10 データセットを使用する． CNN としては，次のものを使用する．

MobileNetV2
arxiv: https://arxiv.org/abs/1801.04381
ResNet50
arxiv: https://arxiv.org/abs/1512.03385
DenseNet 121, DenseNet 169
arxiv: https://arxiv.org/abs/1608.06993
NASNet
arxiv: https://arxiv.org/abs/1707.07012

この資料の URL: https://www.kkaneko.jp/db/imclassify/cnncifar10.html

【サイト内の関連ページ】

CNN による画像分類: https://www.kkaneko.jp/db/imclassify/index.html
関連の用語集: https://www.kkaneko.jp/db/man.html

参考Webページ:

Keras の応用のページ: https://keras.io/ja/applications/

1. Google Colab へのリンク

このページの内容は，Google Colaboratory でも実行できる．

そのために，次の URL で，Google Colaboratory のノートブックを準備している．

次のリンクをクリックすると，Google Colaboratory のノートブックが開く．そして，Google アカウントでログインすると，Google Colaboratory のノートブック内のコードを実行することができる．Google Colaboratory のノートブックは書き換えて使うこともできる．このとき，書き換え後のものを，各自の Google ドライブ内に保存することもできる．

https://colab.research.google.com/drive/1fNGbsjqt2FgO_QGoW0n74CQR77iAX2li?usp=sharing

2. (1) 前準備（Google Colaboratory のノートブックを新規作成して使う場合）

自分で，Google Colaboratory のノートブックを新規作成する場合（上のリンクを使わない）のため，手順を説明する．

パソコンを使う場合は，下に「前準備（パソコンを使う場合）」で説明している．

Google Colaboratory のWebページを開く
https://colab.research.google.com

Google Colab はオンラインの Python 開発環境．使用するには Google アカウントが必要
「ファイル」で、「ノートブックを新規作成」を選ぶ
Google アカウントでのログインが求められたときはログインする

(2) （自分のパソコンで Python を動かす場合）Python の準備

Python のインストール，pip と setuptools の更新，Python 開発環境

Windows での Python のインストール，pip と setuptools の更新: 別ページで説明している．（あとのトラブルが起きにくいような手順を定めている）
Ubuntu の場合:
システム Python を使うことができる（その場合，Python のインストールは行わない）
システム Python を用いるときは，pip, setuptools の更新は次のコマンドで行う．
```
sudo apt -y update
sudo apt -y install python3-pip python3-setuptools
```
Ubuntu で，システム Python 以外の Python をインストールしたい場合は pyenv が便利である: 別ページで説明している．

Python の URL: http://www.python.org/

【Python, pip の使い方】

Python, pip は，次のコマンドで起動できる．

Windows: python, python -m pip (または py -39, py -39 -m pip のようにバージョン指定）
Ubuntu: python3, sudo pip3
但し，「sudo pip3」でパッケージをインストールする前に，「apt-cache search ＜キーワード＞」で Ubuntu パッケージを検索し，Ubuntu パッケージが見つかった場合にはそちらを apt でインストール．

【Python 開発環境のインストール】

Windows:
JupyterLab, spyder, nteract （Python 開発環境）のインストールは， Windows でコマンドプロンプトを管理者として実行し，次のコマンドを実行．
```
python -m pip install -U pip setuptools jupyterlab jupyter jupyter-console jupytext nteract_on_jupyter spyder
```
詳しくは，: 別ページで説明している．
Ubuntu
JupyterLab, spyder, nteract （Python 開発環境）のインストール: : 別ページで説明している．

TensorFlow，tensorflow_datasets，numpy，matplotlib, seaborn, scikit-learn のインストール

Windows の場合:
Windows での pip の実行では，コマンドプロンプトを管理者として実行することにする。
```
python -m pip uninstall -y tensorflow tensorflow-cpu tensorflow-gpu tensorflow_datasets tensorflow-hub keras
python -m pip install -U tensorflow tensorflow_datasets numpy matplotlib seaborn scikit-learn scikit-learn-intelex
```
Windows でのインストール詳細（NVIDIA グラフィックスドライバ，NVIDIA CUDA ツールキット，NVIDIA cuDNN, TensorFlow 関連ソフトウエアを含む）: 別ページで説明している．

Ubuntu の場合:

端末で，次のコマンドを実行．

sudo pip3 uninstall -y tensorflow tensorflow-cpu tensorflow-gpu tensorflow_datasets tensorflow-hub keras
sudo pip3 uninstall -y six wheel astunparse tensorflow-estimator numpy keras-preprocessing absl-py wrapt gast flatbuffers grpcio opt-einsum protobuf termcolor typing-extensions google-pasta h5py tensorboard-plugin-wit markdown werkzeug requests-oauthlib rsa cachetools google-auth google-auth-oauthlib tensorboard tensorflow
sudo apt -y install python3-six python3-wheel python3-numpy python3-grpcio python3-protobuf python3-termcolor python3-typing-extensions python3-h5py python3-markdown python3-werkzeug python3-requests-oauthlib python3-rsa python3-cachetools python3-google-auth
sudo apt -y install python3-numpy python3-sklearn python3-matplotlib python3-seaborn
sudo pip3 install -U tensorflow tensorflow_datasets

Ubuntu でのインストール詳細（NVIDIA グラフィックスドライバ，NVIDIA CUDA ツールキット，NVIDIA cuDNN, TensorFlow 関連ソフトウエアを含む）: 別ページで説明している．

3. CIFAR 10 データセットの準備

パッケージのインポート，TensorFlow のバージョン確認など

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow.compat.v2 as tf
tf.enable_v2_behavior()
from tensorflow.keras import backend as K 
K.clear_session()
print(tf.__version__)
import numpy as np
import tensorflow_datasets as tfds
from tensorflow.keras.preprocessing import image
%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings

CIFAR 10 データセットのロード
tensorflow_datasets の loadで，「batch_size = -1」を指定して，一括読み込みを行っている．
```
cifar10, cifar10_info = tfds.load('cifar10', with_info = True, shuffle_files=True, as_supervised=True, batch_size = -1)
```

データセットの中の画像を表示

MatplotLib を用いて，0 番目の画像を表示する

%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
NUM = 0
# NUM 番目の画像を表示
plt.imshow(cifar10['train'][0][NUM])

MatplotLib を用いて，複数の画像を並べて表示する．

def plot25(ds, start):
    plt.figure(figsize=(10,10))
    for i in range(25):
        plt.subplot(5,5,i+1)
        plt.xticks([])
        plt.yticks([])
        plt.grid(False)
        image, label = ds[0][i + start], ds[1][i + start]
        plt.imshow(image)
        plt.xlabel(label.numpy())
    plt.show()
plot25(cifar10['train'], 0)

データセットの情報を表示

print(cifar10_info)
print(cifar10_info.features["label"].num_classes)
print(cifar10_info.features["label"].names)

cifar10['train'] と cifar10['test'] の形と次元を確認
cifar10['train']: サイズ 32 かける 32 の 50000枚のカラー画像，50000枚のカラー画像それぞれのラベル(0 から 9 のどれか)
cifar10['test']: サイズ 32 かける 32 の 10000枚のカラー画像，10000枚のカラー画像それぞれのラベル(0 から 9 のどれか)
```
print(cifar10['train'][0].shape)
print(cifar10['train'][1].shape)
print(cifar10['test'][0].shape)
print(cifar10['test'][1].shape)
```

データセットの生成

ds_train, ds_test = cifar10['train'], cifar10['test']

ニューラルネットワークを使うために，データの前処理
値は，もともと int で 0 から 255 の範囲であるのを， float32 で 0　から 1 の範囲になるように前処理を行う．
```
ds_train = (ds_train[0].numpy().astype("float32") / 255., ds_train[1])
ds_test = (ds_test[0].numpy().astype("float32") / 255., ds_test[1])
```

4. MobileNetV2 による cifar10 の画像分類

使用するデータの確認

print(ds_test[0].shape)
print(ds_test[1].shape)

ニューラルネットワークの作成と確認とコンパイル
Keras の MobileNet を使う．「weights=None」を指定することにより，最初，重みはランダムに設定する．

オプティマイザと損失関数とメトリクスを設定する．
- Keras のオプティマイザのページ: https://keras.io/api/optimizers/
- Keras の損失関数のページ: https://keras.io/api/losses/
- Keras のメトリクスのページ: https://keras.io/api/losses/
```
NUM_CLASSES = 10
INPUT_SHAPE = [32, 32, 3]
m1 = tf.keras.applications.mobilenet.MobileNet(input_shape=INPUT_SHAPE, weights=None, classes=NUM_CLASSES)
m1.summary()
m1.compile(
    optimizer=tf.keras.optimizers.Adam(learning_rate=0.001),
    loss='sparse_categorical_crossentropy',
    metrics=['sparse_categorical_crossentropy', 'accuracy']
)
```
モデルのビジュアライズ
Keras のモデルのビジュアライズについては: https://keras.io/ja/visualization/
ここでの表示で，エラーメッセージが出る場合でも，モデル自体は問題なくできていると考えられる．続行する．
```
from tensorflow.keras.utils import plot_model
import pydot
plot_model(m1)
```
ニューラルネットワークの学習を行う
ニューラルネットワークの学習は fit メソッドにより行う．教師データを使用する．教師データを投入する．
```
EPOCHS = 20
history = m1.fit(ds_train[0], ds_train[1],
                    epochs=EPOCHS,
                    validation_data=(ds_test[0], ds_test[1]), 
                    verbose=1)
```
CNN による画像分類
ds_test を分類してみる．
```
print(m1.predict(ds_test[0]))
```
それぞれの数値の中で、一番大きいものはどれか？
```
m1.predict(ds_test[0]).argmax(axis=1)
```
y_test 内にある正解のラベル（クラス名）を表示する（上の結果と比べるため）
```
print(y_test[1])
```

学習曲線の確認

過学習や学習不足について確認．

import pandas as pd
hist = pd.DataFrame(history.history)
hist['epoch'] = history.epoch
print(hist)

学習曲線のプロット

過学習や学習不足について確認．

https://www.tensorflow.org/tutorials/keras/overfit_and_underfit?hl=ja で公開されているプログラムを使用

%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
def plot_history(histories, key='binary_crossentropy'):
  plt.figure(figsize=(16,10))
  for name, history in histories:
    val = plt.plot(history.epoch, history.history['val_'+key],
                   '--', label=name.title()+' Val')
    plt.plot(history.epoch, history.history[key], color=val[0].get_color(),
             label=name.title()+' Train')
  plt.xlabel('Epochs')
  plt.ylabel(key.replace('_',' ').title())
  plt.legend()
  plt.xlim([0,max(history.epoch)])
plot_history([('history', history)], key='sparse_categorical_crossentropy')

plot_history([('history', history)], key='accuracy')

5. ResNet50 による cifar10 の画像分類

ニューラルネットワークの作成と確認とコンパイル
Keras の ResNet50 を使う．「weights=None」を指定することにより，最初，重みはランダムに設定する．

オプティマイザと損失関数とメトリクスを設定する．
- Keras のオプティマイザのページ: https://keras.io/api/optimizers/
- Keras の損失関数のページ: https://keras.io/api/losses/
- Keras のメトリクスのページ: https://keras.io/api/losses/
```
NUM_CLASSES = 10
INPUT_SHAPE = [32, 32, 3]
m2 = tf.keras.applications.resnet50.ResNet50(input_shape=INPUT_SHAPE, weights=None, classes=NUM_CLASSES)
m2.summary()
m2.compile(
    optimizer=tf.keras.optimizers.Adam(learning_rate=0.001),
    loss='sparse_categorical_crossentropy',
    metrics=['sparse_categorical_crossentropy', 'accuracy']
)
```
モデルのビジュアライズ
Keras のモデルのビジュアライズについては: https://keras.io/ja/visualization/
ここでの表示で，エラーメッセージが出る場合でも，モデル自体は問題なくできていると考えられる．続行する．
```
from tensorflow.keras.utils import plot_model
import pydot
plot_model(m2)
```
ニューラルネットワークの学習を行う
ニューラルネットワークの学習は fit メソッドにより行う．教師データを使用する．教師データを投入する．
```
EPOCHS = 20
history = m2.fit(ds_train[0], ds_train[1],
                    epochs=EPOCHS,
                    validation_data=(ds_test[0], ds_test[1]), 
                    verbose=1)
```
CNN による画像分類
ds_test を分類してみる．
```
print(m2.predict(ds_test[0]))
```
それぞれの数値の中で、一番大きいものはどれか？
```
m2.predict(ds_test[0]).argmax(axis=1)
```
y_test 内にある正解のラベル（クラス名）を表示する（上の結果と比べるため）
```
print(y_test[1])
```

学習曲線の確認

過学習や学習不足について確認．

import pandas as pd
hist = pd.DataFrame(history.history)
hist['epoch'] = history.epoch
print(hist)

学習曲線のプロット

過学習や学習不足について確認．

https://www.tensorflow.org/tutorials/keras/overfit_and_underfit?hl=ja で公開されているプログラムを使用

%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
def plot_history(histories, key='binary_crossentropy'):
  plt.figure(figsize=(16,10))
  for name, history in histories:
    val = plt.plot(history.epoch, history.history['val_'+key],
                   '--', label=name.title()+' Val')
    plt.plot(history.epoch, history.history[key], color=val[0].get_color(),
             label=name.title()+' Train')
  plt.xlabel('Epochs')
  plt.ylabel(key.replace('_',' ').title())
  plt.legend()
  plt.xlim([0,max(history.epoch)])
plot_history([('history', history)], key='sparse_categorical_crossentropy')

plot_history([('history', history)], key='accuracy')

6. DenseNet 121 による cifar10 の画像分類

ニューラルネットワークの作成と確認とコンパイル
Keras の DenseNet121 を使う．「weights=None」を指定することにより，最初，重みはランダムに設定する．

オプティマイザと損失関数とメトリクスを設定する．
- Keras のオプティマイザのページ: https://keras.io/api/optimizers/
- Keras の損失関数のページ: https://keras.io/api/losses/
- Keras のメトリクスのページ: https://keras.io/api/losses/
```
NUM_CLASSES = 10
INPUT_SHAPE = [32, 32, 3]
m3 = tf.keras.applications.densenet.DenseNet121(input_shape=INPUT_SHAPE, weights=None, classes=NUM_CLASSES)
m3.summary()
m3.compile(
    optimizer=tf.keras.optimizers.Adam(learning_rate=0.001),
    loss='sparse_categorical_crossentropy',
    metrics=['sparse_categorical_crossentropy', 'accuracy']
)
```
モデルのビジュアライズ
Keras のモデルのビジュアライズについては: https://keras.io/ja/visualization/
ここでの表示で，エラーメッセージが出る場合でも，モデル自体は問題なくできていると考えられる．続行する．
```
from tensorflow.keras.utils import plot_model
import pydot
plot_model(m3)
```
ニューラルネットワークの学習を行う
ニューラルネットワークの学習は fit メソッドにより行う．教師データを使用する．教師データを投入する．
```
EPOCHS = 20
history = m3.fit(ds_train[0], ds_train[1],
                    epochs=EPOCHS,
                    validation_data=(ds_test[0], ds_test[1]), 
                    verbose=1)
```
CNN による画像分類
ds_test を分類してみる．
```
print(m3.predict(ds_test[0]))
```
それぞれの数値の中で、一番大きいものはどれか？
```
m3.predict(ds_test[0]).argmax(axis=1)
```
y_test 内にある正解のラベル（クラス名）を表示する（上の結果と比べるため）
```
print(y_test[1])
```

学習曲線の確認

過学習や学習不足について確認．

import pandas as pd
hist = pd.DataFrame(history.history)
hist['epoch'] = history.epoch
print(hist)

学習曲線のプロット

過学習や学習不足について確認．

https://www.tensorflow.org/tutorials/keras/overfit_and_underfit?hl=ja で公開されているプログラムを使用

%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
def plot_history(histories, key='binary_crossentropy'):
  plt.figure(figsize=(16,10))
  for name, history in histories:
    val = plt.plot(history.epoch, history.history['val_'+key],
                   '--', label=name.title()+' Val')
    plt.plot(history.epoch, history.history[key], color=val[0].get_color(),
             label=name.title()+' Train')
  plt.xlabel('Epochs')
  plt.ylabel(key.replace('_',' ').title())
  plt.legend()
  plt.xlim([0,max(history.epoch)])
plot_history([('history', history)], key='sparse_categorical_crossentropy')

plot_history([('history', history)], key='accuracy')

7. DenseNet 169 による cifar10 の画像分類

ニューラルネットワークの作成と確認とコンパイル
Keras の DenseNet169 を使う．「weights=None」を指定することにより，最初，重みはランダムに設定する．

オプティマイザと損失関数とメトリクスを設定する．
- Keras のオプティマイザのページ: https://keras.io/api/optimizers/
- Keras の損失関数のページ: https://keras.io/api/losses/
- Keras のメトリクスのページ: https://keras.io/api/losses/
```
NUM_CLASSES = 10
INPUT_SHAPE = [32, 32, 3]
m4 = tf.keras.applications.densenet.DenseNet169(input_shape=INPUT_SHAPE, weights=None, classes=NUM_CLASSES)
m4.summary()
m4.compile(
    optimizer=tf.keras.optimizers.Adam(learning_rate=0.001),
    loss='sparse_categorical_crossentropy',
    metrics=['sparse_categorical_crossentropy', 'accuracy']
)
```
モデルのビジュアライズ
Keras のモデルのビジュアライズについては: https://keras.io/ja/visualization/
ここでの表示で，エラーメッセージが出る場合でも，モデル自体は問題なくできていると考えられる．続行する．
```
from tensorflow.keras.utils import plot_model
import pydot
plot_model(m4)
```
ニューラルネットワークの学習を行う
ニューラルネットワークの学習は fit メソッドにより行う．教師データを使用する．教師データを投入する．
```
EPOCHS = 20
history = m4.fit(ds_train[0], ds_train[1],
                    epochs=EPOCHS,
                    validation_data=(ds_test[0], ds_test[1]), 
                    verbose=1)
```
CNN による画像分類
ds_test を分類してみる．
```
print(m4.predict(ds_test[0]))
```
それぞれの数値の中で、一番大きいものはどれか？
```
m4.predict(ds_test[0]).argmax(axis=1)
```
y_test 内にある正解のラベル（クラス名）を表示する（上の結果と比べるため）
```
print(y_test[1])
```

学習曲線の確認

過学習や学習不足について確認．

import pandas as pd
hist = pd.DataFrame(history.history)
hist['epoch'] = history.epoch
print(hist)

学習曲線のプロット

過学習や学習不足について確認．

https://www.tensorflow.org/tutorials/keras/overfit_and_underfit?hl=ja で公開されているプログラムを使用

%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
def plot_history(histories, key='binary_crossentropy'):
  plt.figure(figsize=(16,10))
  for name, history in histories:
    val = plt.plot(history.epoch, history.history['val_'+key],
                   '--', label=name.title()+' Val')
    plt.plot(history.epoch, history.history[key], color=val[0].get_color(),
             label=name.title()+' Train')
  plt.xlabel('Epochs')
  plt.ylabel(key.replace('_',' ').title())
  plt.legend()
  plt.xlim([0,max(history.epoch)])
plot_history([('history', history)], key='sparse_categorical_crossentropy')

plot_history([('history', history)], key='accuracy')

8. NASNet による cifar10 の画像分類

ニューラルネットワークの作成と確認とコンパイル
Keras の NASNet を使う．「weights=None」を指定することにより，最初，重みはランダムに設定する．

オプティマイザと損失関数とメトリクスを設定する．
- Keras のオプティマイザのページ: https://keras.io/api/optimizers/
- Keras の損失関数のページ: https://keras.io/api/losses/
- Keras のメトリクスのページ: https://keras.io/api/losses/
```
NUM_CLASSES = 10
INPUT_SHAPE = [32, 32, 3]
m5 = tf.keras.applications.nasnet.NASNetMobile(input_shape=INPUT_SHAPE, weights=None, classes=NUM_CLASSES)
m5.summary()
m5.compile(
    optimizer=tf.keras.optimizers.Adam(learning_rate=0.001),
    loss='sparse_categorical_crossentropy',
    metrics=['sparse_categorical_crossentropy', 'accuracy']
)
```
モデルのビジュアライズ
Keras のモデルのビジュアライズについては: https://keras.io/ja/visualization/
ここでの表示で，エラーメッセージが出る場合でも，モデル自体は問題なくできていると考えられる．続行する．
```
from tensorflow.keras.utils import plot_model
import pydot
plot_model(m5)
```
ニューラルネットワークの学習を行う
ニューラルネットワークの学習は fit メソッドにより行う．教師データを使用する．教師データを投入する．
```
EPOCHS = 20
history = m5.fit(ds_train[0], ds_train[1],
                    epochs=EPOCHS,
                    validation_data=(ds_test[0], ds_test[1]), 
                    verbose=1)
```
CNN による画像分類
ds_test を分類してみる．
```
print(m5.predict(ds_test[0]))
```
それぞれの数値の中で、一番大きいものはどれか？
```
cvm5.predict(ds_test[0]).argmax(axis=1)
```
y_test 内にある正解のラベル（クラス名）を表示する（上の結果と比べるため）
```
print(y_test[1])
```

学習曲線の確認

過学習や学習不足について確認．

import pandas as pd
hist = pd.DataFrame(history.history)
hist['epoch'] = history.epoch
print(hist)

学習曲線のプロット

過学習や学習不足について確認．

https://www.tensorflow.org/tutorials/keras/overfit_and_underfit?hl=ja で公開されているプログラムを使用

%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
def plot_history(histories, key='binary_crossentropy'):
  plt.figure(figsize=(16,10))
  for name, history in histories:
    val = plt.plot(history.epoch, history.history['val_'+key],
                   '--', label=name.title()+' Val')
    plt.plot(history.epoch, history.history[key], color=val[0].get_color(),
             label=name.title()+' Train')
  plt.xlabel('Epochs')
  plt.ylabel(key.replace('_',' ').title())
  plt.legend()
  plt.xlim([0,max(history.epoch)])
plot_history([('history', history)], key='sparse_categorical_crossentropy')

plot_history([('history', history)], key='accuracy')

本サイトは金子邦彦研究室のWebページである．

資料等の公開では，原則，「クリエイティブコモンズ BY NC SA」として公開するようにしている． PDFファイル，パワーポイントファイルなどには，「クリエイティブコモンズ BY NC SA」を明記するとともに，ロゴを記載するようにしている（作業が間に合っていない分もあるのでご容赦ください）．

公開している資料をご利用になる場合の，再配布の条件，剽窃の防止などについて，別ページで説明している．再配布や資料改変の際には，そのページをご確認ください．

サイトマップは，サイトマップのページをご覧下さい．本サイト内の検索は，サイト内検索のページをご利用下さい．

問い合わせ先：金子邦彦（かねこくにひこ）