ImageNet で事前学習済みの CNN を用いた画像分類（MobileNetV2，ResNet-50，DenseNet 121，DenseNet 169，NASNetを使用）（Google Colab あるいは Windows あるいは Ubuntu 上）

画像分類は，画像からそのクラス名を求めるもの．

Keras では，ImageNet で事前学習済みのモデルを，簡単に使うことができる．

このページでは， Keras の ImageNet で事前学習済みの MobileNetV2， Inception Resnet， ResNet-50， DenseNet 121, DenseNet 169， NASNetを用いて画像分類を行う．

Keras で利用可能な画像分類のモデルは，https://keras.io/api/applications/ で説明されている．

Google Colab へのリンク
前準備
このページで説明のために使用する画像
ImageNet で学習済みの MobileNetV2 を用いた画像分類
ImageNet で学習済みの ResNet-50 を用いた画像分類
ImageNet で学習済みの Inception-ResNet を用いた画像分類
ImageNet で学習済みの DenseNet 121 を用いた画像分類
ImageNet で学習済みの DenseNet 169 を用いた画像分類
ImageNet で学習済みの NASNet Large を用いた画像分類

このページの URL: https://www.kkaneko.jp/dblab/imclassify/resnet50.html

参考文献:

1. Google Colab へのリンク

このページの内容は，Google Colab でも実行できる．

そのために，次の URL で，Google Colab のノートブックを準備している．

次のリンクをクリックすると，Google Colab のノートブックが開く．そして，Google アカウントでログインすると，Google Colab のノートブック内のコードを実行することができる．Google Colab のノートブックは書き換えて使うこともできる．このとき，書き換え後のものを，各自の Google ドライブ内に保存することもできる．

https://colab.research.google.com/drive/1c0uJaZB7B6SDTnxS_5FJukKd9FbYg4-e?usp=sharing

2. 前準備

Google Colab を使うか，パソコンを使う．それぞれの場合の前準備を説明する．

(1) Google Colab を使う場合

Google Colab のWebページを開く
https://colab.research.google.com

Google Colab はオンラインの Python 開発環境．使用するには Google アカウントが必要
「ファイル」で、「ノートブックを新規作成」を選ぶ
Google アカウントでのログインが求められたときはログインする

(2) パソコンを使う場合

（NVIDIA GPU を使うとき）TensorFlow のバージョンを確認の上，NIDIA CUDA ツールキットとNIDIA cuDNN のバージョンを確認

TensorFlow を使う場合は，必要となる NVIDIA CUDA ツールキット，NVIDIA cuDNN のバージョン確認

TensorFlow は，そのバージョンによって，必要となるNVIDIA CUDA ツールキット，NVIDIA cuDNN のバージョンが違う（最新の NVIDIA CUDA ツールキット，NVIDIA cuDNN で動くというわけでない）．そのことは，https://www.tensorflow.org/install/gpu で確認できる．

そこで，まずは，使用したい TensorFlow のバージョンを確認し，それにより， NVIDIA CUDA ツールキット，NVIDIA cuDNN を確認する．

NVIDIA CUDA ツールキットのバージョン：

TensorFlow 2.4 GPU 版での，NVIDIA CUDA のバージョンは，11.0 が良いようである（Windows では，11.1 や 11.2 で動かすことが難しいようである）．
TensorFlow 2.3, 2.2 GPU 版での，NVIDIA CUDA のバージョンは 10.1 が指定されている．
TensorFlow 1.15 GPU 版での，NVIDIA CUDA のバージョンは 10.0 が指定されている．

指定されているバージョンより高いものは使わない．その根拠は次のページ． URL: https://www.tensorflow.org/install/source#common_installation_problems

NVIDIA cuDNN のバージョン：

TensorFlow 2.4 の GPU 版での，cuDNN のバージョンは 8.0.5（現時点で，NVIDIA CUDA ツールキット 11 で動く最新版）．
TensorFlow 2.3, 2.2, 2.1 の GPU 版での，cuDNN のバージョンは 7.6．そして，TensorFlow 1.13 以上 TensorFlow 2.0 までの GPU 版での，cuDNN のバージョンは7.4 ．それより高いバージョンよりは使わないこと．

その根拠は次のページ． URL: https://www.tensorflow.org/install/source#common_installation_problems

（NVIDIA GPU を使うとき）NVIDIA グラフィックスドライバ，NVIDIA CUDA ツールキット 11.0 ，NVIDIA cuDNN 8.0.5 のインストール

GPU とは，グラフィックス・プロセッシング・ユニットの略で、コンピュータグラフィックス関連の機能，乗算や加算の並列処理の機能などがある．

NVIDIA CUDA は，NVIDIA社が提供している GPU 用のプラットフォームである．

インストール手順の説明

Windows での NVIDIA グラフィックスドライバ，NVIDIA CUDA ツールキット 11.0，NVIDIA cuDNN 8.0.5 のインストール: 別ページで説明している．
Ubuntu での NVIDIA グラフィックスドライバ，NVIDIA CUDA ツールキット 11.0，NVIDIA cuDNN 8.0.5 のインストール: 別ページで説明している．

関連 Web ページ

NVIDIA グラフィックスドライバのダウンロード用ページ: https://www.nvidia.co.jp/Download/index.aspx?lang=jp
NVIDIA CUDA ツールキットの URL: https://developer.nvidia.com/cuda-toolkit-archive
NVIDIA cuDNN のダウンロード用ページ: https://developer.nvidia.com/cudnn

Python のインストール，pip と setuptools の更新，Python 開発環境（JupyterLab, spyder, nteract）のインストール，TensorFlow などのインストール

インストール手順の説明

Windows での Python 3.8 のインストール，pip と setuptools の更新，Python 開発環境（JupyterLab, spyder, nteract），TensorFlow のインストール: 別ページで説明している．

Ubuntu の場合：

端末で，次のコマンドを実行．

sudo apt -y install python3-dev python3-pip python3-setuptools python3-venv
sudo pip3 uninstall ptyprocess sniffio terminado tornado jupyterlab jupyter jupyter-console jupytext nteract_on_jupyter spyder
sudo apt -y install jupyter jupyter-qtconsole spyder3
sudo apt -y install python3-ptyprocess python3-sniffio python3-terminado python3-tornado
sudo pip3 install -U jupyterlab nteract_on_jupyter
sudo pip3 uninstall -y tensorflow tensorflow-cpu tensorflow-gpu tensorflow_datasets tensorflow-hub keras
sudo pip3 uninstall six wheel astunparse tensorflow-estimator numpy keras-preprocessing absl-py wrapt gast flatbuffers grpcio opt-einsum protobuf termcolor typing-extensions google-pasta h5py tensorboard-plugin-wit markdown werkzeug requests-oauthlib rsa cachetools google-auth google-auth-oauthlib tensorboard tensorflow
sudo apt -y install python3-six python3-wheel python3-numpy python3-grpcio python3-protobuf python3-termcolor python3-typing-extensions python3-h5py python3-markdown python3-werkzeug python3-requests-oauthlib python3-rsa python3-cachetools python3-google-auth
sudo apt -y install python3-numpy python3-pil python3-pydot python3-matplotlib python3-keras python3-keras-applications python3-keras-preprocessing
sudo pip3 install -U tensorflow tf-models-official tensorflow_datasets tensorflow-hub keras keras-tuner keras-visualizer opencv-python
sudo pip3 install git+https://github.com/tensorflow/docs
sudo pip3 install git+https://github.com/tensorflow/examples.git

詳細は: 別ページで説明している．

Ubuntu では，システムの Python を使うことができる（その場合，Python のインストールは行わない）

Python プログラムを動かすために， pythonやpython3などのコマンドを使う．あるいは，開発環境や Python コンソール（Jupyter Qt Console，spyder，PyCharm，PyScripter など）の利用も便利である．

GraphViz のインストール

Windows での GraphViz のインストール: 別ページで説明している．

Ubuntu での GraphViz のインストール

sudo apt -y insatll graphviz python3-graphviz libgraphviz-dev

3. このページで説明のために使用する画像

画像ファイル fruits.jpg, home.jpg のダウンロード

画像ファイル fruits.jpg, home.jpg のダウンロード手順は，別ページで説明している．

https://github.com/opencv/opencv/tree/master/samples/data で公開されている fruits.jpg, home.jpg を使用する（謝辞：画像の作者に感謝します）

4. ImageNet で学習済みの MobileNetV2 を用いた画像分類

参考 Web ページ: https://keras.io/ja/applications/

謝辞：ここでは、https://keras.io/ja/applications に記載のプログラムを変更して使用している

モデルの作成

次の Python プログラムを実行

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow.compat.v2 as tf
import tensorflow_datasets as tfds
from tensorflow.keras.preprocessing import image
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
tf.enable_v2_behavior()
from tensorflow.keras import backend as K 
K.clear_session()
from tensorflow.keras.applications.mobilenet_v2 import MobileNetV2
from tensorflow.keras.applications.mobilenet_v2 import preprocess_input, decode_predictions
IMG_SIZE = 224
m = MobileNetV2(weights='imagenet')
m.summary()

確認のため，モデルのプロット

from tensorflow.keras.utils import plot_model
import pydot
plot_model(m)

画像分類の実行

「C:/image/fruits.jpg」，「C:/image/home.jpg」のところには，画像ファイル名を指定すること．

from matplotlib import pyplot as plt
%matplotlib inline
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
import PIL
def preprocess_image(img_path, img_size):
    img = image.load_img(img_path, target_size=(img_size, img_size))
    x = image.img_to_array(img)
    x = np.expand_dims(x, axis=0)
    return preprocess_input(x)
def plot_image(img_path, img_size):
    img = image.load_img(img_path, target_size=(img_size, img_size))
    plt.imshow(img)
    return
img_path = 'C:/image/fruits.jpg'
plot_image(img_path, IMG_SIZE)
print('Predicted:', decode_predictions(m.predict(preprocess_image(img_path, IMG_SIZE)), top=3)[0])

img_path = 'C:/image/home.jpg'
plot_image(img_path, IMG_SIZE)
print('Predicted:', decode_predictions(m.predict(preprocess_image(img_path, IMG_SIZE)), top=3)[0])

5. ImageNet で学習済みの ResNet-50 を用いた画像分類

参考 Web ページ: https://keras.io/ja/applications/

謝辞：ここでは、https://keras.io/ja/applications に記載のプログラムを変更して使用している

モデルの作成

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow.compat.v2 as tf
import tensorflow_datasets as tfds
from tensorflow.keras.applications.resnet50 import ResNet50
from tensorflow.keras.preprocessing import image
from tensorflow.keras.applications.resnet50 import preprocess_input, decode_predictions
import numpy as np
IMG_SIZE = 224
m = ResNet50(weights='imagenet')
m.summary()

確認のため，モデルのプロット

from tensorflow.keras.utils import plot_model
import pydot
plot_model(m)

画像分類の実行

「C:/image/fruits.jpg」，「C:/image/home.jpg」のところには，画像ファイル名を指定すること．

from matplotlib import pyplot as plt
%matplotlib inline
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
import PIL
def preprocess_image(img_path, img_size):
    img = image.load_img(img_path, target_size=(img_size, img_size))
    x = image.img_to_array(img)
    x = np.expand_dims(x, axis=0)
    return preprocess_input(x)
def plot_image(img_path, img_size):
    img = image.load_img(img_path, target_size=(img_size, img_size))
    plt.imshow(img)
    return
img_path = 'C:/image/fruits.jpg'
plot_image(img_path, IMG_SIZE)
print('Predicted:', decode_predictions(m.predict(preprocess_image(img_path, IMG_SIZE)), top=3)[0])

img_path = 'C:/image/home.jpg'
plot_image(img_path, IMG_SIZE)
print('Predicted:', decode_predictions(m.predict(preprocess_image(img_path, IMG_SIZE)), top=3)[0])

6. ImageNet で学習済みの Inception-ResNet を用いた画像分類

参考 Web ページ: https://keras.io/ja/applications/

謝辞：ここでは、https://keras.io/ja/applications に記載のプログラムを変更して使用している

モデルの作成

次の Python プログラムを実行

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow.compat.v2 as tf
import tensorflow_datasets as tfds
from tensorflow.keras.applications.inception_resnet_v2 import InceptionResNetV2
from tensorflow.keras.preprocessing import image
from tensorflow.keras.applications.inception_resnet_v2 import preprocess_input, decode_predictions
import numpy as np
IMG_SIZE = 299
m = InceptionResNetV2(weights='imagenet')
m.summary()

確認のため，モデルのプロット

from tensorflow.keras.utils import plot_model
import pydot
plot_model(m)

画像分類の実行

「C:/image/fruits.jpg」，「C:/image/home.jpg」のところには，画像ファイル名を指定すること．

from matplotlib import pyplot as plt
%matplotlib inline
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
import PIL
def preprocess_image(img_path, img_size):
    img = image.load_img(img_path, target_size=(img_size, img_size))
    x = image.img_to_array(img)
    x = np.expand_dims(x, axis=0)
    return preprocess_input(x)
def plot_image(img_path, img_size):
    img = image.load_img(img_path, target_size=(img_size, img_size))
    plt.imshow(img)
    return
img_path = 'C:/image/fruits.jpg'
plot_image(img_path, IMG_SIZE)
print('Predicted:', decode_predictions(m.predict(preprocess_image(img_path, IMG_SIZE)), top=3)[0])

img_path = 'C:/image/home.jpg'
plot_image(img_path, IMG_SIZE)
print('Predicted:', decode_predictions(m.predict(preprocess_image(img_path, IMG_SIZE)), top=3)[0])

7. ImageNet で学習済みの DenseNet 121 を用いた画像分類

参考 Web ページ: https://keras.io/ja/applications/

謝辞：ここでは、https://keras.io/ja/applications に記載のプログラムを変更して使用している

モデルの作成

次の Python プログラムを実行

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow.compat.v2 as tf
import tensorflow_datasets as tfds
from tensorflow.keras.applications.densenet import DenseNet121
from tensorflow.keras.preprocessing import image
from tensorflow.keras.applications.densenet import preprocess_input, decode_predictions
import numpy as np
IMG_SIZE = 224
m = DenseNet121(weights='imagenet')
m.summary()

確認のため，モデルのプロット

from tensorflow.keras.utils import plot_model
import pydot
plot_model(m)

画像分類の実行

「C:/image/fruits.jpg」，「C:/image/home.jpg」のところには，画像ファイル名を指定すること．

from matplotlib import pyplot as plt
%matplotlib inline
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
import PIL
def preprocess_image(img_path, img_size):
    img = image.load_img(img_path, target_size=(img_size, img_size))
    x = image.img_to_array(img)
    x = np.expand_dims(x, axis=0)
    return preprocess_input(x)
def plot_image(img_path, img_size):
    img = image.load_img(img_path, target_size=(img_size, img_size))
    plt.imshow(img)
    return
img_path = 'C:/image/fruits.jpg'
plot_image(img_path, IMG_SIZE)
print('Predicted:', decode_predictions(m.predict(preprocess_image(img_path, IMG_SIZE)), top=3)[0])

img_path = 'C:/image/home.jpg'
plot_image(img_path, IMG_SIZE)
print('Predicted:', decode_predictions(m.predict(preprocess_image(img_path, IMG_SIZE)), top=3)[0])

8. ImageNet で学習済みの DenseNet 169 を用いた画像分類

参考 Web ページ: https://keras.io/ja/applications/

謝辞：ここでは、https://keras.io/ja/applications に記載のプログラムを変更して使用している

モデルの作成

次の Python プログラムを実行

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow.compat.v2 as tf
import tensorflow_datasets as tfds
from tensorflow.keras.applications.densenet import DenseNet169
from tensorflow.keras.preprocessing import image
from tensorflow.keras.applications.densenet import preprocess_input, decode_predictions
import numpy as np
IMG_SIZE = 224
m = DenseNet169(weights='imagenet')
m.summary()

確認のため，モデルのプロット

from tensorflow.keras.utils import plot_model
import pydot
plot_model(m)

画像分類の実行

「C:/image/fruits.jpg」，「C:/image/home.jpg」のところには，画像ファイル名を指定すること．

from matplotlib import pyplot as plt
%matplotlib inline
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
import PIL
def preprocess_image(img_path, img_size):
    img = image.load_img(img_path, target_size=(img_size, img_size))
    x = image.img_to_array(img)
    x = np.expand_dims(x, axis=0)
    return preprocess_input(x)
def plot_image(img_path, img_size):
    img = image.load_img(img_path, target_size=(img_size, img_size))
    plt.imshow(img)
    return
img_path = 'C:/image/fruits.jpg'
plot_image(img_path, IMG_SIZE)
print('Predicted:', decode_predictions(m.predict(preprocess_image(img_path, IMG_SIZE)), top=3)[0])

img_path = 'C:/image/home.jpg'
plot_image(img_path, IMG_SIZE)
print('Predicted:', decode_predictions(m.predict(preprocess_image(img_path, IMG_SIZE)), top=3)[0])

9. ImageNet で学習済みの NASNet Large を用いた画像分類

参考 Web ページ: https://keras.io/ja/applications/

謝辞：ここでは、https://keras.io/ja/applications に記載のプログラムを変更して使用している

モデルの作成

次の Python プログラムを実行

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow.compat.v2 as tf
import tensorflow_datasets as tfds
from tensorflow.keras.applications.nasnet import NASNetLarge
from tensorflow.keras.preprocessing import image
from tensorflow.keras.applications.nasnet import preprocess_input, decode_predictions
import numpy as np
IMG_SIZE = 331
m = NASNetLarge(weights='imagenet')
m.summary()

確認のため，モデルのプロット

from tensorflow.keras.utils import plot_model
import pydot
plot_model(m)

画像分類の実行

「C:/image/fruits.jpg」，「C:/image/home.jpg」のところには，画像ファイル名を指定すること．

from matplotlib import pyplot as plt
%matplotlib inline
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
import PIL
def preprocess_image(img_path, img_size):
    img = image.load_img(img_path, target_size=(img_size, img_size))
    x = image.img_to_array(img)
    x = np.expand_dims(x, axis=0)
    return preprocess_input(x)
def plot_image(img_path, img_size):
    img = image.load_img(img_path, target_size=(img_size, img_size))
    plt.imshow(img)
    return
img_path = 'C:/image/fruits.jpg'
plot_image(img_path, IMG_SIZE)
print('Predicted:', decode_predictions(m.predict(preprocess_image(img_path, IMG_SIZE)), top=3)[0])

img_path = 'C:/image/home.jpg'
plot_image(img_path, IMG_SIZE)
print('Predicted:', decode_predictions(m.predict(preprocess_image(img_path, IMG_SIZE)), top=3)[0])

本サイトは金子邦彦研究室のWebページである．

資料等の公開では，原則，「クリエイティブコモンズ BY NC SA」として公開するようにしている． PDFファイル，パワーポイントファイルなどには，「クリエイティブコモンズ BY NC SA」を明記するとともに，ロゴを記載するようにしている（作業が間に合っていない分もあるのでご容赦ください）．

公開している資料をご利用になる場合の，再配布の条件，剽窃の防止などについて，別ページで説明している．再配布や資料改変の際には，そのページをご確認ください．

サイトマップは，サイトマップのページをご覧下さい．本サイト内の検索は，サイト内検索のページをご利用下さい．

問い合わせ先：金子邦彦（かねこくにひこ）