トップページ ▶ データベース研究 ▶ 人工知能による分類 (classification) ▶ データの分類，モデルの作成と学習と評価（TensorFlow，Keras，TensorFlow データセットのCIFAR 10 データセットを使用）（Google Colab 上もしくはパソコン上）

サイトマップ

サイト内検索

アクセスログ

金子邦彦研究室

データの分類，モデルの作成と学習と評価（TensorFlow，Keras，TensorFlow データセットのCIFAR 10 データセットを使用）（Google Colab 上もしくはパソコン上）

Google Colab へのリンク

このページの内容は，Google Colab でも実行できる．

そのために，次の URL で，Google Colab のノートブックを準備している．

https://colab.research.google.com/drive/1isb39RL7JtTdHaLQfp3cC8vMVd7OXbiV?usp=sharing

前準備

Google Colab を使うか，パソコンを使う．それぞれの場合の前準備を説明する．

(1) Google Colab を使う場合

1. Google Colab のWebページを開く

   https://colab.research.google.com

   Google Colab はオンラインの Python 開発環境． 使用するには Google アカウントが必要

2. 「ファイル」で、「ノートブックを新規作成」を選ぶ
3. Google アカウントでのログインが求められたときはログインする

(2) パソコンを使う場合

（NVIDIA GPU を使うとき）TensorFlow のバージョンを確認の上，NIDIA CUDA ツールキットとNIDIA cuDNN のバージョンを確認

TensorFlow を使う場合は，必要となる NVIDIA CUDA ツールキット，NVIDIA cuDNN のバージョン確認

TensorFlow は，そのバージョンによって，必要となるNVIDIA CUDA ツールキット，NVIDIA cuDNN のバージョンが違う（最新の NVIDIA CUDA ツールキット，NVIDIA cuDNN で動くというわけでない）． そのことは，https://www.tensorflow.org/install/gpu で確認できる．

そこで， まずは，使用したい TensorFlow のバージョンを確認し，それにより， NVIDIA CUDA ツールキット，NVIDIA cuDNN を確認する．

（NVIDIA GPU を使うとき）NVIDIA グラフィックスドライバ，NVIDIA CUDA ツールキット 11.0 ，NVIDIA cuDNN 8.0.5 のインストール

インストール手順の説明

• Windows での NVIDIA グラフィックスドライバ，NVIDIA CUDA ツールキット 11.0，NVIDIA cuDNN 8.0.5 のインストール: 別ページで説明している．
• Ubuntu での NVIDIA グラフィックスドライバ，NVIDIA CUDA ツールキット 11.0，NVIDIA cuDNN 8.0.5 のインストール: 別ページで説明している．

関連 Web ページ

• NVIDIA グラフィックスドライバのダウンロード用ページ: https://www.nvidia.co.jp/Download/index.aspx?lang=jp
• NVIDIA CUDA ツールキットの URL: https://developer.nvidia.com/cuda-toolkit-archive
• NVIDIA cuDNN のダウンロード用ページ: https://developer.nvidia.com/cudnn

Python のインストール，pip と setuptools の更新，Python 開発環境（JupyterLab, spyder, nteract）のインストール，TensorFlow などのインストール

インストール手順の説明

• Windows での Python 3.8 のインストール，pip と setuptools の更新，Python 開発環境（JupyterLab, spyder, nteract），TensorFlow のインストール: 別ページで説明している．
• Ubuntu の場合：

  端末で，次のコマンドを実行．

  sudo apt -y install python3-dev python3-pip python3-setuptools python3-venv
  sudo pip3 uninstall ptyprocess sniffio terminado tornado jupyterlab jupyter jupyter-console jupytext nteract_on_jupyter spyder
  sudo apt -y install jupyter jupyter-qtconsole spyder3
  sudo apt -y install python3-ptyprocess python3-sniffio python3-terminado python3-tornado
  sudo pip3 install -U jupyterlab nteract_on_jupyter
  sudo pip3 uninstall -y tensorflow tensorflow-cpu tensorflow-gpu tensorflow_datasets tensorflow-hub keras
  sudo pip3 uninstall six wheel astunparse tensorflow-estimator numpy keras-preprocessing absl-py wrapt gast flatbuffers grpcio opt-einsum protobuf termcolor typing-extensions google-pasta h5py tensorboard-plugin-wit markdown werkzeug requests-oauthlib rsa cachetools google-auth google-auth-oauthlib tensorboard tensorflow
  sudo apt -y install python3-six python3-wheel python3-numpy python3-grpcio python3-protobuf python3-termcolor python3-typing-extensions python3-h5py python3-markdown python3-werkzeug python3-requests-oauthlib python3-rsa python3-cachetools python3-google-auth
  sudo apt -y install python3-numpy python3-pil python3-pydot python3-matplotlib python3-keras python3-keras-applications python3-keras-preprocessing
  sudo pip3 install -U tensorflow tf-models-official tensorflow_datasets tensorflow-hub keras keras-tuner keras-visualizer opencv-python
  sudo pip3 install git+https://github.com/tensorflow/docs
  sudo pip3 install git+https://github.com/tensorflow/examples.git
  

  詳細は: 別ページで説明している．

  Ubuntu では，システムの Python を使うことができる（その場合，Python のインストールは行わない）

ニューラルネットワークの作成，CIFAR 10 データセットを用いた学習とデータの分類

1. パッケージのインポートと TensorFlow のバージョン確認

   from __future__ import absolute_import, division, print_function, unicode_literals
   import tensorflow.compat.v2 as tf
   import tensorflow_datasets as tfds
   import numpy as np
   import matplotlib.pyplot as plt
   %matplotlib inline
   import warnings
   warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
   tf.enable_v2_behavior()
   from tensorflow.keras import backend as K 
   K.clear_session()
   print(tf.__version__)
   
2. CIFAR 10 データセットのロード
   tensorflow_datasets の loadで， 「batch_size = -1」を指定して，一括読み込みを行っている．

   cifar10, cifar10_info = tfds.load('cifar10', with_info = True, shuffle_files=True, as_supervised=True, batch_size = -1)
   
3. データセットの中の画像を表示

   MatplotLib を用いて，0 番目の画像を表示する

   import matplotlib.pyplot as plt
   %matplotlib inline
   import warnings
   warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
   NUM = 0
   # NUM 番目の画像を表示
   plt.imshow(cifar10['train'][0][NUM])
   

   MatplotLib を用いて，複数の画像を並べて表示する．

   def plot25(ds, start):
       plt.figure(figsize=(10,10))
       for i in range(25):
           plt.subplot(5,5,i+1)
           plt.xticks([])
           plt.yticks([])
           plt.grid(False)
           image, label = ds[0][i + start], ds[1][i + start]
           plt.imshow(image)
           plt.xlabel(label.numpy())
       plt.show()
   plot25(cifar10['train'], 0)
   
4. データセットの情報を表示

   print(cifar10_info)
   print(cifar10_info.features["label"].num_classes)
   print(cifar10_info.features["label"].names)
   
5. cifar10['train'] と cifar10['test'] の形と次元を確認

   cifar10['train']: サイズ 32 かける 32 の 50000枚のカラー画像，50000枚のカラー画像それぞれのラベル(0 から 9 のどれか)

   cifar10['test']: サイズ 32 かける 32 の 10000枚のカラー画像，10000枚のカラー画像それぞれのラベル(0 から 9 のどれか)

   print(cifar10['train'][0].shape)
   print(cifar10['train'][1].shape)
   print(cifar10['test'][0].shape)
   print(cifar10['test'][1].shape)
   
6. 主成分分析の結果である主成分スコアのプロット

   cifar10['train'], cifar10['test'] の表示

   cifar10['train'][0], cifar10['test'][0] は主成分分析で２次元にマッピング， cifar10['train'][1], cifar10['test'][1] は色．

   import pandas as pd
   import seaborn as sns
   sns.set()
   import sklearn.decomposition
   # 主成分分析でプロット
   def pcaplot(A, b, alpha):
       pca = sklearn.decomposition.PCA(n_components=2)
       pca.fit(A)
       a12 = pd.DataFrame( pca.fit_transform(A), columns=['a1', 'a2'] )
       a12['target'] = b
       sns.lmplot(x='a1', y='a2', data=a12, hue='target', scatter_kws={'alpha': alpha}, fit_reg=False)
   pcaplot(np.reshape(cifar10['train'][0], (50000, 3072)), cifar10['train'][1], 0.1)
   

   pcaplot(np.reshape(cifar10['test'][0], (10000, 3072)), cifar10['test'][1], 0.1)
   
7. データセットの生成

   ds_train, ds_test = cifar10['train'], cifar10['test']
   
8. ニューラルネットワークを使うために，データの前処理

   値は，もともと int で 0 から 255 の範囲であるのを， float32 で 0　から 1 の範囲になるように前処理を行う．

   ds_train = (ds_train[0].numpy().astype("float32") / 255., ds_train[1])
   ds_test = (ds_test[0].numpy().astype("float32") / 255., ds_test[1])
   
9. モデルの作成と確認とコンパイル
   • ニューラルネットワークの種類： 層構造 (Sequential Model)
   • ニューラルネットワークの構成
     • Flatten の層: 画像（32 かける 32 かける 3）を 1次元の配列に変換する．
     • １層目: Dense（全結合），ニューロン（ユニット）の個数: 64
     • ２層目: Dense（全結合），ニューロン（ユニット）の個数: 64
     • ３層目: Dense（全結合），ニューロン（ユニット）の個数: 10
     • ３層目のニューロン（ユニット）の種類: softmax
     • １番目のDense の層と２番目のDense の層の間の結合，２番目のDense の層と３番目のDense の層の間の結合については，ドロップアウトを行う．

   最適化器（オプティマイザ） と損失関数とメトリクスを設定する．

   • Keras のオプティマイザのページ: https://keras.io/api/optimizers/
   • Keras の損失関数のページ: https://keras.io/api/losses/
   • Keras のメトリクスのページ: https://keras.io/api/losses/

   NUM_CLASSES = 10
   m = tf.keras.Sequential([
       tf.keras.layers.Flatten(input_shape=(32, 32, 3)),
       tf.keras.layers.Dense(units=64, activation='relu'),
       tf.keras.layers.Dropout(0.05),
       tf.keras.layers.Dense(units=64, activation='relu'),
       tf.keras.layers.Dropout(0.05),
       tf.keras.layers.Dense(units=NUM_CLASSES, activation='softmax')
   ])
   m.summary()
   m.compile(
       optimizer=tf.keras.optimizers.Adam(learning_rate=0.001),
       loss='sparse_categorical_crossentropy',
       metrics=['sparse_categorical_crossentropy', 'accuracy']
   )
   
10. モデルのビジュアライズ

    Keras のモデルのビジュアライズについては: https://keras.io/ja/visualization/

    ここでの表示で，エラーメッセージが出る場合でも，モデル自体は問題なくできていると考えられる．続行する．

    from tensorflow.keras.utils import plot_model
    import pydot
    plot_model(m)
    
11. 学習（訓練）

    学習（訓練）は fit メソッドにより行う． 学習データを投入する．

    EPOCHS = 200
    history = m.fit(ds_train[0], ds_train[1],
                        epochs=EPOCHS,
                        validation_data=(ds_test[0], ds_test[1]), 
                        verbose=1)
    
12. ニューラルネットワークによるデータの分類

    ds_test を分類してみる．

    print(m.predict(ds_test[0]))
    

    それぞれの数値の中で、一番大きいものはどれか？

    m.predict(ds_test[0]).argmax(axis=1)
    

    ds_test 内にある正解のラベル（クラス名）を表示する（上の結果と比べるため）

    print(ds_test[1])
    
13. 学習曲線の確認

    過学習や学習不足について確認．

    import pandas as pd
    hist = pd.DataFrame(history.history)
    hist['epoch'] = history.epoch
    print(hist)
    
14. 学習曲線のプロット

    過学習や学習不足について確認．

    https://www.tensorflow.org/tutorials/keras/overfit_and_underfit?hl=ja で公開されているプログラムを使用

    import matplotlib.pyplot as plt
    %matplotlib inline
    import warnings
    warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
    def plot_history(histories, key='binary_crossentropy'):
      plt.figure(figsize=(16,10))
      for name, history in histories:
        val = plt.plot(history.epoch, history.history['val_'+key],
                       '--', label=name.title()+' Val')
        plt.plot(history.epoch, history.history[key], color=val[0].get_color(),
                 label=name.title()+' Train')
      plt.xlabel('Epochs')
      plt.ylabel(key.replace('_',' ').title())
      plt.legend()
      plt.xlim([0,max(history.epoch)])
    plot_history([('history', history)], key='sparse_categorical_crossentropy')
    

    plot_history([('history', history)], key='accuracy')