トップページデータベース研究人工知能による分類 (classification)データの分類,モデルの作成と学習と評価(TensorFlow,Keras,TensorFlow データセットのFashion MNIST データセットを使用)(Google Colab 上もしくはパソコン上)

データの分類,モデルの作成と学習と評価(TensorFlow,Keras,TensorFlow データセットのFashion MNIST データセットを使用)(Google Colab 上もしくはパソコン上)

ニューラルネットワークの作成,学習,データの分類を行う. TensorFlow データセットのFashion MNIST データセットを使用する.

ここで行うこと

説明資料: [パワーポイント]

サイト内の関連ページ

参考Webページ:

Google Colab へのリンク

このページの内容は,Google Colab でも実行できる.

そのために,次の URL で,Google Colab のノートブックを準備している.

次のリンクをクリックすると,Google Colab のノートブックが開く. そして,Google アカウントでログインすると,Google Colab のノートブック内のコードを実行することができる.Google Colab のノートブックは書き換えて使うこともできる.このとき,書き換え後のものを,各自の Google ドライブ内に保存することもできる.

https://colab.research.google.com/drive/1D0r9WthikzMLWCVCBgLRFXjMkCg17kQs?usp=sharing

前準備

自分で,Google Colab のノートブックを新規作成する場合(上のリンクを使わない場合や)や,パソコンを使う場合は,前準備を行う.

(1) Google Colab のノートブックを新規作成する場合

  1. Google Colab のWebページを開く

    https://colab.research.google.com

    Google Colab はオンラインの Python 開発環境. 使用するには Google アカウントが必要

  2. ファイル」で、「ノートブックを新規作成」を選ぶ

    [image]
  3. Google アカウントでのログインが求められたときはログインする

    [image]

    [image]

(2) パソコンを使う場合

(NVIDIA GPU を使うとき)TensorFlow のバージョンを確認の上,NIDIA CUDA ツールキットとNIDIA cuDNN のバージョンを確認

TensorFlow を使う場合は,必要となる NVIDIA CUDA ツールキット,NVIDIA cuDNN のバージョン確認

TensorFlow は,そのバージョンによって,必要となるNVIDIA CUDA ツールキット,NVIDIA cuDNN のバージョンが違う(最新の NVIDIA CUDA ツールキット,NVIDIA cuDNN で動くというわけでない). そのことは,https://www.tensorflow.org/install/gpu で確認できる.

そこで, まずは,使用したい TensorFlow のバージョンを確認し,それにより, NVIDIA CUDA ツールキット,NVIDIA cuDNN を確認する.

NVIDIA CUDA ツールキットのバージョン:

指定されているバージョンより高いものは使わない. その根拠は次のページ. URL: https://www.tensorflow.org/install/source#common_installation_problems

NVIDIA cuDNN のバージョン:

その根拠は次のページ. URL: https://www.tensorflow.org/install/source#common_installation_problems

(NVIDIA GPU を使うとき)NVIDIA グラフィックスドライバ,NVIDIA CUDA ツールキット 11.0 ,NVIDIA cuDNN 8.0.5 のインストール

GPU とは,グラフィックス・プロセッシング・ユニットの略で、コンピュータグラフィックス関連の機能,乗算や加算の並列処理の機能などがある.

NVIDIA CUDA は,NVIDIA社が提供している GPU 用のプラットフォームである.

インストール手順の説明

関連 Web ページ

Python のインストール,pip と setuptools の更新,Python 開発環境(JupyterLab, spyder, nteract)のインストール,TensorFlow などのインストール

インストール手順の説明

Python プログラムを動かすために, pythonpython3などのコマンドを使う. あるいは, 開発環境や Python コンソール(Jupyter Qt ConsolespyderPyCharmPyScripter など)の利用も便利である.

ニューラルネットワークの作成,Fashion MNIST データセットを用いた学習とデータの分類

  1. パッケージのインポートと TensorFlow のバージョン確認
    from __future__ import absolute_import, division, print_function, unicode_literals
    import tensorflow.compat.v2 as tf
    import tensorflow_datasets as tfds
    import numpy as np
    import matplotlib.pyplot as plt
    %matplotlib inline
    import warnings
    warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
    tf.enable_v2_behavior()
    from tensorflow.keras import backend as K 
    K.clear_session()
    
    print(tf.__version__)
    

    [image]
  2. Fashion MNIST データセットのロード
    tensorflow_datasets の loadで, 「batch_size = -1」を指定して,一括読み込みを行っている.
    fashion_mnist, fashion_mnist_info = tfds.load('fashion_mnist', with_info = True, shuffle_files=True, as_supervised=True, batch_size = -1)
    

    [image]
  3. データセットの中の画像を表示

    MatplotLib を用いて,0 番目の画像を表示する

    import matplotlib.pyplot as plt
    %matplotlib inline
    import warnings
    warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
    NUM = 0
    # NUM 番目の画像を表示
    plt.imshow(fashion_mnist['train'][0][NUM].numpy()[:, :, 0], cmap=plt.get_cmap('gray'))
    

    [image]

    MatplotLib を用いて,複数の画像を並べて表示する.

    plt.figure(figsize=(10,10))
    for i in range(25):
      plt.subplot(5,5,i+1)
      plt.xticks([])
      plt.yticks([])
      plt.grid(False)
      image, label = fashion_mnist['train'][0][i], fashion_mnist['train'][1][i]
      plt.imshow(image.numpy()[:, :, 0].astype(np.float32), cmap=plt.get_cmap('gray'))
      plt.xlabel(label.numpy())
    
    plt.show()
    

    [image]
  4. データセットの情報を表示
    print(fashion_mnist_info)
    print(fashion_mnist_info.features["label"].num_classes)
    print(fashion_mnist_info.features["label"].names)
    

    [image]
  5. fashion_mnist['train'] と fashion_mnist['test'] の形と次元を確認

    fashion_mnist['train']: サイズ 28 × 28 の 60000枚の濃淡画像,60000枚の濃淡画像それぞれのラベル(0 から 9 のどれか)

    fashion_mnist['test']: サイズ 28 × 28 の10000枚の濃淡画像,10000枚の濃淡画像それぞれのラベル(0 から 9 のどれか)

    print(fashion_mnist['train'][0].shape)
    print(fashion_mnist['train'][1].shape)
    print(fashion_mnist['test'][0].shape)
    print(fashion_mnist['test'][1].shape)
    

    [image]
  6. 主成分分析の結果である主成分スコアのプロット

    fashion_mnist['train'], fashion_mnist['test'] の表示

    fashion_mnist['train'][0], fashion_mnist['test'][0] は主成分分析で2次元にマッピング, fashion_mnist['train'][1], fashion_mnist['test'][1] は色.

    import pandas as pd
    import seaborn as sns
    sns.set()
    import sklearn.decomposition
    # 主成分分析
    def prin(A, n):
        pca = sklearn.decomposition.PCA(n_components=n)
        return pca.fit_transform(A)
    
    # 主成分分析で2つの成分を得る
    def prin2(A):
        return prin(A, 2)
    
    # M の最初の2列を,b で色を付けてプロット
    def scatter_plot(M, b, alpha):
        a12 = pd.DataFrame( M[:,0:2], columns=['a1', 'a2'] )
        a12['target'] = b
        sns.scatterplot(x='a1', y='a2', hue='target', data=a12, palette=sns.color_palette("hls", np.max(b) + 1), legend="full", alpha=alpha)
    
    # 主成分分析プロット
    def pcaplot(A, b, alpha):
        scatter_plot(prin2(A), b, alpha)
    
    pcaplot(np.reshape(fashion_mnist['train'][0], (60000, 784)), fashion_mnist['train'][1], 0.1)
    

    [image]
    pcaplot(np.reshape(fashion_mnist['test'][0], (10000, 784)), fashion_mnist['test'][1], 0.1)
    

    [image]
  7. データセットの生成
    ds_train, ds_test = fashion_mnist['train'], fashion_mnist['test']
    

    [image]
  8. ニューラルネットワークを使うために,データの前処理

    値は,もともと int で 0 から 255 の範囲であるのを, float32 で 0 から 1 の範囲になるように前処理を行う.

    ds_train = (ds_train[0].numpy().astype("float32") / 255., ds_train[1])
    ds_test = (ds_test[0].numpy().astype("float32") / 255., ds_test[1])
    

    [image]
  9. モデルの作成と確認とコンパイル
    • ニューラルネットワークの種類: 層構造 (Sequential Model)
    • ニューラルネットワークの構成
      • Flatten の層: 画像(28かける28)を 1次元の配列に変換する.
      • 1層目: Dense(全結合),ニューロン(ユニット)の個数: 64
      • 2層目: Dense(全結合),ニューロン(ユニット)の個数: 10
      • 2層目のニューロン(ユニット)の種類: softmax
      • 1番目のDense の層と2番目のDense の層の間の結合については,ドロップアウトを行う.

    最適化器(オプティマイザ) と損失関数メトリクスを設定する.

    NUM_CLASSES = 10
    
    m = tf.keras.Sequential([
        tf.keras.layers.Flatten(input_shape=(28, 28, 1)),
        tf.keras.layers.Dense(units=64, activation='relu'),
        tf.keras.layers.Dropout(0.05),
        tf.keras.layers.Dense(units=NUM_CLASSES, activation='softmax')
    ])
    m.summary()
    m.compile(
        optimizer=tf.keras.optimizers.Adam(learning_rate=0.001),
        loss='sparse_categorical_crossentropy',
        metrics=['sparse_categorical_crossentropy', 'accuracy']
    )
    

    [image]
  10. モデルのビジュアライズ

    Keras のモデルのビジュアライズについては: https://keras.io/ja/visualization/

    ここでの表示で,エラーメッセージが出る場合でも,モデル自体は問題なくできていると考えられる.続行する

    from tensorflow.keras.utils import plot_model
    import pydot
    plot_model(m)
    

    [image]
  11. 学習(訓練)

    学習(訓練)は fit メソッドにより行う. 学習データを投入する.

    EPOCHS = 20
    history = m.fit(ds_train[0], ds_train[1],
                        epochs=EPOCHS,
                        validation_data=(ds_test[0], ds_test[1]), 
                        verbose=1)
    

    [image]
  12. ニューラルネットワークによるデータの分類

    ds_test を分類してみる.

    print(m.predict(ds_test[0]))
    

    [image]

    それぞれの数値の中で、一番大きいものはどれか?

    m.predict(ds_test[0]).argmax(axis=1)
    

    [image]

    ds_test 内にある正解のラベル(クラス名)を表示する(上の結果と比べるため)

    print(ds_test[1])
    

    [image]
  13. 学習曲線の確認

    過学習や学習不足について確認.

    import pandas as pd
    hist = pd.DataFrame(history.history)
    hist['epoch'] = history.epoch
    print(hist)
    

    [image]
  14. 学習曲線のプロット

    過学習や学習不足について確認.

    https://www.tensorflow.org/tutorials/keras/overfit_and_underfit?hl=ja で公開されているプログラムを使用

    import matplotlib.pyplot as plt
    %matplotlib inline
    import warnings
    warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
    def plot_history(histories, key='binary_crossentropy'):
      plt.figure(figsize=(16,10))
    
      for name, history in histories:
        val = plt.plot(history.epoch, history.history['val_'+key],
                       '--', label=name.title()+' Val')
        plt.plot(history.epoch, history.history[key], color=val[0].get_color(),
                 label=name.title()+' Train')
    
      plt.xlabel('Epochs')
      plt.ylabel(key.replace('_',' ').title())
      plt.legend()
    
      plt.xlim([0,max(history.epoch)])
    
    
    plot_history([('history', history)], key='sparse_categorical_crossentropy')
    

    [image]
    plot_history([('history', history)], key='accuracy')
    

    [image]