Keras に付属のデータセットのうち小画像のデータ

前準備

Python のインストール，pip と setuptools の更新，Python 開発環境のインストール

Windows の場合

1. Python のインストール

   Python の URL: http://www.python.org/

   インストール手順の詳細は： 別ページで説明している．

2. pip と setuptools の更新，Python 開発環境（JupyterLab, spyder）のインストール

   コマンドプロンプトを管理者として実行し，次のコマンドを実行．

   python -m pip install -U pip setuptools
   python -m pip install -U jupyterlab jupyter jupyter-console jupytext spyder
   

Ubuntu の場合

システム Python を使用（インストール操作は不要）

1. pip と setuptools の更新，Python 開発環境（JupyterLab, spyder）のインストール

   次のコマンドを実行．

   sudo apt -yV install python3-dev python3-pip python3-setuptools
   sudo apt -yV install jupyter-qtconsole jupyter-notebook python3-jupyter-client python3-jupyter-console python3-spyder spyder3
   

Git のインストール

• Windows での Git のインストールは，別ページで説明している．
• Ubuntu で git をインストールするには， 端末で，次のコマンドを実行

  sudo apt -yV install git
  

（NVIDIA GPU を使うとき）NVIDIA グラフィックスボード・ドライバのインストール

※ GPU とは，グラフィックス・プロセッシング・ユニットの略で、コンピュータグラフィックス関連の機能，乗算や加算の並列処理の機能などがある．

ダウンロードページ

• NVIDIA グラフィックスボード・ドライバのダウンロード用ページ: https://www.nvidia.co.jp/Download/index.aspx?lang=jp

詳しくは，次のように別ページで説明している．インストール手順が分からなくなったり，不具合があったときは，次に書いている別ページの説明を確認すること．

• Windows での NVIDIA グラフィックスボード・ドライバのインストール: 別ページで説明している．
• Ubuntu での NVIDIA グラフィックスボード・ドライバのインストール: 別ページで説明している．

（NVIDIA GPU を使うとき）NVIDIA CUDA ツールキットのインストール

※ CUDA とは，NVIDIA社が提供している GPU 用のプラットフォームである．

ダウンロードページ

• NVIDIA CUDA ツールキットのダウンロード用ページ: https://developer.nvidia.com/cuda-toolkit-archive

詳細説明

• Windows での NVIDIA CUDA ツールキットのインストール: 別ページで説明している．
• Ubuntu での NVIDIA CUDA ツールキットのインストール: 別ページで説明している．

（NVIDIA GPU を使うとき）NVIDIA cuDNN のインストール

ダウンロードページ

• NVIDIA cuDNN のダウンロード用ページ: https://developer.nvidia.com/cudnn から cuDNN を入手

  ダウンロードして展開（解凍）したら，パスを通しておくこと．

詳細説明

• Windows での NVIDIA CUDA ツールキットのインストール: 別ページで説明している．
• Ubuntu での NVIDIA CUDA ツールキットのインストール: 別ページで説明している．

TensorFlow，Keras のインストール

Windows の場合

1. Windows で，コマンドプロンプトを管理者として実行．
   
2. pip の更新

   python -m pip install -U pip setuptools
   
3. パッケージのアンインストール操作と，TensorFlow, Keras のインストール操作

   ※ トラブルの可能性を減らすために，最初にアンインストールを行っておく．

   ※ 「jupyterlab jupyter jupyter-console jupytext spyder matplotlib」は，TensorFlow, Keras ではないが，のちほど，Python のプログラム実行に使いたいためインストールしている．

   python -m pip uninstall -y tensorflow tensorflow-cpu tensorflow-gpu tensorflow_datasets keras
   python -m pip install -U tensorflow-gpu tensorflow_datasets keras jupyterlab jupyter jupyter-console jupytext spyder matplotlib
   

   ※ Windows でのTensorFlow, Keras のインストールについて，詳しくは，別ページで説明している． インストール手順が分からなくなったり，不具合があったときは，この別ページの説明を確認すること．

4. TensorFlow のバージョン確認

   ※ バージョン番号が表示されれば OK．下の図とは違うバージョンが表示されることがある．

   python -c "import tensorflow as tf; print( tf.__version__ )"
   
5. (GPU を使うとき) GPU が認識できてるかの確認

   TensorFlow が GPU を認識できているかの確認は，端末で，次を実行して行う．

   python -c "from tensorflow.python.client import device_lib; print(device_lib.list_local_devices())"
   

Ubuntu の場合

Ubuntu では，運用を簡単にする（apt とpip の混在を避けたいなど）ために，venv を用いて，隔離された Python 仮想環境を作ることにする．

1. 今から作成する隔離された Python 仮想環境の名前と、Pythonのバージョンを決めておく
   • 隔離された Python 仮想環境の名前: keras
   • 使用するPythonのバージョン: 3.6 ※ （2020年6月時点では，Python 3.6 が安定している印象があるため）

   次の手順により，システム Python とは別に，pyenv を用いて Pytnon 3.6 をインストールする．（システム Python の設定は変えたくないため）．

   1. pyenv のインストールと設定

      図などの入った詳しい説明は別ページ．

      sudo apt -yV install --no-install-recommends make build-essential libssl-dev zlib1g-dev libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm libncurses5-dev xz-utils tk-dev libxml2-dev libxmlsec1-dev libffi-dev liblzma-dev
      cd /tmp
      curl https://pyenv.run | bash
      echo 'export PYENV_ROOT="${HOME}/.pyenv"' >> ~/.bashrc
      echo 'if [ -d "${PYENV_ROOT}" ]; then' >> ~/.bashrc
      echo '    export PATH=${PYENV_ROOT}/bin:$PATH' >> ~/.bashrc
      echo '    eval "$(pyenv init -)"' >> ~/.bashrc
      echo '    eval "$(pyenv virtualenv-init -)"' >> ~/.bashrc
      echo 'fi' >> ~/.bashrc
      exec $SHELL -l
      

   2. 次のコマンドにより，pyenv を用いて Python 3.6.10 をインストール

      pyenv install 3.6.10
      
2. venv を用いて，Python 3.6 が動く隔離された Python 仮想環境を作る．

   下の例では，隔離された Python 仮想環境のためのディレクトリを ~/kerasに作成している．

   pyenv shell 3.6.10
   python -m venv ~/keras
   
3. venv の隔離された Python 仮想環境を有効化する

   source ~/keras/bin/activate
   
4. TensorFlow，Keras のインストール

   venv を使い，孤立した Python 仮想環境を使っているときは，Windows でも Ubuntu でも同じで，「python -m pip install ...」. いま，venv を使っているかどうかは，プロンプトの「(venv)」で分かる．

   ※ 「jupyterlab jupyter jupyter-console jupytext spyder matplotlib」は，TensorFlow, Keras ではないが，のちほど，Python のプログラム実行に使いたいためインストールしている．

   python -m pip install -U pip setuptools
   python -m pip uninstall -y tensorflow tensorflow-cpu tensorflow-gpu tensorflow_datasets keras
   python -m pip install -U tensorflow-gpu tensorflow_datasets keras jupyterlab jupyter jupyter-console jupytext spyder
   

5. TensorFlow のバージョン確認

   ※ バージョン番号が表示されれば OK．下の図とは違うバージョンが表示されることがある．

   python -c "import tensorflow as tf; print( tf.__version__ )"
   

6. (GPU を使うとき) GPU が認識できてるかの確認

   TensorFlow が GPU を認識できているかの確認は，端末で，次を実行して行う．

   python -c "from tensorflow.python.client import device_lib; print(device_lib.list_local_devices())"
   

配列（アレイ）

画像と画素

配列（アレイ）の形と次元数

Python プログラムを実行しながら結果を確認．結果は，画像などでプロットされる場合がある．

1. Ubuntu の場合のみ．

   Ubuntu では， venv の隔離された Python 仮想環境を使うことにしている．有効化する

   ※ Windows では下のコマンドは実行しない

   source ~/keras/bin/activate
   
2. Jupyter Qt Console を起動

   jupyter qtconsole
   

   Python プログラムを動かして，結果をビジュアルに見たい．

   そのために，開発環境や Python コンソール（Jupyter Qt Console，spyder，PyCharm，PyScripter など）が便利．

   ※ 「jupyter qtconsole」を入れたのに，jupyter qtconsole が起動しない という場合には，次の操作で，インストールを行ってから，もう一度試してみる．

   python -m pip install -U jupyterlab jupyter jupyter-console jupytext spyder
   

   ここから先は，Jupyter Qt Console の画面で説明する．

   import numpy as np
   a = np.array([8,5,4,1,3])
   print( a.shape )
   print( a.ndim )
   print(a)
   x = np.array([[1,2,3,4], [10,20,30,40], [100,200,300,400]])
   print( x.shape )
   print( x.ndim )
   print(x)
   

   

Keras に付属のデータセットのうち画像データ

データセットとは、「データの集まり」のこと．

keras に付属のデータセットを取得するときのオプションについては， https://keras.io/ja/datasets/(日本語版), https://keras.io/datasets/(英語版) に説明されている．

ここでの、オブジェクトの名前付けのルール

• train: 学習
• test: テスト（当然，学習用データをテスト用データに使いまわすことはない）
• X: 配列データ
• y: ラベルデータ（整数値になっているのがふつう）

CIFAR10

from keras.datasets import cifar10
(X_train, y_train), (X_test, y_test) = cifar10.load_data()

配列のサイズ確認

print( X_train.shape )
print( y_train.shape )
print( X_test.shape )
print( y_test.shape )

X_train の先頭要素の表示（確認のため）

import matplotlib.pyplot as plt
plt.imshow( X_train[0] )

CIFAR100

from keras.datasets import cifar100
(X_train, y_train), (X_test, y_test) = cifar100.load_data(label_mode='fine')

配列のサイズ確認

print( X_train.shape )
print( y_train.shape )
print( X_test.shape )
print( y_test.shape )

X_train の先頭要素の表示（確認のため）

import matplotlib.pyplot as plt
plt.imshow( X_train[0] )

MNIST database of handwritten digits

from keras.datasets import mnist
(X_train, y_train), (X_test, y_test) = mnist.load_data()

配列のサイズ確認

print( X_train.shape )
print( y_train.shape )
print( X_test.shape )
print( y_test.shape )

X_train の先頭要素の表示（確認のため）

import matplotlib.pyplot as plt
plt.imshow( X_train[0], cmap='gray' )

Fashino MNIST

from keras.datasets import fashion_mnist
(X_train, y_train), (X_test, y_test) = fashion_mnist.load_data()

配列のサイズ確認

print( X_train.shape )
print( y_train.shape )
print( X_test.shape )
print( y_test.shape )

X_train の先頭要素の表示（確認のため）

import matplotlib.pyplot as plt
plt.imshow( X_train[0], cmap='gray' )