SSD による一般物体検知（SnowMasaya/ssd_keras, Python 3.6，TensorFlow 1.15, Keras 2.0.9 を使用）

SnowMasaya/ssd_keras のインストール

Windows での手順を下に示す．Ubuntu でも同様の手順になる．

1. Python 3.6 を起動するコマンドを確認しておく．
   • Windows の場合: 「py -3.6」
   • Windows で Python 仮想環境 tf115py36 を使う場合: 「C:\venv\tf115py36\Scripts\activate.bat」の後，「python」
   • Ubuntu の場合: 「pyenv shell 3.6.12」の後，「python」
   • Ubuntu で Python 仮想環境 tf115py36 を使う場合: 「source ~/tf115py36/bin/activate」の後，「python」
2. 隔離された Python 仮想環境を使用するときは，有効化する．

   Windows の場合での，有効化のコマンドの例．

   C:\venv\tf115py36\Scripts\activate.bat
   

   

   Ubuntu の場合での，有効化のコマンドの例．

   source ~/tf115py36/bin/activate
   

   

   ※ 以下，Windows での手順を示す．Ubuntu でも同様の手順になる．

3. numpy, imageio のインストール

   python -m pip install -U numpy imageio
   python -m pip install -U jupyterlab jupyter jupyter-console jupytext spyder
   

4. ディレクトリ（フォルダ）を空にする操作

   cd C:\venv\tf115py36
   rmdir /s /q ssd_keras
   

   
5. SnowMasaya/ssd_keras のインストール

   git clone https://github.com/SnowMasaya/ssd_keras
   

   
6. rykov ssd_keras の Web ページに記載の通り，次のWebページを開く

   https://mega.nz/#F!7RowVLCL!q3cEVRK9jyOSB9el3SssIA

7. 2つの hdfファイルが表示されるので確認する．
   
8. 2つともダウンロードしたい． 「ZIPとしてダウンロードする」をクリック．
   
9. SSD.zip というファイルのダウンロードが始まるので確認する．
   
10. SSD.zip を展開（解凍）し，できたファイルを C:\venv\tf115py36\ssd_kerasに置く．

    下の図のように

    

SSD を行ってみる

Python コンソールで，SSD.ipynb に記載のコマンドを実行しながら結果を確認したい．結果は，画像などでプロットされる場合がある．

Windows での手順を下に示す．Ubuntu でも同様の手順になる．

1. Python 3.6 を起動するコマンドを確認しておく．
   • Windows の場合: 「py -3.6」
   • Windows で Python 仮想環境 tf115py36 を使う場合: 「C:\venv\tf115py36\Scripts\activate.bat」の後，「python」
   • Ubuntu の場合: 「pyenv shell 3.6.12」の後，「python」
   • Ubuntu で Python 仮想環境 tf115py36 を使う場合: 「source ~/tf115py36/bin/activate」の後，「python」
2. 隔離された Python 仮想環境を使用するときは，有効化する．

   Windows の場合での，有効化のコマンドの例．

   C:\venv\tf115py36\Scripts\activate.bat
   

   

   Ubuntu の場合での，有効化のコマンドの例．

   source ~/tf115py36/bin/activate
   

   

   ※ 以下，Windows での手順を示す．Ubuntu でも同様の手順になる．

3. カレントディレクトリ

   cd C:\venv\tf115py36\ssd_keras
   

   
4. 使用する GPU のメモリ量を制限したい場合のみ

   次を実行．「1024」のところは，適切に調整すること．

   https://www.tensorflow.org/guide/gpu に記載の手順による．

   from __future__ import absolute_import, division, print_function, unicode_literals
   import tensorflow as tf
   
   gpus = tf.config.experimental.list_physical_devices('GPU')
   if gpus:
     # Restrict TensorFlow to only allocate 1GB of memory on the first GPU
     try:
       tf.config.experimental.set_virtual_device_configuration(
           gpus[0],
           [tf.config.experimental.VirtualDeviceConfiguration(memory_limit=1024)])
       logical_gpus = tf.config.experimental.list_logical_devices('GPU')
       print(len(gpus), "Physical GPUs,", len(logical_gpus), "Logical GPUs")
     except RuntimeError as e:
       # Virtual devices must be set before GPUs have been initialized
       print(e)
   

   
5. ステップ 1 (初期設定)

   次の Python プログラムを実行

   ※ https://github.com/SnowMasaya/ssd_keras/blob/master/SSD.ipynb の「in [1]」に記載の通り．

   from __future__ import absolute_import, division, print_function, unicode_literals
   
   from keras.applications.imagenet_utils import preprocess_input
   from keras.backend.tensorflow_backend import set_session
   from tensorflow.keras.preprocessing import image
   import matplotlib.pyplot as plt
   %matplotlib inline
   import warnings
   warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
   import numpy as np
   from imageio import imread
   import tensorflow as tf
   
   from ssd_v2 import SSD300v2
   from ssd_utils import BBoxUtility
   import os
   
   plt.rcParams['figure.figsize'] = (8, 8)
   plt.rcParams['image.interpolation'] = 'nearest'
   
   np.set_printoptions(suppress=True)
   

   

   次のようなエラーが出たときは， 「sys.path.append("C:\venv\tf115py36\ssd_keras")」のようなコマンドを実行の後，やり直す．

6. ステップ 2 (種類の設定)

   次の Python プログラムを実行

   ※ https://github.com/SnowMasaya/ssd_keras/blob/master/SSD.ipynb の「in [2]」に記載の通り．

   voc_classes = ['Aeroplane', 'Bicycle', 'Bird', 'Boat', 'Bottle',
                  'Bus', 'Car', 'Cat', 'Chair', 'Cow', 'Diningtable',
                  'Dog', 'Horse','Motorbike', 'Person', 'Pottedplant',
                  'Sheep', 'Sofa', 'Train', 'Tvmonitor']
   NUM_CLASSES = len(voc_classes) + 1
   

   
7. ステップ 3 （先ほどダウンロードした学習結果ファイル weights_SSD300.hdf5 の読み込み）

   次の Python プログラムを実行

   ※ https://github.com/SnowMasaya/ssd_keras/blob/master/SSD.ipynb の「in [3]」に記載の通り．

   input_shape=(300, 300, 3)
   model = SSD300v2(input_shape, num_classes=NUM_CLASSES)
   model.load_weights('weights_SSD300.hdf5', by_name=True)
   bbox_util = BBoxUtility(NUM_CLASSES)
   

   
8. ステップ 4 (処理したい入力画像ファイル 5つの読み込み設定)

   次の Python プログラムを実行

   ※ https://github.com/rykov8/ssd_keras/blob/master/SSD.ipynb の「in [4]」に記載の通り．

   inputs = []
   images = []
   img_path = './pics/fish-bike.jpg'
   img = image.load_img(img_path, target_size=(300, 300))
   img = image.img_to_array(img)
   images.append(imread(img_path))
   inputs.append(img.copy())
   img_path = './pics/cat.jpg'
   img = image.load_img(img_path, target_size=(300, 300))
   img = image.img_to_array(img)
   images.append(imread(img_path))
   inputs.append(img.copy())
   img_path = './pics/boys.jpg'
   img = image.load_img(img_path, target_size=(300, 300))
   img = image.img_to_array(img)
   images.append(imread(img_path))
   inputs.append(img.copy())
   img_path = './pics/car_cat.jpg'
   img = image.load_img(img_path, target_size=(300, 300))
   img = image.img_to_array(img)
   images.append(imread(img_path))
   inputs.append(img.copy())
   img_path = './pics/car_cat2.jpg'
   img = image.load_img(img_path, target_size=(300, 300))
   img = image.img_to_array(img)
   images.append(imread(img_path))
   inputs.append(img.copy())
   inputs = preprocess_input(np.array(inputs))
   

   
9. ステップ 5 (予測処理)

   次の Python プログラムを実行

   ※ https://github.com/rykov8/ssd_keras/blob/master/SSD.ipynb の「in [5]」に記載の通り．

   preds = model.predict(inputs, batch_size=1, verbose=1)
   

   
10. ステップ 6 (予測結果からバウンディングボックスを作るという後処理)

    次の Python プログラムを実行

    ※ https://github.com/rykov8/ssd_keras/blob/master/SSD.ipynb の「in [6]」に記載の通り．

    results = bbox_util.detection_out(preds)
    

    
11. 最後のステップ （結果の表示）

    次の Python プログラムを実行

    ※ https://github.com/rykov8/ssd_keras/blob/master/SSD.ipynb の「in [8]」に記載の通り．

    for i, img in enumerate(images):
        # Parse the outputs.
        det_label = results[i][:, 0]
        det_conf = results[i][:, 1]
        det_xmin = results[i][:, 2]
        det_ymin = results[i][:, 3]
        det_xmax = results[i][:, 4]
        det_ymax = results[i][:, 5]
    
        # Get detections with confidence higher than 0.6.
        top_indices = [i for i, conf in enumerate(det_conf) if conf >= 0.6]
    
        top_conf = det_conf[top_indices]
        top_label_indices = det_label[top_indices].tolist()
        top_xmin = det_xmin[top_indices]
        top_ymin = det_ymin[top_indices]
        top_xmax = det_xmax[top_indices]
        top_ymax = det_ymax[top_indices]
    
        colors = plt.cm.hsv(np.linspace(0, 1, 21)).tolist()
    
        plt.figure()
        plt.imshow(img / 255.)
        currentAxis = plt.gca()
    
        for i in range(top_conf.shape[0]):
            xmin = int(round(top_xmin[i] * img.shape[1]))
            ymin = int(round(top_ymin[i] * img.shape[0]))
            xmax = int(round(top_xmax[i] * img.shape[1]))
            ymax = int(round(top_ymax[i] * img.shape[0]))
            score = top_conf[i]
            label = int(top_label_indices[i])
            label_name = voc_classes[label - 1]
            display_txt = '{:0.2f}, {}'.format(score, label_name)
            coords = (xmin, ymin), xmax-xmin+1, ymax-ymin+1
            color = colors[label]
            currentAxis.add_patch(plt.Rectangle(*coords, fill=False, edgecolor=color, linewidth=2))
            currentAxis.text(xmin, ymin, display_txt, bbox={'facecolor':color, 'alpha':0.5})
        
        plt.show()
    

    

    実行結果