肌色領域の抜き出し（mpatacchiola/DeepGaze を使用，Python 3.6, TensorFlow 1.15 を使用）

前準備

Python 3.6 のインストール，pip と setuptools の更新

Windows の場合

1. Python 3.6 のインストール

   Python の URL: http://www.python.org/

   インストール手順の詳細は： 別ページで説明している．

2. pip と setuptools の更新

   コマンドプロンプトを管理者として実行し，次のコマンドを実行．

   py -3.6 -m pip install -U pip setuptools
   

   

Ubuntu の場合

次の手順により，システム Python とは別に，pyenv を用いて Pytnon 3.6 をインストールする．（システム Python の設定は変えたくないため）．

1. pyenv のインストールと設定

   図などの入った詳しい説明は別ページ．

   sudo apt -y install --no-install-recommends make build-essential libssl-dev zlib1g-dev libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm libncurses5-dev xz-utils tk-dev libxml2-dev libxmlsec1-dev libffi-dev liblzma-dev
   cd /tmp
   curl https://pyenv.run | bash
   echo 'export PYENV_ROOT="${HOME}/.pyenv"' >> ~/.bashrc
   echo 'if [ -d "${PYENV_ROOT}" ]; then' >> ~/.bashrc
   echo '    export PATH=${PYENV_ROOT}/bin:$PATH' >> ~/.bashrc
   echo '    eval "$(pyenv init -)"' >> ~/.bashrc
   echo '    eval "$(pyenv virtualenv-init -)"' >> ~/.bashrc
   echo 'fi' >> ~/.bashrc
   exec $SHELL -l
   

2. 次のコマンドにより，pyenv を用いて Python 3.6.10 をインストール

   pyenv install 3.6.10
   

   
3. Ubuntu では端末を開く．
4. pyenv の Python 3.6 の有効化． pip と setuptools の更新

   端末で，次のコマンドを実行．

   pyenv shell 3.6.10
   python -m pip install -U pip setuptools
   

Git, cmake のインストール

Git の URL: https://git-scm.com/

cmake の URL: https://cmake.org/download/

• Windows での Git, cmake のインストール手順は，「別のページ」で説明している．
• Ubuntu では，端末で，次のコマンドを実行して，Git, cmake をインストールする．

  sudo apt -y install git cmake cmake-curses-gui
  

（Windows を使う場合のみ）Visual C++ ビルドツール (Build Tools) のインストール

「Visual Studio Community 2019 vesion 16.2, Visual C++ ビルドツールのインストール（Windows 上）」で説明している．

以下，Windows に Python, git, Visual C++ ビルドツール (Build Tools) をインストール済みであるものとして説明を続ける．

（NVIDIA GPU を使うとき）NVIDIA グラフィックスドライバのインストール

※ GPU とは，グラフィックス・プロセッシング・ユニットの略で、コンピュータグラフィックス関連の機能，乗算や加算の並列処理の機能などがある．

ダウンロードページ

• NVIDIA グラフィックスドライバのダウンロード用ページ: https://www.nvidia.co.jp/Download/index.aspx?lang=jp

詳細説明

• Windows での NVIDIA グラフィックスドライバのインストール: 別ページで説明している．
• Ubuntu での NVIDIA グラフィックスドライバのインストール: 別ページで説明している．

（NVIDIA GPU を使うとき）NVIDIA CUDA ツールキット 10.0 のインストール

※ CUDA とは，NVIDIA社が提供している GPU 用のプラットフォームである． ダウンロードページ

• NVIDIA CUDA ツールキットのダウンロード用ページ: https://developer.nvidia.com/cuda-toolkit-archive

詳細説明

• Windows での NVIDIA CUDA ツールキット 11.0 のインストール: 別ページで説明している．
• Ubuntu での NVIDIA CUDA ツールキットのインストール: 別ページで説明している．

（NVIDIA GPU を使うとき）NVIDIA cuDNN のインストール

ダウンロードページ

• NVIDIA cuDNN のダウンロード用ページ: https://developer.nvidia.com/cudnn から cuDNN を入手

  ダウンロードして展開（解凍）したら，パスを通しておくこと．

詳細説明

• Windows での NVIDIA cuDNN 8.0.5のインストール: 別ページで説明している．
• Ubuntu での NVIDIA cuDNNのインストール: 別ページで説明している．

隔離された Python 仮想環境の新規作成と，TensorFlow 1.15.3（旧バージョン）およびPython 開発環境（JupyterLab, spyder, nteract）のインストール

最新版ではない TensorFlow を使う．そうした場合，運用を簡単にする（バージョン指定のもの間違ってアップデートしないなど）のために，venv を用いて，隔離された Python 仮想環境を作る．

今から作成する隔離された Python 仮想環境の名前と、Pythonのバージョンを決めておく

• 隔離された Python 仮想環境の名前: tf115py36
• 使用するPythonのバージョン: 3.6

Windows の場合

1. Python 3.6 の準備

   Windows での Python 3.6 の準備は，このページの上の方で説明している．

2. コマンドプロンプトを実行．
3. venv を用いて，Python 3.6 が動く隔離された Python 仮想環境を作る．

   下の例では，隔離された Python 仮想環境のためのディレクトリを C:\venv\tf115py36に作成している．

   py -3.6 -m venv C:\venv\tf115py36
   

   
4. venv の隔離された Python 仮想環境を有効化，TensorFlow 1.15.3 のインストール，Python 開発環境（JupyterLab, spyder）のインストール

   venv を使い，孤立した Python 仮想環境を使っているときは，Windows でも Ubuntu でも同じで，「python -m pip install ...」. いま，venv を使っているかどうかは，プロンプトの「(venv)」で分かる．

   C:\venv\tf115py36\Scripts\activate.bat
   python -m pip install -U pip setuptools
   python -m pip install -U tensorflow-gpu==1.15.3 tensorflow_datasets
   python -m pip install -U jupyterlab jupyter jupyter-console jupytext nteract_on_jupyter spyder
   

   
   
   （以下省略）

Ubuntu の場合

1. Python 3.6 の準備

   Ubuntu での Python 3.6 の準備は，このページの上の方で説明している．

2. Ubuntu では端末を開く．
3. venv を用いて，Python 3.6 が動く隔離された Python 仮想環境を作る．

   下の例では，隔離された Python 仮想環境のためのディレクトリを ~/tf115py36に作成している．

   pyenv shell 3.6.10
   python -m venv ~/tf115py36
   

   
4. venv の隔離された Python 仮想環境を有効化，TensorFlow 1.15.3 のインストール，Python 開発環境（JupyterLab, spyder）のインストール

   venv を使い，孤立した Python 仮想環境を使っているときは，Windows でも Ubuntu でも同じで，「python -m pip install ...」. いま，venv を使っているかどうかは，プロンプトの「(venv)」で分かる．

   source ~/tf115py36/bin/activate
   python -m pip install -U pip setuptools
   python -m pip install -U tensorflow-gpu==1.15.3 tensorflow_datasets
   python -m pip install -U jupyterlab jupyter jupyter-console jupytext nteract_on_jupyter spyder
   

   

TensorFlow の確認

1. 隔離された Python 仮想環境を有効化
   • Windows: C:\venv\tf115py36\Scripts\activate.bat
   • Ubuntu: source ~/tf115py36/bin/activate
2. TensorFlow のバージョン確認

   ※ バージョン番号が表示されれば OK．下の図とは違うバージョンが表示されることがある．

   python -c "import tensorflow as tf; print( tf.__version__ )"
   

   
3. (GPU を使うとき) GPU が認識できてるかの確認

   TensorFlow が GPU を認識できているかの確認は，端末で，次を実行して行う．

   python -c "from tensorflow.python.client import device_lib; print(device_lib.list_local_devices())"
   

   

mpatacchiola/DeepGaze のインストール

Windows での手順を下に示す．Ubuntu でも同様の手順になる．

1. Windows では，コマンドプロンプトを実行．Ubuntu では端末を開く．
2. 隔離された Python 仮想環境を有効化
   • Windows: C:\venv\tf115py36\Scripts\activate.bat
   • Ubuntu: source ~/tf115py36/bin/activate

   ※ 以下，Windows での手順を示す．Ubuntu でも同様の手順になる．

3. DeepGaze のインストールディレクトリを空にしておく

   cd C:\venv\tf115py36
   rmdir /s /q deepgaze
   

   
4. DeepGaze のインストール

   このとき，virtualenv の隔離された Python 仮想環境を有効化する（「tf115py36」のところは、Python仮想環境の名前）

   C:\venv\tf115py36\.venv\Scripts\activate.bat
   git clone https://github.com/mpatacchiola/deepgaze
   cd deepgaze
   python setup.py build
   python setup.py install 
   

   
   （以下省略）
5. 結果の確認

   エラーメッセージが出ていないこと．

   

このページで説明のために使用するビデオ、写真

必要であればダウンロードして使ってください．

• ここで使用する mp4 形式ビデオファイル: sample1.mp4
• ここで使用する顔写真: 126.png, 127.png
  

mpatacchiola/DeepGaze を用いて肌色領域の抜き出し

ビデオファイルで動かしてみる

1. C:\face-image のような作業用のディレクトリ（フォルダ）を作る
   
2. このディレクトリに、mp4 形式ビデオファイル: sample1.mp4 を，C:\face-image の下にダウンロード
3. Window でコマンドプロンプトを実行
4. 隔離された Python 仮想環境を有効化
   • Windows: C:\venv\tf115py36\Scripts\activate.bat
   • Ubuntu: source ~/tf115py36/bin/activate

   以下，Windows での手順を示す．Ubuntu でも同様の手順になる．

5. Python プログラムを動かす．

   Windows でのプログラムを下に示す．Ubuntu でも同様のプログラムになる．

   「FACEIMAGEROOT + "sample1.mp4"」のところは、実際のファイル名に置き換えること

   import cv2
   import numpy as np
   from deepgaze.color_detection import RangeColorDetector
   
   #Firs image boundaries
   min_range = np.array([0, 48, 70], dtype = "uint8") #lower HSV boundary of skin color
   max_range = np.array([20, 150, 255], dtype = "uint8") #upper HSV boundary of skin color
   my_skin_detector = RangeColorDetector(min_range, max_range) #Define the detector object
   
   FACEIMAGEROOT="C:/face-image/"
   v = cv2.VideoCapture(FACEIMAGEROOT + "sample1.mp4")
   while(v.isOpened()):
       r, f = v.read()
       if ( r == False ):
           break
       f = f[0:885, 0:773, 0:3]
       image_filtered = my_skin_detector.returnFiltered(f, morph_opening=False, blur=False, kernel_size=3, iterations=1)
       cv2.imshow("", image_filtered)
       if cv2.waitKey(1) & 0xFF == ord('q'):
           break
   
   v.release()
   cv2.destroyAllWindows()
   

   
   

パソコンの USB カメラで動かしてみる

Python プログラムを動かす．

「v = cv2.VideoCapture(0) 」は、USB カメラを使うためのもの。他の部分は、上のプログラムと同じ。

import cv2
import numpy as np
from deepgaze.color_detection import RangeColorDetector

#Firs image boundaries
min_range = np.array([0, 48, 70], dtype = "uint8") #lower HSV boundary of skin color
max_range = np.array([20, 150, 255], dtype = "uint8") #upper HSV boundary of skin color
my_skin_detector = RangeColorDetector(min_range, max_range) #Define the detector object

v = cv2.VideoCapture(0)
while(v.isOpened()):
    r, f = v.read()
    if ( r == False ):
        break
    f = f[0:885, 0:773, 0:3]
    image_filtered = my_skin_detector.returnFiltered(f, morph_opening=False, blur=False, kernel_size=3, iterations=1)
    cv2.imshow("", image_filtered)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

v.release()
cv2.destroyAllWindows()

パソコンの USB カメラで動かし，結果を動画像ファイルに保存

Windows でのプログラムを下に示す．Ubuntu でも同様のプログラムになる．

「out = cv2.VideoWriter('C:/image/output.avi', fourcc, 20.0, (640, 480), True) 」の「True」は、カラーという意味

import cv2
import numpy as np
from deepgaze.color_detection import RangeColorDetector

#Firs image boundaries
min_range = np.array([0, 48, 70], dtype = "uint8") #lower HSV boundary of skin color
max_range = np.array([20, 150, 255], dtype = "uint8") #upper HSV boundary of skin color
my_skin_detector = RangeColorDetector(min_range, max_range) #Define the detector object

v = cv2.VideoCapture(0) 
fourcc = cv2.VideoWriter_fourcc(*'XVID')
FACEIMAGEROOT="C:/face-image/"
out = cv2.VideoWriter(FACEIMAGEROOT + 'output.avi', fourcc, 20.0, (640, 480), True) 
while(v.isOpened()):
    r, f = v.read()
    if ( r == False ):
        break
    f = f[0:885, 0:773, 0:3]
    image_filtered = my_skin_detector.returnFiltered(f, morph_opening=False, blur=False, kernel_size=3, iterations=1)
    cv2.imshow("", image_filtered)
    out.write(image_filtered)   
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

v.release()
out.release()
cv2.destroyAllWindows()

付属のサンプルプログラムを動かしてみる

1. C:\face-image のような作業用のディレクトリ（フォルダ）を作る
   
2. 顔写真のデータを、先ほど作成した「作業用のディレクトリ（フォルダ）」に入れる

   Webブラウザを使い、次の画像を「名前を付けて画像を保存」。 ファイル名は「126.png」とする。 「作業用のディレクトリ（フォルダ）」に保存する

   

   次の画像も、「名前を付けて画像を保存」。 ファイル名は「127.png」とする。 「作業用のディレクトリ（フォルダ）」に保存する

   

   次のようになる

   
3. サンプルプログラム

   Web ブラウザで、 https://github.com/mpatacchiola/deepgaze/blob/master/examples/ex_skin_detection_images/ex_skin_detection_images.py を開く

4. ここに掲載されているプログラムをコピー
5. Windows のメモ帳を開き, 丸ごと、貼り付け
   
6. このファイルの中の画像ファイル名を書き換え（２か所）.

   C:/face-image/126.png, C:/face-image/126-filtered.png,

   
7. 後半部分は削除
8. メモ帳で、ファイルを「名前を付けて保存」する。

   このとき、ファイル名は、skin.py のようなファイル名で保存（拡張子は「.py」）

   「作業用のディレクトリ（フォルダ）」である C:\face-image に保存する

   
9. メモ帳を閉じる
10. Windows のコマンドプロンプトを開く
11. 次のように実行

    先ほど名前を付けて保存したときのファイル名を使う

    cd C:\face-image
    python skin.py
    

    
12. 結果の確認
    

もう１つの画像で確認

skin.py の中の画像ファイル名を 126 から 127 に書き換えて、python skin.py をもう一度実行。次のような結果になる