頭部の向きの推定（mpatacchiola/DeepGaze，Python 3.6, TensorFlow 1.15 を使用）

前準備

Python 3.6 のインストール，pip と setuptools の更新

Windows の場合

1. Python 3.6 のインストール

   Python の URL: http://www.python.org/

   インストール手順の詳細は： 別ページで説明している．

2. pip と setuptools の更新

   コマンドプロンプトを管理者として実行し，次のコマンドを実行．

   py -3.6 -m pip install -U pip setuptools
   

   

Ubuntu の場合

次の手順により，システム Python とは別に，pyenv を用いて Pytnon 3.6 をインストールする．（システム Python の設定は変えたくないため）．

1. pyenv のインストールと設定

   図などの入った詳しい説明は別ページ．

   sudo apt -yV install --no-install-recommends make build-essential libssl-dev zlib1g-dev libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm libncurses5-dev xz-utils tk-dev libxml2-dev libxmlsec1-dev libffi-dev liblzma-dev
   cd /tmp
   curl https://pyenv.run | bash
   echo 'export PYENV_ROOT="${HOME}/.pyenv"' >> ~/.bashrc
   echo 'if [ -d "${PYENV_ROOT}" ]; then' >> ~/.bashrc
   echo '    export PATH=${PYENV_ROOT}/bin:$PATH' >> ~/.bashrc
   echo '    eval "$(pyenv init -)"' >> ~/.bashrc
   echo '    eval "$(pyenv virtualenv-init -)"' >> ~/.bashrc
   echo 'fi' >> ~/.bashrc
   exec $SHELL -l
   

2. 次のコマンドにより，pyenv を用いて Python 3.6.10 をインストール

   pyenv install 3.6.10
   

   
3. Ubuntu では端末を開く．
4. pyenv の Python 3.6 の有効化． pip と setuptools の更新

   次のコマンドを実行．

   pyenv shell 3.6.10
   python -m pip install -U pip setuptools
   

Git のインストール

Git の URL: https://git-scm.com/

• Windows での Git のインストール手順: 別ページで説明している．
• Ubuntu での Git のインストール手順:

  sudo apt -yV install git
  

（Windows を使う場合のみ）Visual C++ ビルドツール (Build Tools) のインストール

「Windows で Visual C++ ビルドツール (Build Tools) for Visual Studio 2017 のインストール（Chocolatey を利用）」で説明している．

以下，Windows に Python, git, Visual C++ ビルドツール (Build Tools) をインストール済みであるものとして説明を続ける．

（NVIDIA GPU を使うとき）NVIDIA グラフィックスボード・ドライバのインストール

※ GPU とは，グラフィックス・プロセッシング・ユニットの略で、コンピュータグラフィックス関連の機能，乗算や加算の並列処理の機能などがある．

ダウンロードページ

• NVIDIA グラフィックスボード・ドライバのダウンロード用ページ: https://www.nvidia.co.jp/Download/index.aspx?lang=jp

詳細説明

• Windows での NVIDIA グラフィックスボード・ドライバのインストール: 別ページで説明している．
• Ubuntu での NVIDIA グラフィックスボード・ドライバのインストール: 別ページで説明している．

（NVIDIA GPU を使うとき）NVIDIA CUDA ツールキット 10.0 のインストール

※ CUDA とは，NVIDIA社が提供している GPU 用のプラットフォームである． ダウンロードページ

• NVIDIA CUDA ツールキットのダウンロード用ページ: https://developer.nvidia.com/cuda-toolkit-archive

詳細説明

• Windows での NVIDIA CUDA ツールキットのインストール: 別ページで説明している．
• Ubuntu での NVIDIA CUDA ツールキットのインストール: 別ページで説明している．

（NVIDIA GPU を使うとき）NVIDIA cuDNN のインストール

ダウンロードページ

• NVIDIA cuDNN のダウンロード用ページ: https://developer.nvidia.com/cudnn から cuDNN を入手

  ダウンロードして展開（解凍）したら，パスを通しておくこと．

詳細説明

• Windows での NVIDIA CUDA ツールキットのインストール: 別ページで説明している．
• Ubuntu での NVIDIA CUDA ツールキットのインストール: 別ページで説明している．

隔離された Python 仮想環境の新規作成と，TensorFlow 1.15.3（旧バージョン）およびPython 開発環境（JupyterLab, spyder）のインストール

最新版ではない TensorFlow を使う．そうした場合，運用を簡単にする（バージョン指定のもの間違ってアップデートしないなど）のために，venv を用いて，隔離された Python 仮想環境を作る．

今から作成する隔離された Python 仮想環境の名前と、Pythonのバージョンを決めておく

• 隔離された Python 仮想環境の名前: tf115py36
• 使用するPythonのバージョン: 3.6

Windows の場合

1. Python 3.6 の準備

   Windows での Python 3.6 の準備は，このページの上の方で説明している．

2. コマンドプロンプトを実行．
3. venv を用いて，Python 3.6 が動く隔離された Python 仮想環境を作る．

   下の例では，隔離された Python 仮想環境のためのディレクトリを C:\venv\tf115py36に作成している．

   py -3.6 -m venv C:\venv\tf115py36
   

   
4. venv の隔離された Python 仮想環境を有効化，TensorFlow 1.15.3 のインストール，Python 開発環境（JupyterLab, spyder）のインストール

   venv を使い，孤立した Python 仮想環境を使っているときは，Windows でも Ubuntu でも同じで，「python -m pip install ...」. いま，venv を使っているかどうかは，プロンプトの「(venv)」で分かる．

   C:\venv\tf115py36\Scripts\activate.bat
   python -m pip install -U pip setuptools
   python -m pip install -U tensorflow-gpu==1.15.3 tensorflow_datasets
   python -m pip install -U jupyterlab jupyter jupyter-console jupytext spyder
   

   
   
   （以下省略）

Ubuntu の場合

1. Python 3.6 の準備

   Ubuntu での Python 3.6 の準備は，このページの上の方で説明している．

2. Ubuntu では端末を開く．
3. venv を用いて，Python 3.6 が動く隔離された Python 仮想環境を作る．

   下の例では，隔離された Python 仮想環境のためのディレクトリを ~/tf115py36に作成している．

   pyenv shell 3.6.10
   python -m venv ~/tf115py36
   

   
4. venv の隔離された Python 仮想環境を有効化，TensorFlow 1.15.3 のインストール，Python 開発環境（JupyterLab, spyder）のインストール

   venv を使い，孤立した Python 仮想環境を使っているときは，Windows でも Ubuntu でも同じで，「python -m pip install ...」. いま，venv を使っているかどうかは，プロンプトの「(venv)」で分かる．

   source ~/tf115py36/bin/activate
   python -m pip install -U pip setuptools
   python -m pip install -U tensorflow-gpu==1.15.3 tensorflow_datasets
   python -m pip install -U jupyterlab jupyter jupyter-console jupytext spyder
   

   

TensorFlow の確認

1. 隔離された Python 仮想環境を有効化
   • Windows: C:\venv\tf115py36\Scripts\activate.bat
   • Ubuntu: source ~/tf115py36/bin/activate
2. TensorFlow のバージョン確認

   ※ バージョン番号が表示されれば OK．下の図とは違うバージョンが表示されることがある．

   python -c "import tensorflow as tf; print( tf.__version__ )"
   

   
3. (GPU を使うとき) GPU が認識できてるかの確認

   TensorFlow が GPU を認識できているかの確認は，端末で，次を実行して行う．

   python -c "from tensorflow.python.client import device_lib; print(device_lib.list_local_devices())"
   

   

mpatacchiola/DeepGaze のインストール

Windows での手順を下に示す．Ubuntu でも同様の手順になる．

1. Windows では，コマンドプロンプトを実行．
2. 隔離された Python 仮想環境を有効化
   • Windows: C:\venv\tf115py36\Scripts\activate.bat
   • Ubuntu: source ~/tf115py36/bin/activate

   ※ 以下，Windows での手順を示す．Ubuntu でも同様の手順になる．

3. DeepGaze のインストールディレクトリを空にしておく

   cd C:\venv\tf115py36
   rmdir /s /q deepgaze
   

   
4. DeepGaze のインストール

   このとき，virtualenv の隔離された Python 仮想環境を有効化する（「tf115py36」のところは、Python仮想環境の名前）

   C:\venv\tf115py36\.venv\Scripts\activate.bat
   git clone https://github.com/mpatacchiola/deepgaze
   cd deepgaze
   python setup.py build
   python setup.py install 
   

   
   

このページで説明のために使用するビデオ、写真

• ここで使用する mp4 形式ビデオファイル: sample2.mp4 (30秒)

mpatacchiola/DeepGaze を用いて頭部の向きの推定を行ってみる

Windows での手順を下に示す．Ubuntu でも同様の手順になる．

1. C:\face-image のような作業用のディレクトリ（フォルダ）を作る
   
2. mp4 形式ビデオファイル: sample2.mp4 を、C:\face-image の下にダウンロード
3. Windows では，コマンドプロンプトを実行．
4. 隔離された Python 仮想環境を有効化
   • Windows: C:\venv\tf115py36\Scripts\activate.bat
   • Ubuntu: source ~/tf115py36/bin/activate

   ※ 以下，Windows での手順を示す．Ubuntu でも同様の手順になる．

5. C:\venv\tf115py36\deepgaze の下の examples の下の ex_cnn_head_pose_estimation_images の下にあるファイルを使いたい

   ファイルのコピー

   cd C:\venv\tf115py36
   cd deepgaze\examples\ex_cnn_head_pose_estimation_images
   copy ex_cnn_head_pose_estimation_images.py a.py 
   

   
6. いまコピーしてできた新しいファイル a.py をエディタで開く
   
7. このプログラムファイルの後半部分を次のように書き換え

   v = cv2.VideoCapture("C:/face-image/sample2.mp4")
   while(v.isOpened()):
       r, img = v.read()
       if ( r == False ):
           break
       img = cv2.resize(img, (480, 480))
       roll = my_head_pose_estimator.return_roll(img)  # Evaluate the roll angle using a CNN
       pitch = my_head_pose_estimator.return_pitch(img)  # Evaluate the pitch angle using a CNN
       yaw = my_head_pose_estimator.return_yaw(img)  # Evaluate the yaw angle using a CNN
       print("roll %s, pitch %s, yaw %s" % ( str(roll[0,0,0]), str(pitch[0,0,0]), str(yaw[0,0,0]) ) )
   
       cv2.imshow("", img)
   
       if cv2.waitKey(1) & 0xFF == ord('q'):
           break
   
   v.release()
   cv2.destroyAllWindows()
   

   
8. ファイルを「上書き保存」する

9. Python プログラムを動かす．

   python a.py
   

   
10. 結果の確認
    

ビデオカメラで確認

1. 次のように書き換える．書き換えたら保存する

   v = cv2.VideoCapture(0)

   v = cv2.VideoCapture(0)
   while(v.isOpened()):
       r, img = v.read()
       if ( r == False ):
           break
       img = cv2.resize(img, (480, 480))
       roll = my_head_pose_estimator.return_roll(img)  # Evaluate the roll angle using a CNN
       pitch = my_head_pose_estimator.return_pitch(img)  # Evaluate the pitch angle using a CNN
       yaw = my_head_pose_estimator.return_yaw(img)  # Evaluate the yaw angle using a CNN
       print("roll %s, pitch %s, yaw %s" % ( str(roll[0,0,0]), str(pitch[0,0,0]), str(yaw[0,0,0]) ) )
   
       cv2.imshow("", img)
   
       if cv2.waitKey(1) & 0xFF == ord('q'):
           break
   
   v.release()
   cv2.destroyAllWindows()
   

   
2. ファイルを「上書き保存」する

3. Python プログラムを動かす．

   python a.py
   

4. 結果の確認