ビデオを扱ってみる（mpatacchiola/DeepGaze を使用，Python 3.6, TensorFlow 1.15 を使用）

前準備

Python 3.6 のインストール，pip と setuptools の更新

Windows の場合

1. Python 3.6 のインストール

   Python の URL: http://www.python.org/

   インストール手順の詳細は： 別ページで説明している．

2. pip と setuptools の更新

   コマンドプロンプトを管理者として実行し，次のコマンドを実行．

   py -3.6 -m pip install -U pip setuptools
   

   

Ubuntu の場合

次の手順により，システム Python とは別に，pyenv を用いて Pytnon 3.6 をインストールする．（システム Python の設定は変えたくないため）．

1. pyenv のインストールと設定

   図などの入った詳しい説明は別ページ．

   sudo apt -y install --no-install-recommends make build-essential libssl-dev zlib1g-dev libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm libncurses5-dev xz-utils tk-dev libxml2-dev libxmlsec1-dev libffi-dev liblzma-dev
   cd /tmp
   curl https://pyenv.run | bash
   echo 'export PYENV_ROOT="${HOME}/.pyenv"' >> ~/.bashrc
   echo 'if [ -d "${PYENV_ROOT}" ]; then' >> ~/.bashrc
   echo '    export PATH=${PYENV_ROOT}/bin:$PATH' >> ~/.bashrc
   echo '    eval "$(pyenv init -)"' >> ~/.bashrc
   echo '    eval "$(pyenv virtualenv-init -)"' >> ~/.bashrc
   echo 'fi' >> ~/.bashrc
   exec $SHELL -l
   

2. 次のコマンドにより，pyenv を用いて Python 3.6.10 をインストール

   pyenv install 3.6.10
   

   
3. Ubuntu では端末を開く．
4. pyenv の Python 3.6 の有効化． pip と setuptools の更新

   端末で，次のコマンドを実行．

   pyenv shell 3.6.10
   python -m pip install -U pip setuptools
   

Git, cmake のインストール

Git の URL: https://git-scm.com/

cmake の URL: https://cmake.org/download/

• Windows での Git, cmake のインストール手順は，「別のページ」で説明している．
• Ubuntu では，端末で，次のコマンドを実行して，Git, cmake をインストールする．

  sudo apt -y install git cmake cmake-curses-gui
  

（Windows を使う場合のみ）Visual C++ ビルドツール (Build Tools) のインストール

「Visual Studio Community 2019 vesion 16.2, Visual C++ ビルドツールのインストール（Windows 上）」で説明している．

以下，Windows に Python, git, Visual C++ ビルドツール (Build Tools) をインストール済みであるものとして説明を続ける．

（NVIDIA GPU を使うとき）NVIDIA グラフィックスドライバのインストール

※ GPU とは，グラフィックス・プロセッシング・ユニットの略で、コンピュータグラフィックス関連の機能，乗算や加算の並列処理の機能などがある．

ダウンロードページ

• NVIDIA グラフィックスドライバのダウンロード用ページ: https://www.nvidia.co.jp/Download/index.aspx?lang=jp

詳細説明

• Windows での NVIDIA グラフィックスドライバのインストール: 別ページで説明している．
• Ubuntu での NVIDIA グラフィックスドライバのインストール: 別ページで説明している．

（NVIDIA GPU を使うとき）NVIDIA CUDA ツールキット 10.0 のインストール

※ CUDA とは，NVIDIA社が提供している GPU 用のプラットフォームである． ダウンロードページ

• NVIDIA CUDA ツールキットのダウンロード用ページ: https://developer.nvidia.com/cuda-toolkit-archive

詳細説明

• Windows での NVIDIA CUDA ツールキット 11.0 のインストール: 別ページで説明している．
• Ubuntu での NVIDIA CUDA ツールキットのインストール: 別ページで説明している．

（NVIDIA GPU を使うとき）NVIDIA cuDNN のインストール

ダウンロードページ

• NVIDIA cuDNN のダウンロード用ページ: https://developer.nvidia.com/cudnn から cuDNN を入手

  ダウンロードして展開（解凍）したら，パスを通しておくこと．

詳細説明

• Windows での NVIDIA cuDNN 8.0.5のインストール: 別ページで説明している．
• Ubuntu での NVIDIA cuDNNのインストール: 別ページで説明している．

隔離された Python 仮想環境の新規作成と，TensorFlow 1.15.3（旧バージョン）およびPython 開発環境（JupyterLab, spyder, nteract）のインストール

最新版ではない TensorFlow を使う．そうした場合，運用を簡単にする（バージョン指定のもの間違ってアップデートしないなど）のために，venv を用いて，隔離された Python 仮想環境を作る．

今から作成する隔離された Python 仮想環境の名前と、Pythonのバージョンを決めておく

• 隔離された Python 仮想環境の名前: tf115py36
• 使用するPythonのバージョン: 3.6

Windows の場合

1. Python 3.6 の準備

   Windows での Python 3.6 の準備は，このページの上の方で説明している．

2. コマンドプロンプトを実行．
3. venv を用いて，Python 3.6 が動く隔離された Python 仮想環境を作る．

   下の例では，隔離された Python 仮想環境のためのディレクトリを C:\venv\tf115py36に作成している．

   py -3.6 -m venv C:\venv\tf115py36
   

   
4. venv の隔離された Python 仮想環境を有効化，TensorFlow 1.15.3 のインストール，Python 開発環境（JupyterLab, spyder）のインストール

   venv を使い，孤立した Python 仮想環境を使っているときは，Windows でも Ubuntu でも同じで，「python -m pip install ...」. いま，venv を使っているかどうかは，プロンプトの「(venv)」で分かる．

   C:\venv\tf115py36\Scripts\activate.bat
   python -m pip install -U pip setuptools
   python -m pip install -U tensorflow-gpu==1.15.3 tensorflow_datasets
   python -m pip install -U jupyterlab jupyter jupyter-console jupytext nteract_on_jupyter spyder
   

   
   
   （以下省略）

Ubuntu の場合

1. Python 3.6 の準備

   Ubuntu での Python 3.6 の準備は，このページの上の方で説明している．

2. Ubuntu では端末を開く．
3. venv を用いて，Python 3.6 が動く隔離された Python 仮想環境を作る．

   下の例では，隔離された Python 仮想環境のためのディレクトリを ~/tf115py36に作成している．

   pyenv shell 3.6.10
   python -m venv ~/tf115py36
   

   
4. venv の隔離された Python 仮想環境を有効化，TensorFlow 1.15.3 のインストール，Python 開発環境（JupyterLab, spyder）のインストール

   venv を使い，孤立した Python 仮想環境を使っているときは，Windows でも Ubuntu でも同じで，「python -m pip install ...」. いま，venv を使っているかどうかは，プロンプトの「(venv)」で分かる．

   source ~/tf115py36/bin/activate
   python -m pip install -U pip setuptools
   python -m pip install -U tensorflow-gpu==1.15.3 tensorflow_datasets
   python -m pip install -U jupyterlab jupyter jupyter-console jupytext nteract_on_jupyter spyder
   

   

TensorFlow の確認

1. 隔離された Python 仮想環境を有効化
   • Windows: C:\venv\tf115py36\Scripts\activate.bat
   • Ubuntu: source ~/tf115py36/bin/activate
2. TensorFlow のバージョン確認

   ※ バージョン番号が表示されれば OK．下の図とは違うバージョンが表示されることがある．

   python -c "import tensorflow as tf; print( tf.__version__ )"
   

   
3. (GPU を使うとき) GPU が認識できてるかの確認

   TensorFlow が GPU を認識できているかの確認は，端末で，次を実行して行う．

   python -c "from tensorflow.python.client import device_lib; print(device_lib.list_local_devices())"
   

   

mpatacchiola/DeepGaze のインストール

Windows での手順を下に示す．Ubuntu でも同様の手順になる．

1. Windows では，コマンドプロンプトを実行．
2. 隔離された Python 仮想環境を有効化
   • Windows: C:\venv\tf115py36\Scripts\activate.bat
   • Ubuntu: source ~/tf115py36/bin/activate

   ※ 以下，Windows での手順を示す．Ubuntu でも同様の手順になる．

3. DeepGaze のインストールディレクトリを空にしておく

   cd C:\venv\tf115py36
   rmdir /s /q deepgaze
   

   
4. DeepGaze のインストール

   このとき，virtualenv の隔離された Python 仮想環境を有効化する（「tf115py36」のところは、Python仮想環境の名前）

   C:\venv\tf115py36\.venv\Scripts\activate.bat
   git clone https://github.com/mpatacchiola/deepgaze
   cd deepgaze
   python setup.py build
   python setup.py install 
   

   
   

このページで説明のために使用するビデオ、写真

• ここで使用する mp4 形式ビデオファイル: sample2.mp4 (30秒)

1. C:\face-image のような作業用のディレクトリ（フォルダ）を作る
   
2. mp4 形式ビデオファイル: sample2.mp4 を、C:\face-image の下にダウンロード

ビデオカメラで動かしてみる

1. Windows では，コマンドプロンプトを実行．Ubuntu では端末を開く．
2. 隔離された Python 仮想環境を有効化
   • Windows: C:\venv\tf115py36\Scripts\activate.bat
   • Ubuntu: source ~/tf115py36/bin/activate

   以下，Windows での手順を示す．Ubuntu でも同様の手順になる．

3. Python プログラムを動かす．

   import numpy as np
   import cv2
   from deepgaze.saliency_map import FasaSaliencyMapping 
   
   # Using OpenCV the resolution of the webcam is set to these values.
   # You must check which resolution your webcam support and adjust the values in accordance.
   RESOLUTION_WIDTH = 320
   RESOLUTION_HEIGHT = 180
   
   # Open the video stream and set the webcam resolution.
   # It may give problem if your webcam does not support the particular resolution used.
   video_capture = cv2.VideoCapture(0)
   
   # Create the main window and move it
   cv2.namedWindow('Video')
   
   # Obtaining the CAM dimension
   cam_w = int(video_capture.get(3))
   cam_h = int(video_capture.get(4))
   
   # Defining the FASA object using the camera resolution
   my_map = FasaSaliencyMapping(cam_h, cam_w)
   
   while True:
       # Capture frame-by-frame
       ret, frame = video_capture.read()
       image_salient = my_map.returnMask(frame, tot_bins=8, format='BGR2LAB')
       cv2.imshow('Video', image_salient)
       # Press Q to exit
       if cv2.waitKey(1) & 0xFF == ord('q'):
           break