トップページ ▶ データベース研究 ▶ 顔検出、顔識別 ▶ ビデオを扱ってみる（mpatacchiola/DeepGaze を使用，Python 3.6, TensorFlow 1.15 を使用）
サイトマップ サイト内検索 アクセスログ

ビデオを扱ってみる（mpatacchiola/DeepGaze を使用，Python 3.6, TensorFlow 1.15 を使用）

全体構成 教材類 インストール，運用 データベース研究 データ処理 プログラミング 支援 連絡先，業績など

【このページの目次】

手順の要点: Python 3.6, TensorFlow 1.15, Python の仮想環境（Windows では C:\venv\tf115py36）

ソフトウエア等の利用条件等は，利用者で確認すること．

サイト内の関連ページ:

謝辞：ソフトウエアの作者に感謝します

参考Webページ https://www.github.com/mpatacchiola/DeepGaze

前準備

Git, cmake のインストール

Git の URL: https://git-scm.com/

cmake の URL: https://cmake.org/download/

Python 3.6 のインストール，pip と setuptools の更新，Python 開発環境のインストール

※ TensorFlow 1.15 に対応する Python は，3.6 や 3.7 など（3.8 は対応していない）（2020/06 時点）．このページでは 3.6 を使って説明する．3.7 でも同様の手順になる．

最新版ではない TensorFlow を使う．そうした場合，運用を簡単にする（TensorFlow を間違ってアップデートしないなど）ために，venv を用いて，隔離された Python 仮想環境を作る方が便利かもしれない（必ずしも，そうする必要はない）．その手順もここに示している．

Windows の場合

  1. Python 3.6 のインストール

    Python の URL: http://www.python.org/

    インストール手順の詳細は： 別ページで説明している．

    Windows では，Python 3.8 や 3.6 の共存は簡単．

  2. pip と setuptools の更新，Python 開発環境（JupyterLab, spyder）のインストール（Windows 上）

    コマンドプロンプトを管理者として実行し，次のコマンドを実行．

    Python の使用は「py -3.6」で行う．

    Windows での pip の実行では，コマンドプロンプトを管理者として実行することにする。

    [image] 

    py -3.6 -m pip install -U pip setuptools
py -3.6 -m pip install -U jupyterlab jupyter jupyter-console jupytext nteract_on_jupyter spyder

    隔離された Python 仮想環境を使用したいときは，次のような手順で， venv を用いて，隔離された Python 仮想環境を作る．

    • 隔離された Python 仮想環境の名前: tf115py36
    • 使用するPython のバージョン: 3.6
    • Python 仮想環境を置くディレクトリ: C:\venv\tf115py36

    コマンドプロンプトを管理者として実行し，次のコマンドを実行．

    Python の使用は「C:\venv\tf115py36\Scripts\activate.bat」の後，「python」で行う． 

    py -3.6 -m pip install -U pip setuptools
py -3.6 -m venv --system-site-packages C:\venv\tf115py36
C:\venv\tf115py36\Scripts\activate.bat
python -m pip install -U pip setuptools
python -m pip install -U jupyterlab jupyter jupyter-console jupytext nteract_on_jupyter spyder

Ubuntu の場合

次の手順により，システム Python とは別に，pyenv を用いて Pytnon 3.6 をインストールする．（システム Python の設定は変えたくないため）．

  1. pyenv のインストール

    Ubuntu での pyenv のインストール手順の詳細説明: 別ページで説明している． 

    rm -rf ~/.pyenv
cd /tmp
git clone https://github.com/pyenv/pyenv.git ~/.pyenv
cd ~/.pyenv
git pull
echo 'export PYENV_ROOT="${HOME}/.pyenv"' >> ~/.bashrc
echo 'if [ -d "${PYENV_ROOT}" ]; then' >> ~/.bashrc
echo '    export PATH=${PYENV_ROOT}/bin:$PATH' >> ~/.bashrc
echo 'fi' >> ~/.bashrc
echo -e 'if command -v pyenv 1>/dev/null 2>&1; then\n  eval "$(pyenv init -)"\nfi' >> ~/.bashrc
exec $SHELL -l
source ~/.bashrc
sudo apt -y install --no-install-recommends make build-essential libssl-dev zlib1g-dev libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm libncurses5-dev xz-utils tk-dev libxml2-dev libxmlsec1-dev libffi-dev liblzma-dev
  2. インストールできる Python 3.6 のバージョンの確認 
    pyenv rehash 
pyenv install -l | grep 3.6
  3. システム Python とは別に Python 3.6 をインストール （pyenv を使用） 
    pyenv install 3.6.12

    [image]
  4. pyenv の Python 3.6 の有効化．

    端末で，次のコマンドを実行． 

    pyenv shell 3.6.12

    Python の切り替えは次のようなコマンドで行う．

    • pyenv shell system
    • pyenv shell 3.6.12

    デフォルトで pyenv 配下の python 3.6.12 を使いたいときは， 次のように設定する 

    echo 'pyenv shell 3.6.12' >> ~/.bashrc
exec $SHELL -l
  5. pip と setuptools の更新，Python 開発環境（JupyterLab, spyder）のインストール（Ubuntu 上）

    インストールするには， 端末で，次のコマンドを実行． 

    python -m pip install -U pip setuptools
python -m pip install -U jupyterlab jupyter jupyter-console jupytext nteract_on_jupyter spyder

    隔離された Python 仮想環境を作成したいときは，次のような手順で， venv を用いて，隔離された Python 仮想環境を作る．

    • 隔離された Python 仮想環境の名前: tf115py36
    • 使用するPython のバージョン: 3.6
    • Python 仮想環境を置くディレクトリ: ~/tf115py36

    コマンドプロンプトを管理者として実行し，次のコマンドを実行． 

    python -m pip install -U pip setuptools
python -m venv --system-site-packages ~/tf115py36
source ~/tf115py36/bin/activate
python -m pip install -U pip setuptools
python -m pip install -U jupyterlab jupyter jupyter-console jupytext nteract_on_jupyter spyder

（Windows を使う場合のみ）Visual C++ ビルドツール (Build Tools) のインストール

「Visual Studio Community 2019 vesion 16.2, Visual C++ ビルドツールのインストール（Windows 上）」で説明している．

以下，Windows に Python, git, Visual C++ ビルドツール (Build Tools) をインストール済みであるものとして説明を続ける．

（NVIDIA GPU を使うとき）NVIDIA グラフィックスドライバのインストール

※ GPU とは，グラフィックス・プロセッシング・ユニットの略で、コンピュータグラフィックス関連の機能，乗算や加算の並列処理の機能などがある．

ダウンロードページ

詳細説明

（NVIDIA GPU を使うとき）NVIDIA CUDA ツールキット 10.0 のインストール

※ CUDA とは，NVIDIA社が提供している GPU 用のプラットフォームである．

指定されているバージョンより高いものは使わない． その根拠は次のページ． URL: https://www.tensorflow.org/install/source#common_installation_problems

詳細説明

（NVIDIA GPU を使うとき）NVIDIA cuDNN 7.6 のインストール

ダウンロードページ

TensorFlow 2.4 の GPU 版での，cuDNN のバージョンは 8.0.5（現時点で，NVIDIA CUDA ツールキット 11 で動く最新版）．

TensorFlow 2.3, 2.2, 2.1 の GPU 版での，cuDNN のバージョンは 7.6．そして，TensorFlow 1.13 以上 TensorFlow 2.0 までの GPU 版での，cuDNN のバージョンは7.4 ．それより高いバージョンよりは使わないこと．

詳細説明

TensorFlow 1.15（旧バージョン）のインストール

Python 3.6 を起動するコマンドを確認しておくこと．

Windows の場合

  1. コマンドプロンプトを実行する．
  2. 隔離された Python 仮想環境を使用するときは，次のようなコマンドで有効化する． 

    C:\venv\tf115py36\Scripts\activate.bat

    [image]
  3. TensorFlow のインストール

    Python の使用は，隔離された Python 仮想環境の有効化の後，「python」で行う． Windows で，隔離された Python 仮想環境を使用しないときは，「python」ではなく「py -3.6」を使う． 

    python -m pip uninstall -y tensorflow tensorflow-cpu tensorflow-gpu tensorflow_datasets tensorflow-hub keras
python -m pip install -U tensorflow==1.15.5 tensorflow_datasets tensorflow-hub keras==2.3.1 matplotlib opencv-python
python -m pip install git+https://github.com/tensorflow/docs
python -m pip install git+https://github.com/tensorflow/examples.git
  4. TensorFlow のバージョン確認 

    python -c "import tensorflow as tf; print( tf.__version__ )"

    [image]
  5. (GPU を使うとき) GPU が認識できてるかの確認

    TensorFlow が GPU を認識できているかの確認は，端末で，次を実行して行う． 

    python -c "from tensorflow.python.client import device_lib; print(device_lib.list_local_devices())"

Ubuntu の場合

  1. 端末を開く
  2. pyenv の Python 3.6 の有効化．

    端末で，次のコマンドを実行． 

    pyenv shell 3.6.12

    隔離された Python 仮想環境を使用するときは， 「pyenv shell 3.6.12」は実行しないで， 次のようなコマンドで Python 仮想環境を有効化する． 

    source ~/tf115py36/bin/activate

    [image]
  3. TensorFlow のインストール

    Python の使用は，「python」で行う． 

    python -m pip uninstall -y tensorflow tensorflow-cpu tensorflow-gpu tensorflow_datasets tensorflow-hub keras
python -m pip install -U tensorflow==1.15.5 tensorflow_datasets tensorflow-hub keras==2.3.1 matplotlib opencv-python
python -m pip install git+https://github.com/tensorflow/docs
python -m pip install git+https://github.com/tensorflow/examples.git
  4. TensorFlow のバージョン確認 

    python -c "import tensorflow as tf; print( tf.__version__ )"

    [image]
  5. (GPU を使うとき) GPU が認識できてるかの確認

    TensorFlow が GPU を認識できているかの確認は，端末で，次を実行して行う． 

    python -c "from tensorflow.python.client import device_lib; print(device_lib.list_local_devices())"
    システムの環境変数:

mpatacchiola/DeepGaze のインストール

Windows での手順を下に示す．Ubuntu でも同様の手順になる．

  1. Python 3.6 を起動するコマンドを確認しておく．
    • Windows の場合: 「py -3.6」
    • Windows で Python 仮想環境 tf115py36 を使う場合: 「C:\venv\tf115py36\Scripts\activate.bat」の後，「python」
    • Ubuntu の場合: 「pyenv shell 3.6.12」の後，「python」
    • Ubuntu で Python 仮想環境 tf115py36 を使う場合: 「source ~/tf115py36/bin/activate」の後，「python」
  2. 隔離された Python 仮想環境を使用するときは，有効化する．

    Windows の場合での，有効化のコマンドの例． 

    C:\venv\tf115py36\Scripts\activate.bat

    [image]

    Ubuntu の場合での，有効化のコマンドの例． 

    source ~/tf115py36/bin/activate

    [image]

    ※ 以下，Windows での手順を示す．Ubuntu でも同様の手順になる．

  3. DeepGaze のインストールディレクトリを空にしておく 

    cd C:\venv\tf115py36
rmdir /s /q deepgaze

    [image]
  4. DeepGaze のインストール 

    git clone https://github.com/mpatacchiola/deepgaze
cd deepgaze
python setup.py build
python setup.py install

    [image]
    [image]

このページで説明のために使用するビデオ、写真

  1. C:\face-image のような作業用のディレクトリ（フォルダ）を作る

    [image]
  2. mp4 形式ビデオファイル: sample2.mp4 を、C:\face-image の下にダウンロード

ビデオカメラで動かしてみる

Windows での手順を下に示す．Ubuntu でも同様の手順になる．

  1. Python 3.6 を起動するコマンドを確認しておく．
    • Windows の場合: 「py -3.6」
    • Windows で Python 仮想環境 tf115py36 を使う場合: 「C:\venv\tf115py36\Scripts\activate.bat」の後，「python」
    • Ubuntu の場合: 「pyenv shell 3.6.12」の後，「python」
    • Ubuntu で Python 仮想環境 tf115py36 を使う場合: 「source ~/tf115py36/bin/activate」の後，「python」
  2. 隔離された Python 仮想環境を使用するときは，有効化する．

    Windows の場合での，有効化のコマンドの例． 

    C:\venv\tf115py36\Scripts\activate.bat

    [image]

    Ubuntu の場合での，有効化のコマンドの例． 

    source ~/tf115py36/bin/activate

    [image]

    ※ 以下，Windows での手順を示す．Ubuntu でも同様の手順になる．

  3. Python プログラムを動かす． 

    import numpy as np
import cv2
from deepgaze.saliency_map import FasaSaliencyMapping 

# Using OpenCV the resolution of the webcam is set to these values.
# You must check which resolution your webcam support and adjust the values in accordance.
RESOLUTION_WIDTH = 320
RESOLUTION_HEIGHT = 180

# Open the video stream and set the webcam resolution.
# It may give problem if your webcam does not support the particular resolution used.
video_capture = cv2.VideoCapture(0)

# Create the main window and move it
cv2.namedWindow('Video')

# Obtaining the CAM dimension
cam_w = int(video_capture.get(3))
cam_h = int(video_capture.get(4))

# Defining the FASA object using the camera resolution
my_map = FasaSaliencyMapping(cam_h, cam_w)

while True:
    # Capture frame-by-frame
    ret, frame = video_capture.read()
    image_salient = my_map.returnMask(frame, tot_bins=8, format='BGR2LAB')
    cv2.imshow('Video', image_salient)
    # Press Q to exit
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

    [image]

    [image]

本サイトは金子邦彦研究室のWebページである．

資料等の公開では，原則，「クリエイティブコモンズ BY NC SA」として公開するようにしている． PDFファイル，パワーポイントファイルなどには， 「クリエイティブコモンズ BY NC SA」を明記するとともに，ロゴを記載するようにしている（作業が間に合っていない分もあるのでご容赦ください）．

公開している資料をご利用になる場合の，再配布の条件，剽窃の防止などについて，別ページで説明している． 再配布や資料改変の際には，そのページをご確認ください．

サイトマップは，サイトマップのページをご覧下さい． 本サイト内の検索は，サイト内検索のページをご利用下さい．

問い合わせ先： 金子邦彦（かねこ くにひこ） [image]