トップページ -> データベース関連技術 -> 顔検出、顔識別 -> ビデオを扱ってみる(mpatacchiola/DeepGaze を使用,Python 3.6, TensorFlow 1.15 を使用)
[サイトマップへ], [サイト内検索へ]

ビデオを扱ってみる(mpatacchiola/DeepGaze を使用,Python 3.6, TensorFlow 1.15 を使用)

【このページの目次】

手順の要点: Python 3.6, TensorFlow 1.15, Python の仮想環境(Windows では C:\venv\tf115py36)

ソフトウエア等の利用条件は,利用者で確認すること.

サイト内の関連ページ:

謝辞:ソフトウエアの作者に感謝します

参考Webページ https://www.github.com/mpatacchiola/DeepGaze


前準備

Python 3.6 のインストール,pip と setuptools の更新

※ TensorFlow 1.15.3 に対応する Python は,3.6 や 3.7 など(3.8 は対応していない)(2020/06 時点).このページでは 3.6 を使って説明する.3.7 でも同様の手順になる.

Windows の場合

  1. Python 3.6 のインストール

    Python の URL: http://www.python.org/

    インストール手順の詳細は: 別ページで説明している.

  2. pip と setuptools の更新

    コマンドプロンプトを管理者として実行し,次のコマンドを実行.

    py -3.6 -m pip install -U pip setuptools
    

    [image]

Ubuntu の場合

次の手順により,システム Python とは別に,pyenv を用いて Pytnon 3.6 をインストールする.(システム Python の設定は変えたくないため).

  1. pyenv のインストールと設定

    図などの入った詳しい説明は別ページ

    sudo apt -yV install --no-install-recommends make build-essential libssl-dev zlib1g-dev libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm libncurses5-dev xz-utils tk-dev libxml2-dev libxmlsec1-dev libffi-dev liblzma-dev
    cd /tmp
    curl https://pyenv.run | bash
    echo 'export PYENV_ROOT="${HOME}/.pyenv"' >> ~/.bashrc
    echo 'if [ -d "${PYENV_ROOT}" ]; then' >> ~/.bashrc
    echo '    export PATH=${PYENV_ROOT}/bin:$PATH' >> ~/.bashrc
    echo '    eval "$(pyenv init -)"' >> ~/.bashrc
    echo '    eval "$(pyenv virtualenv-init -)"' >> ~/.bashrc
    echo 'fi' >> ~/.bashrc
    exec $SHELL -l
    
  2. 次のコマンドにより,pyenv を用いて Python 3.6.10 をインストール
    pyenv install 3.6.10
    

    [image]
  3. Ubuntu では端末を開く.
  4. pyenv の Python 3.6 の有効化. pip と setuptools の更新

    次のコマンドを実行.

    pyenv shell 3.6.10
    python -m pip install -U pip setuptools
    

Git, cmake のインストール

Git の URL: https://git-scm.com/

cmake の URL: https://cmake.org/download/

(Windows を使う場合のみ)Visual C++ ビルドツール (Build Tools) のインストール

Windows で Visual C++ ビルドツール (Build Tools) for Visual Studio 2017 のインストール(Chocolatey を利用)」で説明している.

以下,Windows に Python, git, Visual C++ ビルドツール (Build Tools) をインストール済みであるものとして説明を続ける.

(NVIDIA GPU を使うとき)NVIDIA グラフィックスボード・ドライバのインストール

GPU とは,グラフィックス・プロセッシング・ユニットの略で、コンピュータグラフィックス関連の機能,乗算や加算の並列処理の機能などがある.

ダウンロードページ

詳細説明

(NVIDIA GPU を使うとき)NVIDIA CUDA ツールキット 10.0 のインストール

CUDA とは,NVIDIA社が提供している GPU 用のプラットフォームである. ダウンロードページ

TensorFlow 2.1 以上の GPU 版での,NVIDIA CUDA のバージョンは 10.1指定されている. TensorFlow 1.15の GPU 版での,NVIDIA CUDA のバージョンは 10.0指定されている. 指定されているバージョンより高いものは使わない. その根拠は次のページ. URL: https://www.tensorflow.org/install/source#common_installation_problems

詳細説明

(NVIDIA GPU を使うとき)NVIDIA cuDNN のインストール

ダウンロードページ

次のページには,TensorFlow 2.1 以上の GPU 版での,cuDNN のバージョンは 7.6.そして,TensorFlow 1.13 以上 TensorFlow 2.0 までの GPU 版での,cuDNN のバージョンは7.4 が指定されている.

URL: https://www.tensorflow.org/install/source#common_installation_problems

詳細説明


隔離された Python 仮想環境の新規作成と,TensorFlow 1.15.3(旧バージョン)およびPython 開発環境(JupyterLab, spyder)のインストール

最新版ではない TensorFlow を使う.そうした場合,運用を簡単にする(バージョン指定のもの間違ってアップデートしないなど)のために,venv を用いて,隔離された Python 仮想環境を作る.

今から作成する隔離された Python 仮想環境の名前と、Pythonのバージョンを決めておく

ここで行う「隔離された Python 仮想環境の新規作成と,TensorFlow 1.15.3(旧バージョン)のインストール」ついては,より詳しくは,次のページで説明している.

Windows の場合

  1. Python 3.6 の準備

    Windows での Python 3.6 の準備は,このページの上の方で説明している.

  2. コマンドプロンプトを実行.
  3. venv を用いて,Python 3.6 が動く隔離された Python 仮想環境を作る.

    下の例では,隔離された Python 仮想環境のためのディレクトリを C:\venv\tf115py36に作成している.

    py -3.6 -m venv C:\venv\tf115py36
    

    [image]
  4. venv の隔離された Python 仮想環境を有効化,TensorFlow 1.15.3 のインストール,Python 開発環境(JupyterLab, spyder)のインストール

    venv を使い,孤立した Python 仮想環境を使っているときは,Windows でも Ubuntu でも同じで,「python -m pip install ...」. いま,venv を使っているかどうかは,プロンプトの「(venv)」で分かる.

    C:\venv\tf115py36\Scripts\activate.bat
    python -m pip install -U pip setuptools
    python -m pip install -U tensorflow-gpu==1.15.3 tensorflow_datasets
    python -m pip install -U jupyterlab jupyter jupyter-console jupytext spyder
    

    [image]

    [image]
    (以下省略)

Ubuntu の場合

  1. Python 3.6 の準備

    Ubuntu での Python 3.6 の準備は,このページの上の方で説明している.

  2. Ubuntu では端末を開く.
  3. venv を用いて,Python 3.6 が動く隔離された Python 仮想環境を作る.

    下の例では,隔離された Python 仮想環境のためのディレクトリを ~/tf115py36に作成している.

    pyenv shell 3.6.10
    python -m venv ~/tf115py36
    

    [image]
  4. venv の隔離された Python 仮想環境を有効化,TensorFlow 1.15.3 のインストール,Python 開発環境(JupyterLab, spyder)のインストール

    venv を使い,孤立した Python 仮想環境を使っているときは,Windows でも Ubuntu でも同じで,「python -m pip install ...」. いま,venv を使っているかどうかは,プロンプトの「(venv)」で分かる.

    source ~/tf115py36/bin/activate
    python -m pip install -U pip setuptools
    python -m pip install -U tensorflow-gpu==1.15.3 tensorflow_datasets
    python -m pip install -U jupyterlab jupyter jupyter-console jupytext spyder
    

    [image]

TensorFlow の確認

  1. 隔離された Python 仮想環境有効化
  2. TensorFlow のバージョン確認

    ※ バージョン番号が表示されれば OK.下の図とは違うバージョンが表示されることがある.

    python -c "import tensorflow as tf; print( tf.__version__ )"
    

    [image]
  3. (GPU を使うとき) GPU が認識できてるかの確認

    TensorFlow が GPU を認識できているかの確認は,端末で,次を実行して行う.

    python -c "from tensorflow.python.client import device_lib; print(device_lib.list_local_devices())"
    

    [image]

mpatacchiola/DeepGaze のインストール

Windows での手順を下に示す.Ubuntu でも同様の手順になる.

  1. Windows では,コマンドプロンプトを実行.
  2. 隔離された Python 仮想環境有効化

    ※ 以下,Windows での手順を示す.Ubuntu でも同様の手順になる.

  3. DeepGaze のインストールディレクトリを空にしておく

    cd C:\venv\tf115py36
    rmdir /s /q deepgaze
    

    [image]
  4. DeepGaze のインストール

    このとき,virtualenv の隔離された Python 仮想環境を有効化する(「tf115py36」のところは、Python仮想環境の名前)

    C:\venv\tf115py36\.venv\Scripts\activate.bat
    git clone https://github.com/mpatacchiola/deepgaze
    cd deepgaze
    python setup.py build
    python setup.py install 
    

    [image]
    [image]

このページで説明のために使用するビデオ、写真

  1. C:\face-image のような作業用のディレクトリ(フォルダ)を作る

    [image]
  2. mp4 形式ビデオファイル: sample2.mp4 を、C:\face-image の下にダウンロード

ビデオカメラで動かしてみる

  1. Windows では,コマンドプロンプトを実行.Ubuntu では端末を開く.
  2. 隔離された Python 仮想環境有効化

    以下,Windows での手順を示す.Ubuntu でも同様の手順になる.

  3. Python プログラムを動かす.

    import numpy as np
    import cv2
    from deepgaze.saliency_map import FasaSaliencyMapping 
    
    # Using OpenCV the resolution of the webcam is set to these values.
    # You must check which resolution your webcam support and adjust the values in accordance.
    RESOLUTION_WIDTH = 320
    RESOLUTION_HEIGHT = 180
    
    # Open the video stream and set the webcam resolution.
    # It may give problem if your webcam does not support the particular resolution used.
    video_capture = cv2.VideoCapture(0)
    
    # Create the main window and move it
    cv2.namedWindow('Video')
    
    # Obtaining the CAM dimension
    cam_w = int(video_capture.get(3))
    cam_h = int(video_capture.get(4))
    
    # Defining the FASA object using the camera resolution
    my_map = FasaSaliencyMapping(cam_h, cam_w)
    
    while True:
        # Capture frame-by-frame
        ret, frame = video_capture.read()
        image_salient = my_map.returnMask(frame, tot_bins=8, format='BGR2LAB')
        cv2.imshow('Video', image_salient)
        # Press Q to exit
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    

    [image]

    [image]

本サイトは金子邦彦研究室のWebページです.サイトマップは,サイトマップのページをご覧下さい. 本サイト内の検索は,サイト内検索のページをご利用下さい.

問い合わせ先: 金子邦彦(かねこ くにひこ) [image]