Python + OpenCV でビデオのフレーム間差分、トラッキングビジョン、オプティカルフローなど

以下，Windows でインストール済みであるものとして説明を続けます．

この Web ページで説明のために使用するビデオ

顔が写ったビデオファイル

ドライブレコーダー

ステレオ画像（夜間）

作業手順

ビデオファイルの表示

ビデオファイルの表示例

import cv2
import numpy as np
IMROOT="C:/image/"
v = cv2.VideoCapture(IMROOT + "sample2.mp4")
while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    cv2.imshow("", bgr)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

パソコン接続ビデオカメラの表示例

パソコン接続できるビデオカメラを準備し，パソコンに接続しておく．

import cv2
import numpy as np
v = cv2.VideoCapture(0)
while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    cv2.imshow("", bgr)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

ビデオファイルの表示例（必要部分の切り出し）

「bgr[0:400, 0:300, 0:3]」で範囲を指定して、必要部分の切り出しを行っている

import cv2
import numpy as np
IMROOT="C:/image/"
v = cv2.VideoCapture(IMROOT + "1-1.avi")
while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    f = bgr[0:400, 0:300, 0:3]
    cv2.imshow("", f)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

※ 止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

カラーヒストグラム

https://github.com/opencv/opencv/blob/master/samples/python/color_histogram.py で公開されているプログラムを書き換えて使用

import numpy as np
import cv2 as cv
# built-in modules
import sys
if __name__ == '__main__':
    hsv_map = np.zeros((180, 256, 3), np.uint8)
    h, s = np.indices(hsv_map.shape[:2])
    hsv_map[:,:,0] = h
    hsv_map[:,:,1] = s
    hsv_map[:,:,2] = 255
    hsv_map = cv.cvtColor(hsv_map, cv.COLOR_HSV2BGR)
    cv.imshow('hsv_map', hsv_map)
    cv.namedWindow('hist', 0)
    hist_scale = 10
    def set_scale(val):
        global hist_scale
        hist_scale = val
    cv.createTrackbar('scale', 'hist', hist_scale, 32, set_scale)
    v = cv.VideoCapture(0)
    while(v.isOpened()):
        r, bgr = v.read()
        if ( r == False ):
            break
        cv.imshow('camera', bgr)
        small = cv.pyrDown(bgr)
        hsv = cv.cvtColor(small, cv.COLOR_BGR2HSV)
        dark = hsv[...,2] < 32
        hsv[dark] = 0
        h = cv.calcHist([hsv], [0, 1], None, [180, 256], [0, 180, 0, 256])
        h = np.clip(h*0.005*hist_scale, 0, 1)
        vis = hsv_map*h[:,:,np.newaxis] / 255.0
        cv.imshow('hist', vis)
        if cv.waitKey(1) & 0xFF == ord('q'):
            break
    v.release()
    cv.destroyAllWindows()

連続フレームの差分表示

ビデオファイル

import cv2
import numpy as np
IMROOT="C:/image/"
v = cv2.VideoCapture(IMROOT + "00008.MTS")
r, bgr = v.read()
while(v.isOpened()):
    bgr2 = bgr
    r, bgr = v.read()
    if ( r == False ):
        break
    cv2.imshow("", bgr - bgr2 + 128)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

パソコン接続ビデオカメラ

パソコン接続できるビデオカメラを準備し，パソコンに接続しておく．

import cv2
import numpy as np
v = cv2.VideoCapture(0)
r, bgr = v.read()
while(v.isOpened()):
    bgr2 = bgr
    r, bgr = v.read()
    if ( r == False ):
        break
    cv2.imshow("", bgr - bgr2 + 128)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

ビデオの背景除去（MOG2法による）

ビデオファイル

import cv2
IMROOT="C:/image/"
v = cv2.VideoCapture(IMROOT + "sample2.mp4")
fgbg = cv2.createBackgroundSubtractorMOG2()
while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    fgmask = fgbg.apply(bgr)
    cv2.imshow("",fgmask)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()