トップページ人工知能,実世界DBOpenCV のプログラム例Python + OpenCV 4 でビデオのフレーム間差分、トラッキングビジョン、オプティカルフローなど

Python + OpenCV 4 でビデオのフレーム間差分、トラッキングビジョン、オプティカルフローなど

【目次】

【サイト内の関連ページ】

前準備

Python のインストール,pip と setuptools の更新,Python 開発環境

Python の URL: http://www.python.org/

【Python, pip の使い方】

Python, pip は,次のコマンドで起動できる.

Python 開発環境のインストール】

Python 用 opencv-python 4.3 のインストール

Windows の場合

コマンドプロンプトで次のコマンドを実行

python -m pip install -U opencv-python

Ubuntu の場合

端末で次のコマンドを実行

sudo apt -y update
sudo apt -y install libopencv-dev python3-opencv
  • ラズベリーパイ の場合

    端末で次のコマンドを実行

    sudo apt -y update
    sudo apt -y install libopencv-dev python3-opencv python3-opencv-apps
    

    このページで説明のために使用するビデオ

    前準備として,ビデオファイルを準備する

    ここで使用するビデオファイル:sample1.mp4

    このビデオファイルのダウンロードは, Windows でコマンドプロンプト管理者として実行し, 次のコマンドを実行.

    mkdir c:\image
    cd c:\image
    curl -O https://www.kkaneko.jp/sample/face/sample1.mp4
    

    上のコマンドがうまく実行できないときは, sample1.mp4 ダウンロードし、C:/image に置いておく

    ビデオファイルの表示

    Python プログラムを動かすために, Windows では「python」, Ubuntu では「python3」などのコマンドを使う.

    あるいは, 開発環境や Python コンソール(Jupyter Qt ConsoleSpyderPyCharmPyScripter など)の利用も便利である.

    あるいは,オンラインで動くGoogle Colaboratory のノートブックの利用も,場合によっては便利である.

    ビデオファイルの表示例

    1フレームずつファイルから読み出しては,表示することを繰り返す.早送りに見えるのは正常動作.

    import cv2
    import numpy as np
    
    IMROOT="C:/image/"
    v = cv2.VideoCapture(IMROOT + "sample1.mp4")
    while(v.isOpened()):
        r, bgr = v.read()
        if ( r == False ):
            break
        cv2.imshow("", bgr)
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    
    v.release()
    cv2.destroyAllWindows()
    

    [image]

    [image]

    表示を確認. このあと,ウインドウの右上の「x」をクリックしない.画面の中をクリックしてから,「q」キーを押して閉じる.以下同様.

    パソコン接続ビデオカメラの表示例

    パソコン接続できるビデオカメラを準備し,パソコンに接続しておく.

    ※「v = cv2.VideoCapture(0)」に変えただけ

    import cv2
    import numpy as np
    
    v = cv2.VideoCapture(0)
    while(v.isOpened()):
        r, bgr = v.read()
        if ( r == False ):
            break
        cv2.imshow("", bgr)
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    
    v.release()
    cv2.destroyAllWindows()
    

    [image]

    ビデオファイルの表示例(必要部分の切り出し)

    「bgr[0:400, 0:300, 0:3]」で範囲を指定して、必要部分の切り出しを行っている

    import cv2
    import numpy as np
    
    IMROOT="C:/image/"
    v = cv2.VideoCapture(IMROOT + "sample1.mp4")
    while(v.isOpened()):
        r, bgr = v.read()
        if ( r == False ):
            break
        f = bgr[0:400, 0:300, 0:3]
        cv2.imshow("", f)
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    
    v.release()
    cv2.destroyAllWindows()
    

    [image]

    ※ 止めたいとき,右上の「x」をクリックしない.画面の中をクリックしてから,「q」のキーを押して閉じる

    連続フレームの差分表示(フレーム間差分)

    ビデオファイル

    import cv2
    import numpy as np
    
    IMROOT="C:/image/"
    v = cv2.VideoCapture(IMROOT + "sample1.mp4")
    r, bgr = v.read()
    while(v.isOpened()):
        bgr2 = bgr
        r, bgr = v.read()
        if ( r == False ):
            break
        cv2.imshow("", bgr - bgr2 + 128)
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    
    v.release()
    cv2.destroyAllWindows()
    

    表示の一部分

    [image]

    パソコン接続ビデオカメラ

    パソコン接続できるビデオカメラを準備し,パソコンに接続しておく.

    ※「v = cv2.VideoCapture(0)」に変えただけ

    import cv2
    import numpy as np
    v = cv2.VideoCapture(0)
    r, bgr = v.read()
    while(v.isOpened()):
        bgr2 = bgr
        r, bgr = v.read()
        if ( r == False ):
            break
        cv2.imshow("", bgr - bgr2 + 128)
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    
    v.release()
    cv2.destroyAllWindows()
    

    [image]

    トラッキングビジョン

    「トラッキングに適するポイント(追跡用の点)」を複数抜き出す(Shi-Tomasi の手法)ことを行ってみる

    ビデオファイル

    import cv2
    import numpy as np
    
    IMROOT="C:/image/"
    v = cv2.VideoCapture(IMROOT + "sample1.mp4")
    fourcc = cv2.VideoWriter_fourcc(*'XVID')
    while(v.isOpened()):
        r, bgr = v.read()
        if ( r == False ):
            break
        g = cv2.cvtColor(bgr, cv2.COLOR_BGR2GRAY)
        d = cv2.goodFeaturesToTrack(g, 80, 0.01, 5, 3)
        if d is not None:
            d = np.int0(d)
            for i in d:
                x,y = i.ravel()
                cv2.circle(bgr, (x,y), 10, 255, -1)
        cv2.imshow("", bgr)
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    
    v.release()
    cv2.destroyAllWindows()
    

    [image]

    ※ 途中で止めたいとき,右上の「x」をクリックしない.画面の中をクリックしてから,「q」のキーを押して閉じる

    パソコン接続ビデオカメラ

    パソコン接続できるビデオカメラを準備し,パソコンに接続しておく.

    ※「v = cv2.VideoCapture(0)」に変えただけ

    import cv2
    import numpy as np
    v = cv2.VideoCapture(0)
    fourcc = cv2.VideoWriter_fourcc(*'XVID')
    while(v.isOpened()):
        r, bgr = v.read()
        if ( r == False ):
            break
        g = cv2.cvtColor(bgr, cv2.COLOR_BGR2GRAY)
        d = cv2.goodFeaturesToTrack(g, 80, 0.01, 5, 3)
        if d is not None:
            d = np.int0(d)
            for i in d:
                x,y = i.ravel()
                cv2.circle(bgr, (x,y), 10, 255, -1)
        cv2.imshow("", bgr)
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    
    v.release()
    cv2.destroyAllWindows()
    

    [image]

    ※ 途中で止めたいとき,右上の「x」をクリックしない.画面の中をクリックしてから,「q」のキーを押して閉じる

    オプティカルフロー(Farnebackの方法による)

    オプティカルフローは,ビデオから「動きの情報」を取り出す

    ビデオファイル

    import cv2
    import numpy as np
    
    IMROOT="C:/image/"
    v = cv2.VideoCapture(IMROOT + "sample1.mp4")
    fourcc = cv2.VideoWriter_fourcc(*'XVID')
    ret, bgr1 = v.read()
    prvs = cv2.cvtColor(bgr1,cv2.COLOR_BGR2GRAY)
    hsv = np.zeros_like(bgr1)
    hsv[...,1] = 255
    while(1):
        ret, bgr2 = v.read()
        next = cv2.cvtColor(bgr2, cv2.COLOR_BGR2GRAY)
        # pyr_scale, levels, winsize, iterations, poly_n, poly_sigma, flags
        flow = cv2.calcOpticalFlowFarneback(prvs, next, None, 0.5, 3, 15, 3, 5, 1.2, 0)
        mag, ang = cv2.cartToPolar(flow[...,0], flow[...,1])
        hsv[...,0] = ang*180/np.pi/2
        hsv[...,2] = cv2.normalize(mag,None,0,255,cv2.NORM_MINMAX)
        rgb = cv2.cvtColor(hsv,cv2.COLOR_HSV2BGR)
        cv2.imshow('source',bgr2)
        cv2.imshow('flow',rgb)
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
        prvs = next
    
    v.release()
    cv2.destroyAllWindows()
    

    [image]

    ※ 途中で止めたいとき,右上の「x」をクリックしない.画面の中をクリックしてから,「q」のキーを押して閉じる

    パソコン接続ビデオカメラ

    パソコン接続できるビデオカメラを準備し,パソコンに接続しておく.

    ※「v = cv2.VideoCapture(0)」に変えただけ

    import cv2
    import numpy as np
    v = cv2.VideoCapture(0)
    fourcc = cv2.VideoWriter_fourcc(*'XVID')
    ret, bgr1 = v.read()
    prvs = cv2.cvtColor(bgr1,cv2.COLOR_BGR2GRAY)
    hsv = np.zeros_like(bgr1)
    hsv[...,1] = 255
    while(1):
        ret, bgr2 = v.read()
        next = cv2.cvtColor(bgr2, cv2.COLOR_BGR2GRAY)
        # pyr_scale, levels, winsize, iterations, poly_n, poly_sigma, flags
        flow = cv2.calcOpticalFlowFarneback(prvs, next, None, 0.5, 3, 15, 3, 5, 1.2, 0)
        mag, ang = cv2.cartToPolar(flow[...,0], flow[...,1])
        hsv[...,0] = ang*180/np.pi/2
        hsv[...,2] = cv2.normalize(mag,None,0,255,cv2.NORM_MINMAX)
        rgb = cv2.cvtColor(hsv,cv2.COLOR_HSV2BGR)
        cv2.imshow('source',bgr2)
        cv2.imshow('flow',rgb)
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
        prvs = next
    
    v.release()
    cv2.destroyAllWindows()
    

    [image]

    ※ 途中で止めたいとき,右上の「x」をクリックしない.画面の中をクリックしてから,「q」のキーを押して閉じる

    DIS optical flow

    謝辞:https://github.com/opencv/opencv/blob/master/samples/python/stereo_match.py で公開されているプログラムに少し手を加えて使用している(video パッケージを使わない。パソコンカメラを使うようにしている)

    import numpy as np
    import cv2 as cv
    
    def draw_flow(img, flow, step=16):
        h, w = img.shape[:2]
        y, x = np.mgrid[step/2:h:step, step/2:w:step].reshape(2,-1).astype(int)
        fx, fy = flow[y,x].T
        lines = np.vstack([x, y, x+fx, y+fy]).T.reshape(-1, 2, 2)
        lines = np.int32(lines + 0.5)
        vis = cv.cvtColor(img, cv.COLOR_GRAY2BGR)
        cv.polylines(vis, lines, 0, (0, 255, 0))
        for (x1, y1), (x2, y2) in lines:
            cv.circle(vis, (x1, y1), 1, (0, 255, 0), -1)
        return vis
    
    def draw_hsv(flow):
        h, w = flow.shape[:2]
        fx, fy = flow[:,:,0], flow[:,:,1]
        ang = np.arctan2(fy, fx) + np.pi
        v = np.sqrt(fx*fx+fy*fy)
        hsv = np.zeros((h, w, 3), np.uint8)
        hsv[...,0] = ang*(180/np.pi/2)
        hsv[...,1] = 255
        hsv[...,2] = np.minimum(v*4, 255)
        bgr = cv.cvtColor(hsv, cv.COLOR_HSV2BGR)
        return bgr
    
    def warp_flow(img, flow):
        h, w = flow.shape[:2]
        flow = -flow
        flow[:,:,0] += np.arange(w)
        flow[:,:,1] += np.arange(h)[:,np.newaxis]
        res = cv.remap(img, flow, None, cv.INTER_LINEAR)
        return res
    
    import sys
    cam = cv.VideoCapture(0)
    ret, prev = cam.read()
    prevgray = cv.cvtColor(prev, cv.COLOR_BGR2GRAY)
    show_hsv = False
    show_glitch = False
    use_spatial_propagation = False
    use_temporal_propagation = True
    cur_glitch = prev.copy()
    inst = cv.DISOpticalFlow.create(cv.DISOPTICAL_FLOW_PRESET_MEDIUM)
    inst.setUseSpatialPropagation(use_spatial_propagation)
    flow = None
    while True:
        ret, img = cam.read()
        gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
        if flow is not None and use_temporal_propagation:
            #warp previous flow to get an initial approximation for the current flow:
            flow = inst.calc(prevgray, gray, warp_flow(flow,flow))
        else:
            flow = inst.calc(prevgray, gray, None)
        prevgray = gray
        cv.imshow('flow', draw_flow(gray, flow))
        if show_hsv:
            cv.imshow('flow HSV', draw_hsv(flow))
        if show_glitch:
            cur_glitch = warp_flow(cur_glitch, flow)
            cv.imshow('glitch', cur_glitch)
        ch = 0xFF & cv.waitKey(5)
        if ch == 27:
            break
        if ch == ord('1'):
            show_hsv = not show_hsv
            print('HSV flow visualization is', ['off', 'on'][show_hsv])
        if ch == ord('2'):
            show_glitch = not show_glitch
            if show_glitch:
                cur_glitch = img.copy()
            print('glitch is', ['off', 'on'][show_glitch])
        if ch == ord('3'):
            use_spatial_propagation = not use_spatial_propagation
            inst.setUseSpatialPropagation(use_spatial_propagation)
            print('spatial propagation is', ['off', 'on'][use_spatial_propagation])
        if ch == ord('4'):
            use_temporal_propagation = not use_temporal_propagation
            print('temporal propagation is', ['off', 'on'][use_temporal_propagation])
    
    cv.destroyAllWindows()
    

    [image]