【目次】
MiVOSは、対話型のビデオオブジェクトセグメンテーション(interactive video object segmentation)の新しい手法として提案されている。このシステムはユーザーのインタラクションを取り入れつつ、特定のフレームでのセグメンテーション結果を他のフレームに効果的に伝搬させることができる。インタラクションと伝搬を分離するため、MiVOSはInteraction-to-Mask、Propagation、そしてDifference-Aware Fusionの3つの主要モジュールを採用している。2021年発表。
【文献】
Rethinking Space-Time Networks with Improved Memory Coverage for Efficient Video Object Segmentation, Cheng, Ho Kei and Tai, Yu-Wing and Tang, Chi-Keung, NeurIPS, also arXiv:2106.05210v2, 2021.
https://arxiv.org/pdf/2106.05210v2.pdf
Modular Interactive Video Object Segmentation: Interaction-to-Mask, Propagation and Difference-Aware Fusion, Cheng, Ho Kei and Tai, Yu-Wing and Tang, Chi-Keung, CVPR, also, arXiv:2103.07941v3, 2021.
https://arxiv.org/pdf/2103.07941v3.pdf
【関連する外部ページ】
Gitは,バージョン管理システム.ソースコードの管理や複数人での共同に役立つ.
【サイト内の関連ページ】
Windows での Git のインストール: 別ページ »で説明している.
【関連する外部ページ】
Git の公式ページ: https://git-scm.com/
【サイト内の関連ページ】
【関連する外部ページ】
Python の公式ページ: https://www.python.org/
【サイト内の関連ページ】
NVIDIA グラフィックスボードを搭載しているパソコンの場合には, NVIDIA ドライバ, NVIDIA CUDA ツールキット, NVIDIA cuDNN のインストールを行う.
【関連する外部ページ】
コマンドプロンプトを管理者として実行: 別ページ »で説明
PyTorch のページ: https://pytorch.org/index.html
次のコマンドは, PyTorch 2.0 (NVIDIA CUDA 11.8 用) をインストールする. 但し,Anaconda3を使いたい場合には別手順になる.
事前に NVIDIA CUDA のバージョンを確認しておくこと(ここでは,NVIDIA CUDA ツールキット 11.8 が前もってインストール済みであるとする).
PyTorch で,GPU が動作している場合には,「torch.cuda.is_available()」により,True が表示される.
python -m pip install -U --ignore-installed pip python -m pip install -U torch torchvision torchaudio numpy --index-url https://download.pytorch.org/whl/cu118 python -c "import torch; print(torch.__version__, torch.cuda.is_available())"
Anaconda3を使いたい場合には, Anaconda プロンプト (Anaconda Prompt) を管理者として実行し, 次のコマンドを実行する. (PyTorch と NVIDIA CUDA との連携がうまくいかない可能性があるため,Anaconda3を使わないことも検討して欲しい).
conda install -y pytorch torchvision torchaudio pytorch-cuda=11.8 cudnn -c pytorch -c nvidia py -c "import torch; print(torch.__version__, torch.cuda.is_available())"
【サイト内の関連ページ】
【関連する外部ページ】
コマンドプロンプトを管理者として実行: 別ページ »で説明
python -m pip install -U setuptools cd %HOMEPATH% rmdir /s /q davis-interactive git clone https://github.com/albertomontesg/davis-interactive
cd %HOMEPATH% cd davis-interactive notepad setup.py
「extra_compile_args=['-Wno-cpp', '-Wno-unused-function', '-std=c99'],」の行を, 「extra_compile_args=[],」に変えて保存する. 次のようになる.
python setup.py build python setup.py develop python setup.py install
コマンドプロンプトを管理者として実行: 別ページ »で説明
python -m pip install -U PyQt5 python -m pip install -U opencv-python cython progressbar networkx gitpython gdown cd %HOMEPATH% rmdir /s /q MiVOS git clone https://github.com/hkchengrex/MiVOS cd MiVOS python download_model.py
エラーメッセージが出ていないこと
「--video 1-1.avi」のところには処理したいビデオファイル名, 「--resolution 256」には解像度を指定する.
メモリが足りずに実行できない場合でも, 「--resolution」の値を調整することにより実行できるようになる場合がある.
cd %HOMEPATH% cd MiVOS python interactive_gui.py --video 1-1.avi --resolution 256
説明に従い,Scribble, Click, Free Hand により画面の中のオブジェクトを指定. その後「Propagate」をクリック