トップページ ▶ 人工知能，実世界DB ▶ GAN の応用例 ▶ pix2pix による画像のスタイル変換（affinelayer/pix2pix-tensorflow，Python 3.6, TensorFlow 1.15 を使用）

サイトマップ

サイト内検索

用語集

アクセスログ

金子邦彦研究室

pix2pix を動かしてみる

前準備

（Windows を使う場合のみ）マイクロソフト C++ ビルドツール (Build Tools) のインストール

「Visual Studio Community 2019 vesion 16.2, マイクロソフト C++ ビルドツールのインストール（Windows 上）」で説明している．

Python，TensorFlow 1.15 のインストール

すでに TensorFlow 2 を使っている，あるいは使う予定ということがありえる． 単純には，TensorFlow 2 と TensorFlow 1.15 を共存させて Python で使うということはできないが， 少しの手間で，共存できるようになる． そこで，TensorFlow 2 とTensorFlow 1.15 の共存を前提として， TensorFlow 1.15 のインストールを行う．

Windows の場合

Windows でのPython3.6，TensorFlow 1.15 のインストール：別ページで説明している．

すでにPython 3.9 あるいは Python 3.8 をインストールしている，あるいは，インストール予定という場合を想定し， あとのトラブルが起きにくい，そして，簡単に運用できるように 「Python 3.6 をインストールし，その上に，TensorFlow 1.15.5 をインストールする」という手順を案内している．

Ubuntu の場合

Ubuntu でのPython，TensorFlow 1.15 のインストール：別ページで案内している．

Ubuntu のシステム Python に影響を与えないように，隔離された Python 3.6 仮想環境の新規作成し，その上にTensorFlow 1.15.5 をインストールするという手順（venv を使用）（Ubuntu 上）を案内している．

Git, cmake のインストール

• Windows での Git のインストールは，別ページで説明している．
• Ubuntu で git をインストールするには， 端末で，次のコマンドを実行

  sudo apt -y update
  sudo apt -y install git
  

pix2pixのインストール

謝辞：https://github.com/affinelayer/pix2pix-tensorflow で公開されている著作物を利用している

Windows での手順を下に示す．Ubuntu でも同様の手順になる．

1. Windows で，コマンドプロンプトを管理者として実行する．
2. ディレクトリ（フォルダ）を空にする操作

   cd c:\pytools
   rmdir /s /q pix2pix-tensorflow
   
3. pix2pixのインストール

   git clone https://github.com/affinelayer/pix2pix-tensorflow
   
4. データのダウンロード操作

   ※ affinelayer/pix2pix-tensorflow の Web ページ に記載の通り行う．

   cd c:\pytools\pix2pix-tensorflow
   python tools\download-dataset.py facades
   
5. c:\pytools\pix2pix-tensorflow\facades の下の train と test にたくさんの画像ファイルがダウンロードされたことを確認する．
6. モデルのトレーニングを行う操作

   ※ これも，affinelayer/pix2pix-tensorflow の Web ページ に記載の通り行う．

   ※ GPU のときは数時間．CPUのときはさらに時間がかかる．

   python pix2pix.py --mode train --output_dir facades_train --max_epochs 100 --input_dir facades\train  --which_direction BtoA
   

   BtoA について．

   • 「A」は画像の左側
   • 「B」は画像の右側

   「--which_direction BtoA」と指定したので， 「右側」のような画像をコンピュータに与えたら，「左側」のような画像が生成されるように，モデルのトレーニングを行いなさいという指示になる．
7. 終了の確認

   ※ GPU 版の TensorFlow を使わない場合は，終了まで，かなり待つ．終了したらエラーメッセージが出ていないことを確認する．
8. 学習結果のファイルの確認

   次に，「学習結果の出力先 (--output_dir オプション)」として指定した facades_train に，ファイルができていることを確認する．
9. 確認のため，学習結果を tensorborard で表示

   次の手順で表示してみる

   1. tensorboard の起動

      このとき，起動メッセージに，URLが「http://hoge:6006」のように表示されるので確認する．

      実行手順例

      tensorboard --logdir=facades_train
      
   2. Web ブラウザで、先ほどの URL を開く
   3. 「GRAPHS」をクリックして確認する

モデルのテスト

※ これも，affinelayer/pix2pix-tensorflow の Web ページ に記載の通り行う．

1. 画像を準備し，facades\val ディレクトリに置く
2. 次のコマンドを実行

   python pix2pix.py  --mode test --output_dir facades_test --input_dir facades\val  --checkpoint facades_train
   
3. モデルのテストのプログラムは，それほど時間がかからない．終わったら，エラーメッセージが出ていないことを確認する．
4. 上のコマンドを実行すると，出力先として指定した「facades_test」に ファイルができるので確認する．
5. ここにある index.html ファイルを，Web ブラウザで開くと，簡単に結果が確認できる．
   • 左： コンピュータに与えた学習用の画像
   • 中： コンピュータが自動生成した画像
   • 右： テスト用の画像（訓練には使っていない）　コンピュータが自動生成した画像と見比べるため