トップページ ▶ 人工知能，実世界DB（目次ページ）

サイトマップ

サイト内検索

用語集

アクセスログ

金子邦彦研究室

人工知能，実世界DB（目次ページ）

項目目次

用語集（データ処理，データベース，ディープラーニング分野）

1. 人工知能応用
   1. 人工知能による分類
   2. 画像分類
   3. 画像のセグメンテーション (image segmentation)
   4. テキスト検知，物体認識
   5. 人体の姿勢推定
   6. 顔情報（顔検出，顔識別、表情判定，顔のクラスタリングや類似度や分類，肌色部分の抽出，瞳孔の検出，顔姿勢の推定）(Dlib, DeepGaze を使用）
   7. ナンバープレート認識
   8. GAN の応用例
   9. 画像復元（image restoration），超解像（super resolution）
   10. Open 3D
2. 人工知能入門
   1. 人工知能応用実習（全８回）
   2. 人工知能の基礎（探索，知識表現，プロダクションシステム，Prolog，自然言語処理，ニューラルネットワーク）（全12回）
   3. ディープニューラルネットワークでできること
   4. 人工知能を演習と実践で学ぶ（４回）
   5. Microsoft Azure Cognetive Service を Python で使ってみる [PDF], [パワーポイント]
   6. Prolog のインストール
3. コンピュータビジョンおよび関連
   1. OpenCV を Python で使ってみる [PDF] , [パワーポイント]
   2. OpenCV のプログラム例
   3. scikit-image のスーパーピクセルを行ってみる
   4. vishwa91/pyimreg を使ってみる
   5. カメラのステレオマッチング（Python + OpenCV を使用）
   6. 画像の補正ツール
   7. 画像処理ツール（医用画像のセグメンテーション，レジストレーション ImageJ, MRIcro, FreeSurfer など）
4. 音声合成，音声認識
   1. 音声合成，音声認識
5. ビデオデータの操作
   1. ビデオデータの操作
6. ３次元地図，３次元データ
   1. ３次元点群データ，MeshLab
   2. ３次元地図の作成
   3. ３次元地図システム
   4. Web での３次元表示とインタラクション
7. ３次元コンピュータグラフィックス，ゲームエンジン
   1. Blender 2.8 実演
   2. Open 3D Engine のインストール（Windows 上）
   3. Godot エンジンのインストール（Windows 上）
   4. ゲームエンジン
   5. ３次元グラフィックスのツール（モデラーとレンダラー）

   Unreal Engine 入門: 別ページにまとめている．

8. ディープラーニング基盤技術
   1. 説明資料
   2. Keras の体験，応用例
   3. NVIDIA Digits
   4. PyTorch の応用例
   5. Convolutional Neural Networks の利用
   6. 強化学習，OpenAI Gym
9. その他
   1. Web ブラウザで動くインタラクティブ，ダイナミックな地図を作る
   2. 地図情報システムとデータベース
   3. 交通流シミュレーション
   4. オープンデータの活用
   5. 日本語処理，言語処理
   6. VR デバイス（仮想現実デバイス）
   7. ３次元スキャン装置 vivid
   8. その他

詳細目次

用語集（データ処理，データベース，ディープラーニング分野）

• 用語集（データ処理，データベース，ディープラーニング分野）

1. 人工知能応用，コンピュータビジョン応用

1-a. 人工知能による分類 (classification)

ディープラーニングによるデータの分類（Google Colab 上もしくはパソコン上）

• ニューラルネットワークを用いて分類を行うプログラム（Google Colaboratory を使用）
• ディープラーニングによるデータの分類（学習では TensorFlow データセットのIris データセットを使用）（Google Colab 上もしくはパソコン上）

データのバリエーション

上と同じ方法（ディープラーニングによるデータの分類）を，さまざまなデータで行う．

• ディープラーニングによるデータの分類（TensorFlow，TensorFlow データセットのMNIST データセットを使用）（Google Colab 上もしくはパソコン上）
• ディープラーニングによるデータの分類（TensorFlow，Fashion MNIST データセットを使用）（Google Colab 上もしくはパソコン上）
• ディープラーニングによるデータの分類（TensorFlow，CIFAR 10 データセットを使用）（Google Colab 上もしくはパソコン上）
• ディープラーニングによるデータの分類（TensorFlow，TensorFlow データセットのCIFAR 100 データセットを使用）（Google Colab 上もしくはパソコン上）
• 2クラス分類，モデルの作成と学習と検証（TensorFlow，Keras，IMDb データセットを使用）（Google Colab 上もしくはパソコン上）

ディープラーニングでの TensorFlow データセットのパイプライン（Google Colab 上もしくはパソコン上）

• ディープラーニングによるデータの分類（TensorFlow，TensorFlow データセットのMNIST データセットを使用）（Google Colab 上もしくはパソコン上）
• TensorFlow データセットの MNIST データセット
• TensorFlow データセットの Iris データセット, Titanic データセット

1-b. CNN による画像分類 (image classification)

• CNN による画像分類，モデルの作成と学習と検証（MobileNetV2，ResNet50，DenseNet 121，DenseNet 169，NASNet，TensorFlow データセットのCIFAR 10 データセットを使用）（Google Colab 上もしくはパソコン上）
• 画像データの拡張，CNN による画像分類，モデルの作成と学習と検証（tf.image を用いて増強，MobileNetV2，TensorFlow データセットのCIFAR 10 データセットを使用）（Google Colab 上もしくはパソコン上）
• 画像データの拡張，CNN による画像分類，モデルの作成と学習と検証（keras の preprocessing を用いて増強，MobileNetV2，TensorFlow データセットのCIFAR 10 データセットを使用）（Google Colab 上もしくはパソコン上）
• ImageNet で事前学習済みの CNN を用いた画像分類（MobileNetV2，ResNet50，DenseNet 121，DenseNet 169，NASNetを使用）（Google Colab あるいは Windows あるいは Ubuntu 上）
• 転移学習での特徴抽出器（ImageNet で学習済みの ResNet50 による転移学習）（Windows あるいは Ubuntu 上）

画像のセグメンテーション (image segmentation)

目次ページ: 画像のセグメンテーション (image segmentation)

• 画像のセグメンテーション（PixelLib, TensorFlow, Python を使用）
• インスタンス・セグメンテーションで特定クラスのセグメンテーション（Mask R-CNN, PixelLib, TensorFlow, Python を使用）

1-c. テキスト検知，物体認識

目次ページ: 物体認識

テキスト検知

• OpenCV を用いたテキスト検知（Text Detection）（dnn の EAST を使用）（Windows あるいは Ubuntu 上）
• OpenCV を用いたテキスト検知（Text Detection）（OpenCV Contrib の External Region Filter アルゴリズムを使用）（Windows あるいは Ubuntu 上）

TensorFlow 2 Object Detection API （オブジェクト検出 API）による一般物体検出

• TensorFlow 2 Object Detection API （オブジェクト検出 API）のインストールと一般物体検出（TensorFlow のチュートリアルのプログラムを使用）（Google Colab あるいは Ubuntu 上）

SSD による一般物体検出

• 一般物体検出 YOLOv4（AlexryAB/darknet，Python を使用）
• SSD による一般物体検出（pierluigiferrari/ssd_keras, PASCAL VOC モデル，Python 3.6, TensorFlow 1.15, Keras 2.2.4 を使用）
• SSD による一般物体検出（pierluigiferrari/ssd_keras, COCO モデル，Python 3.6, TensorFlow 1.15, Keras 2.2.4 を使用）
• SSD による一般物体検出（SnowMasaya/ssd_keras, Python 3.6，TensorFlow 1.15, Keras 2.0.9 を使用）
• SSD による一般物体検出（rykov SSD_Keras, Python 3.6, TensorFlow 1.15, Keras 1.2.2 を使用）
• Keras VGG16 のビジュアライズ (書きかけ)

1-d. 人体の姿勢推定

目次ページ: 人体の姿勢推定

• Windows で OpenPose を使ってみる

1-e. 顔情報（顔検出，顔識別、表情判定，顔のクラスタリングや類似度や分類，肌色部分の抽出，瞳孔の検出，顔姿勢の推定）(Dlib, DeepGaze を使用）

Dlib の機能全般

• Dlib の主要機能 [PDF], [パワーポイント],
• Dlib での画像分類，物体検出，顔検出，トラッキング・ビジョン，顔のランドマーク検出（Dlib 付属のプログラムを実行）

画像分類

• Dlib で，画像を使っての学習と画像認識の手順（付属の imglab を使用）

顔検出

• Dlib を用いた顔検出（Windows 上）
• 顔検出（ipazc/MTCNN，Python を使用）（Windows 上）

顔のアラインメント，顔の増量，顔のランドマーク検出，顔のコード化

• Dlib を用いて，顔のアラインメント，顔データの増量，顔のランドマーク，顔のコード化（Dlib 付属のサンプルプログラムを使用）（Windows 上）
• 顔のランドマーク（68 ランドマーク）の取得（Dlib，Python を使用）（Windows 上）
• 顔の特徴点（２次元，３次元）の抽出（1adrianb/face-alignment，Python を使用）（Windows 上）

顔識別

• ディープラーニングで顔識別を行う．訓練データでの学習と確認を行う（Python，Dlib, ageitgey/face_recognition を使用）
• 顔識別，顔検出，顔のランドマーク（Python，Dlib, ageitgey/face_recognition を使用）
• 顔識別（chen0040/keras-face，Python，TensorFlow 1.15 を使用）

  DeepFace, VGG16 + Simase (2手法)による顔識別

顔のクラスタリング

• 顔のクラスタリング（Python, Dlib を使用）（Windows 上）

表情判定

• Dlib で，顔検出，顔のランドマーク検出（68 ランドマーク法），表情判定を行ってみる
• 表情判定を行ってみる (adithyaselv/face-expression-detect を使用)（書きかけ）

顔姿勢の推定，瞳孔の検出，眼球運動

• 頭部の向きの推定（lincolnhard/head-pose-estimation，Dlib，Python を使用）（Windows 上）
• 頭部の向きの推定（mpatacchiola/DeepGaze，Python 3.6, TensorFlow 1.15 を使用）
• 瞳孔の検出（TobiasRoeddiger/PupilTracker，Python を使用）
• berenslab/uneye を動かしてみる (Python 3.6 を使用)

肌色部分の抽出

• 肌色領域の抜き出し（mpatacchiola/DeepGaze を使用，Python 3.6, TensorFlow 1.15 を使用）
• ビデオを扱ってみる（mpatacchiola/DeepGaze を使用，Python 3.6, TensorFlow 1.15 を使用）

Dlib の C++ ライブラリ

• dlib C++ Library に付属のサンプルプログラムで，カラー画像のエッジ抽出
• dlib C++ Library に付属のサンプルプログラムで HoG を求める
• dlib C++ Library に付属のサンプルプログラムで SURF を求める
• dlib C++ Library に付属のサンプルプログラムで顔検出を行う

• openface.html（書きかけ）
• ubuntuopenface.html（書きかけ）

1-f. ナンバープレート認識

目次ページ: ナンバープレート認識

• Tesseract OCR 5 の学習（Ubuntu 上）
• Tesseract OCR 5 で新しいフォントを用いた学習（Ubuntu 上）
• 画像から新規フォントの作成（Windows 上）
• 文字（数字、ひらがな）認識実験
• Windows の Python で Tesseract を使ってみる（書きかけ）
• Windows で OpenALPR システムを使ってみる
• OpenALPR 2.3.0 のインストール（Ubuntu 上）
• 書きかけ

1-g. GAN の応用例

目次ページ: GAN の応用例

画像のノイズ除去

• 画像のノイズ除去（yu4u/noise2noise，Python 3.6, TensorFlow 1.15，Keras 2.1 を使用）

スタイル変換（元情報を保ちスタイルを変換）

• pix2pix による画像のスタイル変換（affinelayer/pix2pix-tensorflow，Python 3.6, TensorFlow 1.15 を使用）
• Image-to-Image デモ, Variational Auto-Encoder オンラインデモの紹介
• ビデオを他人の顔に入れ替える（Simple DeepFace を使用，Google Colab 上での実行）
  顔画像と顔ビデオからの顔ビデオの生成

顔の生成

• オンラインサービス Waifu Labs を使ってみる
  アニメ絵キャラクタ顔の生成
• ZZUTK/Face-Aging-CAAE を使い Face Aging を行ってみる（書きかけ）
• DCGANの例，carpedm20/DCGAN-tensorflow を使い，新しい顔を生成してみる（書きかけ）

1-h. 画像復元（image restoration），超解像（super resolution）

• Waifu2x-converter-cpp，Waifu2x-converter-cpp のインストール（Windows 上）
• 超高解像ソフトウエア ISR のインストールとテスト実行（Windows 上）
• 超解像（jmiller656/EDSR-TensorFlow，Python，TensorFlow 1.15, scipy 1.1.0, pillow を使用）
• 超解像，画像の修復（alexjc/neural-enhance，Python 3.7，Theano，Lasangne, scipy 1.1.0, pillow を使用）（Ubuntu 上）
• 教師データ無しでの画像復元 (DmitryUlyanov/deep-image-prior，Python，CUDA 9.2，pytorch, torchvision を使用)

2. 人工知能入門

2.1 人工知能応用実習（全８回）

目次ページ：5.a. 人工知能応用実習（全８回）

• dn-1. 人工知能システム（TensorFlow, Keras による説明）: [YouTube ビデオ], [PDF], [パワーポイント]

  事前準備：各自で Google アカウントを取得しておくこと

  次の URL を使用

  https://www.tensorflow.org/tutorials

• dn-2. 人工知能による画像分類，過学習（TensorFlow, Keras による説明）: [YouTube ビデオ], [PDF], [パワーポイント]

  事前準備：各自で Google アカウントを取得しておくこと

  次の URL を使用

  https://www.tensorflow.org/tutorials

• dn-3. TensorFlow の画像分類のデモ: [YouTube ビデオ], [PDF], [パワーポイント]

  事前準備：各自で Google アカウントを取得しておくこと

  次の URL を使用

  https://www.tensorflow.org/tutorials/images/classification

• dn-4. TensorFlow の転移学習のデモ: [YouTube ビデオ], [PDF], [パワーポイント]

  事前準備：各自で Google アカウントを取得しておくこと

  次の URL を使用

  https://www.tensorflow.org/tutorials/images/transfer_learning_with_hub

• dn-5. 顔検出，顔認識（Dlib を使用）: [YouTube ビデオ], [PDF], [パワーポイント]

  事前準備：各自で Google アカウントを取得しておくこと

  次の URL を使用

  実験１: https://colab.research.google.com/drive/1S55yEFiQpdIRdjWbdH0zzEYD5VAfklHd?hl=ja#scrollTo=7JdSy61xJGBv

  実験２: https://colab.research.google.com/drive/13fXJ4f2dF-53YI_6i_rAJl17cuYuLE91#scrollTo=PAJ9H2QqRa

• dn-6. ３次元データベース，写真からの３次元再構成（写真測量）（Meshroom を使用）: [YouTube ビデオ], ３次元データベース，写真からの３次元再構成（写真測量） [PDF], [パワーポイント]

  公開されている次のソフトウエアを使用（利用条件等は，利用者で確認すること）

  Meshroom: https://alicevision.org/

  MeshLab: https://www.meshlab.net/

• dn-7. TensorFlow のスタイル変換のデモ（TensorFlow, Keras を使用）: [YouTube ビデオ], [PDF], [パワーポイント]

  事前準備：各自で Google アカウントを取得しておくこと

  次の URL を使用

  https://colab.research.google.com/github/tensorflow/tensorflow/blob/master/tensorflow/lite/g3doc/models/style_transfer/overview.ipyn

• dn-8. TensorFlow の DCGAN のデモ（TensorFlow, Keras を使用）: [YouTube ビデオ], [PDF], [パワーポイント]

  事前準備：各自で Google アカウントを取得しておくこと

  次の URL を使用

  https://www.tensorflow.org/tutorials/generative/dcgan

2.2 人工知能の基礎（探索，知識表現，プロダクションシステム，Prolog，自然言語処理，ニューラルネットワーク）（全12回）

目次ページ：人工知能の基礎（探索，知識表現，プロダクションシステム，Prolog，自然言語処理，ニューラルネットワーク）（全12回）

1. 人工知能でできること，人工知能の種類，人工知能の現状，人工知能による社会の変化

   [PDF], [パワーポイント]

2. 知的なゲームのルール，コンピュータプレイヤーがゲームに参加，状態空間表現

   [PDF], [パワーポイント]

3. 総当り，総当りのパス，状態空間表現での総当り，パスと木

   [PDF], [パワーポイント]

4. パス，木，グラフ，探索，発見的探索

   [PDF], [パワーポイント]

5. プロダクションシステム

   [PDF], [パワーポイント]

6. 述語，Prolog

   [PDF], [パワーポイント]

7. 自然言語処理，品詞，構文解析

   [PDF], [パワーポイント]

8. 機械学習，ニューラルネットワーク

   [PDF], [パワーポイント]

9. ニューラルネットワークの学習，最適化

   [PDF], [パワーポイント]

10. ニューラルネットワークの基礎（訓練データ，検証データ，学習，学習不足，過学習）

    [PDF], [パワーポイント]

11. ニューラルネットワークの使い方（作成，学習の設定，学習の実行，利用）

    [PDF], [パワーポイント]

12. ニューラルネットワークによる画像分類（配列と次元，ニューラルネットワークの作成，学習の設定，学習の実行，検証，画像分類の実施）

    [PDF], [パワーポイント]

13. 中間まとめ

    [PDF], [パワーポイント]

2.3 ディープニューラルネットワークでできること

• 画像分類

  [PDF], [パワーポイント], 動画: [mp4 形式動画]

• オブジェクト検出

  [PDF]

, [パワーポイント], 動画: [mp4 形式動画]

2.4 人工知能を演習と実践で学ぶ（４回）

目次ページ：人工知能を演習と実践で学ぶ（４回）

• ai-2. 人工知能とは何か、人工知能で我々の暮らしはどのように変わるのか (14分23秒, 説明音声つき) [mp4 版], [パワーポイント], [PDF]
• ai-3. Python, TensorFlow, Keras のインストール（Windows 上）, [パワーポイント], [PDF]
• ai-10. ML-Agents ツールキットに付属の事前学習済みモデルを Unity で動かしてみる（ミニ実演）（8分34秒, 説明音声つき) [mp4 版], [パワーポイント], [PDF]

  「パソコン実習」の資料: Windows で Unity ML-Agents + Python 環境を作る（Chocolatey, Anaconda を利用）（Chocolatey, Anaconda を利用）[Web ページ]

• ai-11. ML-Agents ツールキットで学習を行ってみる（ミニ実演）（7分56秒, 説明音声つき) [mp4 版], [パワーポイント], [PDF]

  「パソコン実習」の資料: Windows で Unity ML-Agents + Python 環境を作る（Chocolatey, Anaconda を利用）（Chocolatey, Anaconda を利用）[Web ページ]

2.5 人工知能のクラウドサービス

• Microsoft Azure Cognetive Service を Python で使ってみる [PDF], [パワーポイント]

2.6 Prolog のインストール

目次ページ： Prolog のインストール

• GNU Prolog のインストール
• SWI-Prolog のインストール

3. コンピュータビジョンおよび関連

3.1 OpenCV を Python で使ってみる

OpenCV を Python で使ってみる [PDF] , [パワーポイント]

3.2 OpenCV のプログラム例

目次ページ: OpenCV のプログラム例

画像 (Python を使用)

• 画像の表示 (Python を使用)
• RGB から LAB への色空間の変換 (Python を使用)
• 画像のノイズ除去 (Python を使用)
• カラー画像を濃淡画像に変換 (Python を使用)
• ヒストグラム平坦化 (Python を使用)
• OTSU の方法による 2値化 (Python を使用)
• 適応的 2値化 (Python を使用)
• GrabCut 法による前景背景分離 (Python を使用)
• GrabCut 法による前景背景分離を行ってみる(Python を使用)
• オープニングによる 2値画像からの小領域除去 (Python を使用)
• Canny エッジ (Python を使用)
• カラーヒストグラム (Python を使用)
• HoG 特徴量 (Python を使用)
• Python + OpenCV 4 で濃淡画像を使う（イメージヒストグラム，ヒストグラム平坦化，ノイズ除去，2値化，輪郭抽出） (Python を使用)
  トピックス：カラー画像から濃淡画像への変換，イメージヒストグラム，ヒストグラム平坦化，濃淡画像のノイズを加える、ノイズを除去する，OTSU の方法による２値化，輪郭抽出

ビデオ (Python を使用)

• Python + OpenCV 4 でビデオカメラ画像の表示、ファイル書き出し、濃淡画像処理
  トピックス：カメラ画像の表示，カラー画像から濃淡画像への変換，ビデオファイルの書き出し・ヒストグラム平坦化，OTSU の方法による２値化，輪郭抽出
• Windows でカメラ画像を枠なし表示（Python, OpenCV を使用）
• Python + OpenCV 4 でビデオのフレーム間差分、トラッキングビジョン、オプティカルフローなど

ステレオマッチング，顔検出，グラフィックス，イメージスティッチング，マウスイベント，線分検知 (Python を使用)

• Python + OpenCV 4 でステレオマッチング
• Python + OpenCV 4 で顔検出
• Python + OpenCV 4 で，点や線の描画
• イメージ・スティッチング（kushalvyas/Python-Multiple-Image-Stitching）の紹介
• マウスイベント
• 線分検知

・行列操作 (C言語版)

• OpenCV を用いた行列操作
• OpenCV のサンプルプログラム（ベクトル集合）

・画像 (C言語版)

• OpenCV バージョン 2.4 のサンプルプログラム
• OpenCV のサンプルプログラム（画像）
• Visual Saliency を求める
• 適応２値化 (adaptive thresholding)
• ２値画像の領域を違う色で塗り分ける
• Hu モーメントを求めるサンプルプログラム
li> OpenCV を用いた Image Inpainting プログラム例
• OpenCV のサンプルプログラム（画像）

・ビデオ (C言語版)

• OpenCV のサンプルプログラム（ビデオ）
• OpenCV を用いた USB カメラの画像表示
• OpenCV を使って avi ビデオファイルの再生

種々のコンピュータビジョンソフトウエア

• Windows で bm3d のインストール（書きかけ）
• ROS を用いた Kinect の操作
• rosruby を使ってみる（書きかけ）

3.3 画像のセグメンテーション（Image Segmentation）

• scikit-image のスーパーピクセルを行ってみる

  キーワード：superpixel, SLIC, felzenszwalb, quickshift, watershed,　scikit-image, Python

• moviepy を使ってみる

3.4 画像のマッチング，レジストレーション（Image Matching, Image Registration）

• vishwa91/pyimreg を使ってみる

  キーワード： pyimreg, SIFT, RANSAC, 画像の位置合わせ (image registration), Python

3.5 ステレオ画像

• カメラのステレオマッチング（Python + OpenCV を使用）

3.6 画像の補正

目次ページ: 画像の補正ツール

• ビデオファイルを vReveal を用いて補正

3.7 画像処理ツール（医用画像のセグメンテーション，レジストレーション ImageJ, MRIcro, FreeSurfer など）

目次ページ: 画像処理ツール（医用画像のセグメンテーション，レジストレーション ImageJ, MRIcro, FreeSurfer など）

• ImageJ のインストール (Windows 上にインストール)
• ImageJ のインストール （Ubuntu 上）
• Fiji のインストール
• ImageJ を使ってみる
• ImageJ で「メモリが足りない」というエラーがでたときの対処
• Fiji で「メモリが足りない」というエラーがでたときの対処
• MRIcron のインストール（Windows 上）
• MRIcroGL のインストール（Windows 上にインストール）
• MRIcroGL を用いた MIP (Maximum Intensity Projection) 表示手順
• MRIcro を用いた MIP (Maximum Intensity Projection) 表示手順
• 「医用画像診断支援共通プラットフォーム（PLUTO）」を用いた3次元人体断面の表示と PLUTO 対応形式の画像ファイルの作成手順
• BMP 連番画像を TIFF 連番画像に変換（Windows 上のソフトウエアを利用）
• FreeSurfer バージョン 5.0.0 のインストール (Linux 上にインストール）
• FreeSurfer の使い方．--- FreeSurfer を用いた脳の領域抽出（セグメンテーション）の例 ---

4. 音声合成，音声認識

• Python で音声合成（Windowsの標準機能を使用）
• espeak のインストール

  キーワード： speech, 音声合成, espeak, Windows インストール

• マイクロソフトスピーチプラットフォームを使ってみる

  キーワード： speech, 音声合成, マイクロソフトスピーチプラットフォーム, Python

• Python の SpeechRecognizer を用いて音声認識

  キーワード: 音声認識, Google API, Python, SpeechRecognition

• Julius

5. ビジュアルオドメトリ

• 画像からのビジュアルオドメトリを行ってみる（GitHub の uoip/monoVO-python を使用）

6. ３次元地図，３次元データ

6.1 ３次元点群データ，MeshLab

• Open3D のインストール
• Python から libpcl を使う（GitHub の davidcaron/pclpy, Python を使用）（Ubuntu 上）
• Windows で strawlab/MultiCamSelfCam を使ってみる
• MeshLab でのメッシュの表示モード

  キーワード： MeshLab, Wavefront OBJ 形式ファイル, メッシュ，ワイヤフレーム表示，フラット表示，スムージング表示

• MeshLab で3次元点群データの表示, 3次元点群データをメッシュデータに変換

  キーワード： MeshLab, 3次元点群データ, 3次元点群データをメッシュデータに変換

• 3次元点群データを Python で表示

6.2 ３次元地図の作成

Blender と３次元地図

• Blender に標高，建物などのデータをインポート（Blender GIS を使用）
• BlenderGIS を用いて Blender に GeoTIFF 形式の高さマップ (height map) をインポート

GeoTIFF 形式ファイルなどの高さマップ (height map) をポリゴン化

• 高さマップ (height map) とは [PDF], [パワーポイント]
• terrain.party から高さマップ（height map）の png ファイルをダウンロード, [PDF], [ワード]
• 国土地理院標高タイルの数値データのダウンロードと画像表示, [PDF], [ワード]

  キーワード: 地図タイル，標高タイル，国土地理院タイル地図，国土地理院標高タイル，高さマップ（Height map），ダウンロード

GeoTIFF ファイルの処理

• コマンドで GeoTIFF ファイルを扱う

  GeoTIFF 情報の取得, 投影座標系への投影, GeoTIFF ファイルの拡大, GeoTIFF から png へ変換,png から GeoTIFF へ変換, EPSG コードを用いた座標系の変換

• GeoTIFF ファイルを 16 ビットpng ファイルに変換
• Python で GeoTIFF を使ってみる

  GeoTIFF, Python で GeoTIFF ファイルの読み込み，Python で GeoTIFF ファイルからの緯度経度の取得，osr, gdal

高さマップデータのダウンロード，GeoTIFF への変換

• 国土数値情報 土地利用細分メッシュ ラスタ変換ツール RASTERTOOL の紹介
• terrain.party から高さマップ (height map) をダウンロード, GeoTIFF に変換
• 基盤地図情報標高DEMデータ変換ツール DEMTOOL の紹介，基盤地図情報・数値標高モデルのデータを GeoTIFF に変換

高さマップデータのインポート

• Unreal Engine 4 で高さマップ (height map) をインポート
• Python の pypng パッケージのインストール手順

  キーワード: Python, png

6.3 3次元地図システム

• 資料（３次元地図データベース序論） [PDF], [パワーポイント]
• Cesium を使ってみる

  キーワード： Cesium, 3次元地図, JavaScript, 航空写真の表示, 地図の表示

• NICTA/cesium-simple-photogrammetry を使ってみる

  キーワード： Cesium, 3次元地図, JavaScript, ３次元データの取り込み, Cesium のデモサイト

• Cesium の機能

  キーワード： Cesium, 3次元地図, JavaScript, 地形（起伏）の表示，光や波の表現

• Cesium + Firefox の VR モード

  キーワード： Cesium, 3次元地図, JavaScript, WebVR, Firefox

• 3次元地図のソフトウエア Cesium を Python から使う

  キーワード： Cesium, Python

• 地理院地図３Ｄを眺めてみる

  キーワード： 地理院地図３Ｄ, STL ファイル, ダウンロード

• オンラインサービスの F4map を使って 3次元地図を見てみる, 動画 URL: https://www.youtube.com/watch?v=BxWbOwYPRXI
• オンラインサービスの OSMBuilding を使って 3次元地図を見てみる

6.4 Web での３次元表示とインタラクション

A-Frame

• A-Frame を使ってみる
• A-Frame で３次元オブジェクト表示，アニメーション，パノラマ表示，クリッカブルに設定
• パソコンで，マーカーベースの AR システムを動かしてみる（A-Frame, AR.js を使用）
• パソコンで，Web サーバを立ち上げ，Web でマーカーベースの AR システムを動かしてみる（A-Frame, AR.js, Python を使用）

7. ３次元コンピュータグラフィックス，ゲームエンジン

Blender

Blender のインストール

Blender 2.9 の設定，画面構成，基本操作

• 立体の新規作成，カメラの調整とレンダリング，マテリアル（Blender 2.9 系列で説明）
• Blender の画面構成と基本操作（Blender 2.9 系列で説明）
• Blender の設定操作例（Blender 2.9 系列で説明）

  項目: メニュー等の日本語化, 標準アドオンのインストール, オブジェクトサイズの単位の設定, キーボードにテンキーがないときの設定, 視野の回転に関する設定

• Blender のメニュー等の日本語化（Blender 3.0 で説明）

Blender

• Blender で，オブジェクトを配置（Blender 2.9 系列で説明）
• Blender で，ブーリアン演算により，立体を加工（Blender 2.9 系列で説明）
• Blender 2.8 でのマテリアル，スムースシェード (smooth shade)
• Blender の PBR Materials アドオン（Blender 2.9 系列で説明）
• Blender の画像テクスチャ，テクスチャ座標系（Blender 2.9 系列で説明）
• Blender のシェーダー・エディタ（Shader Editor）（Blender 2.9 系列で説明）
• Blender で，テクスチャ・ペインティング (Texture Painting) を行う （Blender 2.9 系列で説明）
• Blender で，クロス・シミュレーション（Cloth Simulation）を行う（Blender 2.9 系列で説明）
• Blender で，レンダリングを行う（Blender 2.8 系列で説明）

インポート，エクスポート

• Blender で Wavefront OBJ 形式，STL 形式ファイルのインポート，エクスポート（Blender 2.9 系列で説明）
• Blender で FBX 形式ファイルのエクスポート（Blender 2.9 系列で説明）

  スクリプト

  • Blender 2.8 で Python のスクリプトを実行してみる
  • Blender 内蔵の Python で Python パッケージのインストール（Blender 2.9 系列で説明）

  マテリアル，Physically Based Rendering

  • Blender の PBR Materials アドオンのインストールと動作確認
  • Wavefront Material形式ファイルにおけるマテリアルの例 [PDF], [パワーポイント]
  • Physically Based Rendering のインストール（GitHub の mmp/pbrt-v4 を使用）（Windows 上）
  • smoke2cycles.html (書きかけ)

  Blender と MakeHuman との連携による人体アニメーション

  • 逆力学（MakeHuman 1.2, Blender 2.93.4 を使用）（Windows 上）
  • MakeHuman と Blender 2.8 で人体アニメーション
  • cgspeed の BVHplay を使ってみる

  Blender のアニメーション表現

  • Blender 2.8 で剛体（rigit body) の落下、衝突のシミュレーション
  • Blender 2.8 でパーティクルアニメーションを行ってみる
  • blender のボーンとアーマチャを用いたアニメーション
  • Blender での動きの振り付けとアニメーション作成

  7.1 Blender の機能の説明，実演など

  目次ページ：Blender の機能の説明，実演など

  【Blender 2.8 演習】

  • Blender の概要（Blender 2.9 系列で説明）[PDF], [パワーポイント]
  • Blender で，オブジェクトを配置（Blender 2.9 系列で説明）
  • Blender で，ブーリアン演算により，立体を加工（Blender 2.9 系列で説明）
  • Blender のマテリアル，スムースシェード (smooth shade)（Blender 2.9 系列で説明）
  • Blender の PBR Materials アドオン（Blender 2.9 系列で説明）
  • Blender の画像テクスチャ，テクスチャ座標系（Blender 2.9 系列で説明）
  • Blender のシェーダー・エディタ（Shader Editor）（Blender 2.9 系列で説明）
  • Blender で，テクスチャ・ペインティング (Texture Painting) を行う （Blender 2.9 系列で説明）
  • Blender で，クロス・シミュレーション（Cloth Simulation）を行う（Blender 2.9 系列で説明）
  • Blender のライト（Blender 2.9 系列で説明）
  • Blender で，レンダリングを行う（Blender 2.9 系列で説明）

  【3次元コンピュータグラフィックス Blender 実演】

  1. cg-2. Windows で Blender のインストール (3分4秒, 説明音声つき) [mp4 版], [パワーポイント], [PDF]
  2. cg-3. Blender の主な機能概要 (3分53秒, 説明音声つき) [mp4 版], [パワーポイント], [PDF]
  3. cg-4. 立体の新規作成，カメラの調整とレンダリング，マテリアル（Blender 2.9 系列で説明） (3分53秒, 説明音声つき) [mp4 版], [パワーポイント], [PDF]
  4. cg-5. Blender のマテリアル (4分6秒, 説明音声つき) [mp4 版], [パワーポイント], [PDF]
  5. cg-6. Blender の作業視野とカメラ視野 (3分20秒, 説明音声つき) [mp4 版], [パワーポイント], [PDF]
  6. cg-7. Make Human のインストールと Blender 関係プラグインの組み込み (9分12秒, 説明音声つき) [mp4 版], [パワーポイント], [PDF]
  7. cg-9. Blender でパーティクルアニメーション (2分42秒, 説明音声つき) [mp4 版], [パワーポイント], [PDF]
  8. cg-10. Blender でパーティクルアニメーションの設定 (4分24秒, 説明音声つき) [mp4 版], [パワーポイント], [PDF]
  9. cg-11. Blender での剛体シミュレーションの再生 (2分40秒, 説明音声つき) [mp4 版], [パワーポイント], [PDF]
  10. cg-12. Blender での剛体シミュレーションの作成 (2分42秒, 説明音声つき) [mp4 版], [パワーポイント], [PDF]

  7.2 ゲームエンジン

  目次ページ：ゲームエンジン

  • ゲームエンジン（説明資料）[PDF], [パワーポイント], [HTML 版]
    ２次元と３次元，ゲームエンジンの構成要素，ゲームの構成物，ゲームエンジンの例
  • Cocos2d の概要（説明資料）[PDF], [パワーポイント], [HTML 版]
    イベント，キーコード，イベントハンドラ，アクション，座標
  • Panda3D の機能概要（説明資料）[PDF], [パワーポイント]
  • Blender 2.79 ゲームエンジン (2分54秒, 説明音声つき) [mp4 版], [パワーポイント]

  7.4 次元グラフィックスのツール（モデラーとレンダラー）

  目次ページ: ３次元グラフィックスのツール（モデラーとレンダラー）

  • Shade 3D 社 Shade 18 Standard 体験版を使ってみる
  • Indigo レンダラーのインストール
  • blendigo のインストール
  • irrEdit のインストール（Windows にインストール）
  • irrEdit でファイルのインポート，エクスポート
  • Maya を用いた人体アニメーション
  • Maya を用いた 8 視差画像のレンダリング
  • AVI4D を用いた 8 視差画像からの立体視用画像の生成
  • k3D インストール（Windows にインストール）
  • Windows で aqsis のインストール
  • Ubuntu で aqsis のインストールとテスト実行
  • RIB ファイルの文法と機能
  • Linux で TooL のビルド
  • Easy View for 3D インストール
  • Linux で glm のビルドとインストール

  8. ディープラーニング基盤技術

  8.1 説明資料

  • 人工知能（AI)が注目される理由・背景知識[ワード], [PDF]

  8.2 Keras の体験，応用例

  • Keras VGG16 のビジュアライズ (書きかけ)
  • dilatednet を使ってみる
  • YOLO v2 https://github.com/allanzelener/YAD2K
  • Facets

  8.3 NVIDIA Digits

  • NVIDIA Digits システムの稼働（Ubuntu 上）

    学習済みモデル（AlexNet, GoogLeNet, LeNet, UNET）を，DIGITS Model ストアからダウンロードできるとされる．

  8.4 PyTorch の応用例

  目次ページ：PyTorch の応用例

  • 単純な CNN を用いた画像分類（PyTorch のサンプルプログラムを使用）

    ユースケース: PyTorch の動作確認を行いたい．CNN (PyTorch を使用）について練習したい

  • 深層強化学習 CartPole-v0 を動かしてみる（PyTorch のサンプルプログラムを使用）

    ユースケース: 深層強化学習 CartPole-v0 を動かしてみたい

  ディープラーニング・モデル類

  CNN, RNN, GAN, LSTM

  https://github.com/handong1587/handong1587.github.io/blob/master/_posts/deep_learning/2015-10-09-dl-resources.md

  8-f. Convolutional Neural Networks の利用

  • CNN Graph を使ってみる（書きかけ）
  • FusionNet

    https://github.com/GunhoChoi/FusionNet-PyTorch

  • SegNEet https://github.com/preddy5/segnet
  • CamVid dataset G. Brostow, J. Fauqueur, and R. Cipolla, “Semantic object classes in video: A high-definition ground truth database,” PRL, vol. 30(2), pp. 88-97, 2009.
  • SUN RGB-D dataset
    S. Song, S. P. Lichtenberg, and J. Xiao, “Sun rgb-d: A rgb-d scene understanding benchmark suite,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 567-576, 2015.
  • PASCAL-Part Dataset

    http://www.stat.ucla.edu/~xianjie.chen/pascal_part_dataset/pascal_part.html

  • Pascal VOC12
    M. Everingham, S. A. Eslami, L. Van Gool, C. K. Williams, J. Winn, and A. Zisserman, The pascal visual object classes challenge: A retrospective, International Journal of Computer Vision, vol. 111, no. 1, pp. 98-136.

  文字列を扱う CNN

  • crepe/crepe.html（書きかけ）

  8-g. 強化学習，OpenAI Gym

  目次ページ:

  • 強化学習，OpenAI Gym
    • OpenAI Gym, Gym Atari のインストール
      [PDF], [ワード]
    • OpenAI Gym のプログラムを試してみる

    Classification に関する記事

    https://github.com/harvitronix/five-video-classification-methods

    複数のモデルの並立，アンサンブル

    書きかけ

    9. その他

    9.1 Web ブラウザで動くインタラクティブ，ダイナミックな地図を作る

    クリッカブル地図（マーカーなどが付いた地図）

    • Flicker を用いて地図のクリックで写真を表示, [PDF], [ワード]

      キーワード: Flicker, 地図, 写真, Exif, 緯度経度,

    • マーカー付きの OpenStreetMap 地図（Python + leaflet.js + folium を使用）

      キーワード: OpenStreetMap, Python, leaflet.js, folium, タイル地図, マーカー

    • マーカーとイメージポップアップ付きの OpenStreetMap 地図（Python + leaflet.js + folium を使用）
    • クリッカブル地図の製作実習 [PDF], [ワード]

      キーワード：Flicker，クリッカブル地図，マーカー，uMap, OpenStreetMap地図の指定範囲の抽出，uMapを用いたクリッカブル地図システム，写真付き吹き出し表示

    GoogleStreetView へのリンク

    • Google ストリートビューを見てみる

    SpatiaLite 活用

    • SpatiaLite を使ってみる

      キーワード： SpatiaLite, SQLite3, ESRI Shape ファイル, Geofabrik

    OpenStreetMap 活用

    • OpenStreetMap のエディタを使って地図を編集, [PDF], [ワード]

      キーワード: OpenStreetMap, IDエディタ, ポイント, ライン, エリア, タグ，OpenStreetMapのアカウント登録

    OpenStreetMap 活用

    • OpenStreetMap のデータ（少量）のダウンロード, 動画 URL: https://www.youtube.com/watch?v=MPxDfHo49s0
    • Mapbox を使ってみる

      mapbox は，地図サービス・ソフトウエア開発キット，OpenStreetMap のデータから作られたタイルマップ，自前のタイルマップをサーバにアップロードできるサービス

    • Python の overpass を用いて OpenStreetMap のデータをダウンロード（書きかけ）

      キーワード: OpenStreetMap, Overpass API, Python, overpass, geopandas, GeoJSON, 地図データダウンロード, ポイント, ライン, エリア, タグ

    • Python の overpy を用いて OpenStreetMap のデータをダウンロード

      キーワード: OpenStreetMap, Python, overpy, 地図データダウンロード, ポイント, ライン, エリア, タグ

    9.2 地図情報システムとデータベース

    目次ページ: 地図情報システムとデータベース

    【OpenStreetMap, ESRI Shape に関係するソフトウエア】

    • Ubuntu で Merkaartor を使ってみる
    • Ubuntu で JOSM (Java OpenStreetMap Editor) を使ってみる
    • JOSM (Java OpenStreetMap Editor) を用いて複数 OSM ファイルのマージ
    • JOSM (Java OpenStreetMap Editor) でデータの選択
    • JOSM (Java OpenStreetMap Editor) でメモリが確保できないときの対処法
    • Ubuntu で QGIS (Quantum GIS) のインストール
    • QGIS (Quantum GIS) のインストール (Windows の場合)
    • Ubuntu で SAGA GIS のインストール

    【osmar】

    • osmar を使ってみる
    • osmar を用いた地図描画ブログラムの例
    • osmar のデータ構造例

    【Spatialite のインストールと使用法】

    • Ubuntu で Spatialite のインストール
    • Spatialite を使ってみる
    • Ubuntu で SpatiaLite GUI を使ってみる
    • R システムでの SQLiteMap パッケージのインストール

    【地図データの入手】

    • OpenStreetMap, ESRI Shape ファイルの入手
    • 国土地理院の電子国土基本図（オルソ画像）

    9.3 交通流シミュレーション

    • SUMO を使ってみる

    9.4 オープンデータの活用

    ※ オープンデータは別のページで，紹介している．

    • Fast-CNN, Faster R-CNN for Object Detection

      URL: https://github.com/rbgirshick/fast-rcnn, https://www.slideshare.net/takashiabe338/fast-rcnnfaster-rcnn

    • YOLO (You only look once) for Object Detection
    • pixelwise prediction in semantic segmentation https://github.com/shelhamer/fcn.berkeleyvision.org
    • caffe: https://github.com/weiliu89/caffe
    • BLVC caffe: https://github.com/BVLC/caffe/tree/windows
    • SSD 実装, rykov ssd_keras (MultiBox Detector software) https://github.com/rykov8/ssd_keras SnowMasaya/ssd_keras https://github.com/SnowMasaya/ssd_keras weiliu89/caffe https://github.com/weiliu89/caffe/tree/ssd
    • tzutalin/ImageNet_Utils

      画像アノテーションのソフト

    • weights_)SSD300.hdf5

      https://mega.nz/#F!7RowVLCL!q3cEVRK9jyOSB9el3SssIA

      SSD Keras の学習済みデータ

    9.5 日本語処理，言語処理

    ディープニューラルネットワーク

    • GPT-2, BERT を使ってみる（huggingface/transformers を利用）（Google Colab あるいは Windows あるいは Ubuntu 上）

    Mecab，日本語の分かち書き，形態素解析，TF/IDF

    • MeCab のインストール（Windows 上）
    • MeCab をソースコードからビルドしてインストール（Windows 上）（書きかけ）
    • Juman++ を使ってみる（Google Colab あるいは Ubuntu 上）
    • Web ページのダウンロード，単語に切り分け，形態素解析（Python, Mecab, BeautifulSoap を使用）
    • R システムで形態素解析，TF/IDF （RMecab を使用）

    Bag of Words，TF/IDF，Latent Semantic Indexing，Latent Dirichlet Allocation，類似検索

    • 日本語文のコーパス（ドキュメントの集まり）から 辞書，Bag of Words, Latent Semantic Indexing (LSI)，Latent Dirichlet Allocation (LDA) を作る（Python，gensim を使用）
    • 英文のコーパス（ドキュメントの集まり）から 辞書，Bag of Words, Latent Semantic Indexing (LSI)，Latent Dirichlet Allocation (LDA) を作る
    • 日本語文のドキュメントの類似検索（Latent Semantic Indexing による）（Python，gensim を使用）
    • 日本語文のドキュメントの類似検索（Latent Dirichlet Allocation による）（Python，gensim を使用）
    • gensim を使ってみるl
    • Document2Vec を使ってみる

  9.6 VR デバイス（仮想現実デバイス）

  目次ページ: Oculus を使ってみる

  • Oculus のセットアップ
  • Oculus で WebVR システムを見てみる

  9.7 ３次元スキャン装置 vivid

  • vivid 使用法
  • vivid を用いた 3次元顔画像の作成手順

  9.8 その他

  【画像と3次元グラフィックス】

  • コマンドラインでの画像ファイル操作
  • CImg を使う C++ プログラム例
  • OpenMP
    ※ Cell/B.E. プロセッサでの OpenMP の使い方

  【その他のソフトウエア】

  • Ubuntu で VPN を使ってみる

  【その他】

  書きかけ

  ・H2O.ai の紹介

  https://www.h2o.ai/download/

  image classification, object detection

  本サイトは金子邦彦研究室のWebページである．

  資料等の公開では，原則，「クリエイティブコモンズ BY NC SA」として公開するようにしている． PDFファイル，パワーポイントファイルなどには， 「クリエイティブコモンズ BY NC SA」を明記するとともに，ロゴを記載するようにしている（作業が間に合っていない分もあるのでご容赦ください）．

  公開している資料をご利用になる場合の，再配布の条件，剽窃の防止などについて，別ページで説明している． 再配布や資料改変の際には，そのページをご確認ください．

  サイトマップは，サイトマップのページをご覧下さい． 本サイト内の検索は，サイト内検索のページをご利用下さい．

  問い合わせ先： 金子邦彦（かねこ くにひこ）