ディープラーニングのフレームワーク

金子邦彦研究室：　データベース、人工知能（AI)、データサイエンスの融合により不可能を可能にする

ディープラーニング，ディープニューラルネットワーク

ディープラーニング

ディープラーニングは，ジェフ・ヒントンが 2006年に見出した，層の浅いニューラルネットワークの組み合わせによる多層性の実現により勃興した分野．

TensorFlow

TendowFlow (https://www.tensorflow.org/) は， 機械学習のフレームワーク． 節が数値演算，枝が多次元の配列（テンソル）であるような「データフローグラフ (data flow graph)」を特色とする．

インストール

• Windows での TensorFlow のインストール手順は， 別ページで説明している．
• Ubuntu での TensorFlow のインストール手順は， 別ページで説明している．

参考 Web ページ

• Web ページ: http://tensorflow.org/
• github: https://github.com/tensorflow/tensorflow
• TensorFlow 2.00 リリースノート:
• チュートリアル: http://tensorflow.org/tutorials, https://github.com/nlintz/TensorFlow-Tutorials
• arxiv: http://arxiv.org/abs/1603.04467
• whitepaper: http://download.tensorflow.org/paper/whitepaper2015.pdf

※ ニューラルネットワークのデモサイト: http://playground.tensorflow.org

Keras

Keras はディープラーニングのフレームワーク

インストール

• Windows でのTensorFlow, Keras のインストール手順は，「別のページ」で説明している．
• Ubuntu でのTensorFlow, Keras のインストール手順は，「別のページ」で説明している．

参考 Web ページ

• URL: https://keras.io/ja/
• github: https://github.com/fchollet/keras
• Keras 応用: https://keras.io/applications/

Keras の概要

• Keras のモデルは，複数の層が組み合わさったもの．単純に層を積み重ねたもの（シーケンシャル）や，複雑な構成のもの（グラフ）がある
• Keras の層には，活性化関数，層の重みの種類（カーネル，バイアスなど）を設定できる
• Keras の層には，全結合，畳み込み（コンボリューション）などの種類がある
• 訓練（学習）のために，オプティマイザの設定を行う
• Keras のモデルの構成やオプティマイザの設定は，保存できる
• 訓練（学習）の結果は，結合の重みになる．結合の重みも保存できる

次のプログラムでは，損失関数を，categorical crossentropy, 最適化法を 確率的勾配降下法 (SGD), 尺度を accuracy に設定している．

m.compile(optimizer=tf.keras.optimizers.SGD(lr=0.01, momentum=0.9, nesterov=True),
          loss='sparse_categorical_crossentropy',
          metrics=['accuracy'])

※ 目的関数については： https://keras.io/ja/objectives/

Caffe

参考 Web ページ

• URL: http://caffe.berkeleyvision.org/

Caffe2

インストール

• Windows での Caffe 2 のインストール手順は， 別ページで説明している．
• Ubuntu での Caffe 2 のインストール手順は， 別ページで説明している．

参考 Web ページ

• URL: https://caffe2.ai
• github: https://github.com/caffe2/caffe2
• モデル zoo: https://caffe2.ai/docs/zoo.html https://github.com/caffe2/models

PyTorch

インストール

• Windows での PyTorch のインストール手順は， 別ページで説明している．
• Ubuntu での PyTorch のインストール手順は， 別ページで説明している．

参考 Web ページ

• PyTorch の Web ページ: http://pytorch.org/
• github: https://github.com/pytorch/pytorch
• github: https://github.com/hughperkins/pytorch
• PyTorch のデータセット, モデル: https://github.com/pytorch/vision/

Torch 7

• Web ページ: http://torch.ch/
• github: https://github.com/torch/torch7
• チートシート: https://github.com/torch/torch7/wiki/Cheatsheet
• チュートリアル: http://torch.ch/docs/getting-started.html#_

Theano

（ 2017.9 に開発の停止がアナウンス）

• Web ページ: http://deeplearning.net/software/theano/index.html
• github: https://github.com/Theano/Theano
• チュートリアル: https://github.com/Newmu/Theano-Tutorials
• arxiv: http://arxiv.org/abs/1605.02688
• http://deeplearning.net/software/theano/

CNTK

• Web ページ:
  https://www.microsoft.com/en-us/cognitive-toolkit/
  https://github.com/Microsoft/CNTK
• github: https://github.com/Microsoft/CNTK
• チュートリアル: http://research.microsoft.com/en-us/um/people/dongyu/CNTK-Tutorial-NIPS2015.pdf
• ドキュメント: http://research.microsoft.com/apps/pubs/?id=226641
• Chainervr について: https://github.com/chainer/chainercv
• Python について: https://github.com/stitchfix/Algorithms-Notebooks

参考 Web ページ

Google Colab

Google Colab はオンラインの Python 開発環境． 使用するには Google アカウントが必要． Google Colab で PYTHON 3 の新しいノートブックを新規作成する手順は次の通り．

1. Google Colab のWebページを開く

   https://colab.research.google.com

2. 「ファイル」で、「PYTHON 3 の新しいノートブックの新規作成」を選ぶ
3. Google アカウントでのログインが求められたときはログインする

Fashion MNIST

https://github.com/zalandoresearch/fashion-mnist"

Iris データ

iris データセットの先頭部分