トップページ ▶ データベース研究 ▶ 日本語処理，言語処理 ▶ GPT-2, BERT を使ってみる（huggingface/transformers を利用）（Google Colab あるいは Windows あるいは Ubuntu 上）
サイトマップ サイト内検索 アクセスログ

GPT-2, BERT を使ってみる（huggingface/transformers を利用）（Google Colab あるいは Windows あるいは Ubuntu 上）

全体構成 教材類 インストール，運用 データベース研究 データ処理 プログラミング 支援 連絡先，業績など

Google Colab へのリンク

このページの内容は，Google Colab でも実行できる．

そのために，次の URL で，Google Colab のノートブックを準備している．

次のリンクをクリックすると，Google Colab のノートブックが開く． そして，Google アカウントでログインすると，Google Colab のノートブック内のコードを実行することができる．Google Colab のノートブックは書き換えて使うこともできる．このとき，書き換え後のものを，各自の Google ドライブ内に保存することもできる．

https://colab.research.google.com/drive/1mBFygBbUk4lBOov7TVyiat441MHwla3j?usp=sharing

前準備

Google Colab を使うか，パソコンを使う．それぞれの場合の前準備を説明する．

(1) Google Colab を使う場合

  1. Google Colab のWebページを開く

    https://colab.research.google.com

    Google Colab はオンラインの Python 開発環境． 使用するには Google アカウントが必要

  2. 「ファイル」で、「ノートブックを新規作成」を選ぶ

    [image]
  3. Google アカウントでのログインが求められたときはログインする

    [image]

    [image]

(2) パソコンを使う場合

（NVIDIA GPU を使うとき）TensorFlow のバージョンを確認の上，NIDIA CUDA ツールキットとNIDIA cuDNN のバージョンを確認

TensorFlow を使う場合は，必要となる NVIDIA CUDA ツールキット，NVIDIA cuDNN のバージョン確認

TensorFlow は，そのバージョンによって，必要となるNVIDIA CUDA ツールキット，NVIDIA cuDNN のバージョンが違う（最新の NVIDIA CUDA ツールキット，NVIDIA cuDNN で動くというわけでない）． そのことは，https://www.tensorflow.org/install/gpu で確認できる．

そこで， まずは，使用したい TensorFlow のバージョンを確認し，それにより， NVIDIA CUDA ツールキット，NVIDIA cuDNN を確認する．

NVIDIA CUDA ツールキットのバージョン：

指定されているバージョンより高いものは使わない． その根拠は次のページ． URL: https://www.tensorflow.org/install/source#common_installation_problems

NVIDIA cuDNN のバージョン：

その根拠は次のページ． URL: https://www.tensorflow.org/install/source#common_installation_problems

（NVIDIA GPU を使うとき）NVIDIA グラフィックスドライバ，NVIDIA CUDA ツールキット 11.0 ，NVIDIA cuDNN 8.0.5 のインストール

GPU とは，グラフィックス・プロセッシング・ユニットの略で、コンピュータグラフィックス関連の機能，乗算や加算の並列処理の機能などがある．

NVIDIA CUDA は，NVIDIA社が提供している GPU 用のプラットフォームである．

インストール手順の説明

関連 Web ページ

Python のインストール，pip と setuptools の更新，Python 開発環境（JupyterLab, spyder, nteract）のインストール，TensorFlow などのインストール

インストール手順の説明

Python プログラムを動かすために， pythonやpython3などのコマンドを使う． あるいは， 開発環境や Python コンソール（Jupyter Qt Console，spyder，PyCharm，PyScripter など）の利用も便利である．

GraphViz のインストール

huggingface/transformers の GPT-2 を動かしてみる

huggingface/transformers の URL: https://huggingface.co/transformers/ huggingface/transformers の GitHub の URL: https://github.com/huggingface/transformers

  1. transformers のインストール

    次のページに記載の手順に従う：https://huggingface.co/transformers/installation.html

    Windows では，コマンドプロンプトを管理者として実行し，次のコマンドを実行． 

    python -m pip install transformers

    [image]
  2. 英語で学習済みの GPT-2 を使ってみる

    次のページに記載のソースコードを使う（詳細説明も次のページにある）： https://huggingface.co/gpt2

    Python プログラムを動かすために， pythonやpython3などのコマンドを使う． あるいは， 開発環境や Python コンソール（Jupyter Qt Console，spyder，PyCharm，PyScripter など）も便利である．

    次のプログラムは，テキスト生成（与えられた文章から，続きのトークンを生成）を行っている． 

    from transformers import pipeline, set_seed
generator = pipeline('text-generation', model='gpt2')
set_seed(42)
generator("Hello, I'm a language model,", max_length=30, num_return_sequences=5)

    [image]

    次のプログラムは，特徴（features ）の取得を行っている． 

    from transformers import GPT2Tokenizer, TFGPT2Model
tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
model = TFGPT2Model.from_pretrained('gpt2')
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='tf')
output = model(encoded_input)

    [image]
  3. 英語で学習済みの BERT を使ってみる

    次のページに記載のソースコードを使う（詳細説明も次のページにある）： https://huggingface.co/bert-base-uncased

    Python プログラムを動かすために， pythonやpython3などのコマンドを使う． あるいは， 開発環境や Python コンソール（Jupyter Qt Console，spyder，PyCharm，PyScripter など）も便利である．

    次のプログラムは，マスクを埋める（fill mask）ことを行っている． 

    from transformers import pipeline
unmasker = pipeline('fill-mask', model='bert-base-uncased')
unmasker("Hello I'm a [MASK] model.")

    [image]

本サイトは金子邦彦研究室のWebページである．

資料等の公開では，原則，「クリエイティブコモンズ BY NC SA」として公開するようにしている． PDFファイル，パワーポイントファイルなどには， 「クリエイティブコモンズ BY NC SA」を明記するとともに，ロゴを記載するようにしている（作業が間に合っていない分もあるのでご容赦ください）．

公開している資料をご利用になる場合の，再配布の条件，剽窃の防止などについて，別ページで説明している． 再配布や資料改変の際には，そのページをご確認ください．

サイトマップは，サイトマップのページをご覧下さい． 本サイト内の検索は，サイト内検索のページをご利用下さい．

問い合わせ先： 金子邦彦（かねこ くにひこ） [image]