トップページ ▶ データベース研究 ▶ word vector, document vector の利用 ▶ gensim を使ってみる

サイトマップ

サイト内検索

アクセスログ

金子邦彦研究室

gensim を使ってみる

前準備

Python のインストール，pip と setuptools の更新，Python 開発環境（JupyterLab, spyder, nteract）のインストール

Windows の場合

1. Python のインストール

   Python の URL: http://www.python.org/

   インストール手順の詳細は： 別ページで説明している．

2. pip と setuptools の更新，Python 開発環境（JupyterLab, spyder, nteract）のインストール（Windows 上）

   コマンドプロンプトを管理者として実行し，次のコマンドを実行．

   Windows での pip の実行では，コマンドプロンプトを管理者として実行することにする。

   

   python -m pip install -U pip setuptools
   python -m pip install -U jupyterlab jupyter jupyter-console jupytext nteract_on_jupyter spyder
   

Ubuntu の場合

システム Python を使用（インストール操作は不要）

1. pip と setuptools の更新，Python 開発環境（JupyterLab, spyder, nteract）のインストール（Ubuntu 上）

   端末で，次のコマンドを実行．

   sudo apt -y install python3-dev python3-pip python3-setuptools python3-venv
   sudo pip3 uninstall ptyprocess sniffio terminado tornado jupyterlab jupyter jupyter-console jupytext nteract_on_jupyter spyder
   sudo apt -y install jupyter jupyter-qtconsole spyder3
   sudo apt -y install python3-ptyprocess python3-sniffio python3-terminado python3-tornado 
   sudo pip3 install -U jupyterlab nteract_on_jupyter
   

gensim パッケージのインストール

1. Windows で，コマンドプロンプトを管理者として実行する．
   
2. gensim をインストール

   python -m pip install -U gensim
   
3. インストール終了の確認

Word2Vec に関するサンプルプログラムを動かしてみる

次のページで公開されているプログラムを使用する．

https://radimrehurek.com/gensim/auto_examples/tutorials/run_word2vec.html#sphx-glr-auto-examples-tutorials-run-word2vec-py

上のページの注意書きにもある通り，2G バイトのファイルがダウンロードされます．

1. データのダウンロードと語彙の確認

   import gensim.downloader as api
   wv = api.load('word2vec-google-news-300')
   for i, word in enumerate(wv.vocab):
       if i == 10:
           break
       print(word)
   
2. 単語ベクトルの表示

   words = ['car', 'minivan', 'bicycle', 'airplane', 'cereal', 'communism']
   for w in words:
       print(wv[w])
   
3. 2単語間の類似度

   pairs = [
       ('car', 'minivan'),   # a minivan is a kind of car
       ('car', 'bicycle'),   # still a wheeled vehicle
       ('car', 'airplane'),  # ok, no wheels, but still a vehicle
       ('car', 'cereal'),    # ... and so on
       ('car', 'communism'),
   ]
   for w1, w2 in pairs:
       print('%r\t%r\t%.2f' % (w1, w2, wv.similarity(w1, w2)))
   
4. 単語の類似検索

   print(wv.most_similar(positive=['car', 'minivan'], topn=5))
   

   本サイトは金子邦彦研究室のWebページである．

   資料等の公開では，原則，「クリエイティブコモンズ BY NC SA」として公開するようにしている． PDFファイル，パワーポイントファイルなどには， 「クリエイティブコモンズ BY NC SA」を明記するとともに，ロゴを記載するようにしている（作業が間に合っていない分もあるのでご容赦ください）．

   公開している資料をご利用になる場合の，再配布の条件，剽窃の防止などについて，別ページで説明している． 再配布や資料改変の際には，そのページをご確認ください．

   サイトマップは，サイトマップのページをご覧下さい． 本サイト内の検索は，サイト内検索のページをご利用下さい．

   問い合わせ先： 金子邦彦（かねこ くにひこ）