トップページ ▶ データ処理 ▶ CSV ファイル，Excel ファイル，JSON ファイル ▶ CSV ファイルの処理，Excel ファイルを CSV ファイルに変換，CSV ファイルから SQL テーブル定義と INSERT 文を生成（csvkit を使用）

サイトマップ

サイト内検索

まとめページ

アクセスログ

金子邦彦研究室

CSV ファイルの処理，Excel ファイルを CSV ファイルに変換，CSV ファイルから SQL テーブル定義と INSERT 文を生成（csvkit を使用）

1. 前準備

Python の準備

Google Colaboratory のノートブックを使うか， 自分のパソコンで Python を動かすなどがありえる．

• Google Colaboratory のノートブックを使う場合: 必要に応じて，下の「(1)」を参考に準備する．
• 自分のパソコンで Python を動かす場合: 必要に応じて，下の「(2)」を参考に準備する．

(1) （Google Colaboratory を使う場合）Google Colaboratory のノートブックの準備

Google Colaboratory のノートブックを新規作成を行う．

1. Google Colaboratory のWebページを開く

   https://colab.research.google.com

   Google Colab はオンラインの Python 開発環境． 使用するには Google アカウントが必要

2. 「ファイル」で、「ノートブックを新規作成」を選ぶ
3. Google アカウントでのログインが求められたときはログインする

(2) （自分のパソコンで Python を動かす場合）Python の準備

Python のインストール: 別ページで説明している．，pip と setuptools の更新，Python 開発環境

• Windows での Python のインストール: 別ページで説明している．，pip と setuptools の更新: 別ページで説明している．（あとのトラブルが起きにくいような手順を定めている）
• Ubuntu の場合:

  システム Python を使うことができる（システム Python を使う場合，Python のインストールは行わない）

  システム Python を用いるときは，pip, setuptools の更新は次のコマンドで行う．

  sudo apt -y update
  sudo apt -y install python3-pip python3-setuptools
  

  Ubuntu で，システム Python 以外の Python をインストールしたい場合は pyenv が便利である: 別ページで説明している．

Python の URL: http://www.python.org/

Python の pandas, csvkit のインストール

• Windows の場合

  コマンドプロンプトを管理者として実行し，次のコマンドを実行．

  python -m pip install -U pip setuptools pandas openpyxl csvkit
  python -m pip install -e git+https://github.com/wireservice/agate-excel.git#egg=agate-excel
  python -m pip install -U agate-dbf agate-sql six olefile
  

• Ubuntu の場合

  端末で，次のコマンドを実行

  sudo apt -y update
  sudo apt -y install csvkit python3-pandas python3-csvkit
  

2. CSV ファイルの処理

• カラム名（列名）の表示: csvcut -n a.csv
• カラム名を指定して，取り出す: csvcut -c a1,a2,a3 a.csv
• カラムの並べ替え: csvcut -c a3,a2,a1 a.csv
• CSV ファイルの情報表示: csvstat a.csv

3. Excel の xlsx ファイルを CSV ファイルに変換 (in2csv)

1. 前準備として Excel の xlsx ファイルを準備

   ここでは，csvkit に同封されているデータファイルである ne_1033_data.xlsxを， 次の URL からダウンロードして使用． https://github.com/wireservice/csvkit/tree/master/examples/realdata

2. in2csv ne_1033_data.xlsx > ne_1033_data.csv
   

4. CSV ファイルから JSON ファイルを生成 (csvjson)

1. 前準備として CSV ファイルを準備

   ここでは，次のURLから ks_1033_data.csvをダウンロードして使用． https://github.com/wireservice/csvkit/tree/master/examples/realdata

2. csvjson ks_1033_data.csv > ks_1033_data.json
   

5. CSV ファイルから，テーブル定義（SQL コマンド）を生成 (csvsql)

1. 前準備として CSV ファイルを準備

   ここでは，次のURLから ks_1033_data.csvをダウンロードして使用． https://github.com/wireservice/csvkit/tree/master/examples/realdata

2. テーブル定義の生成

   csvsql ks_1033_data.csv > ks_1033_data.sql
   
3. テーブル定義，SQL の INSERT 文の生成

   csvsql ks_1033_data.csv > ks_1033_data.sql
   csvsql --query "select * from ks_1033_data;" --insert ks_1033_data.csv > ks_1033_data.sql