テキスト分析の大通り#18: Pythonライブラリのインストール

以下に、テキスト分析用でインストールしたライブラリ、ならびにインストールコマンドを記載します。condaとpipが混在してます。よく混在すると環境が壊れることがある旨ネットで書かれていますが、今のところ問題ありません。問題があったら、またさらから作り直せばいいや、くらいの気持ちでいます。もちろんそれを推奨するつもりはなく、気になる方は仮想環境を用意する方が良いかと思います。

• Excelファイルの読み込み

conda install xlrd

• データベースアクセス用のライブラリsqlalchemy

conda install sqlalchemy

• Teradataにアクセスするためのライブラリteradatasqlalchemy

!pip install teradatasqlalchemy

その後警告が出るのでアップデートインストールしました。将来的にキャッシュは利用しなくなるようです。

!pip install --no-cache-dir -U teradatasqlalchemy

• 文字の大文字小文字等の矯正

!pip install mojimoji

• 文字の正規化

!pip install neologdn

ちなみにneologdは辞書という扱いなので特にPython側でのインストールは不要です。

• 形態素解析器Mecab

conda install -c mzh mecab-python3

• 形態素解析器sudachipy

!pip install sudachipy

辞書を追加でインストールします。最初にfullの方をインストールしたのですが、動かそうとしたらcoreがないと怒られました。なので両方

!pip install sudachidict_full
!pip install sudachidict_core

• LDAのライブラリgensim

!pip install gensim

• 形態素解析Janome

!pip install janome

追加インストール分は以上です。導入済みライブラリの確認は以下にて。Anacondaなので、pandasやsklearnなどはインストール済みです。

conda list

また以下はsqlalchemyとどちらを使うか迷って、結局使いませんでしたが一応記載

• データベース接続用pyodbc

conda install pyodbc

利用するODBCドライバーの確認コマンドは以下

import pyodbc
pyodbc.drivers()

///

#python #analytics #text #nlp #sql #teradata #データ #分析