いろいろやってみるにっき

てきとーに生きている奴の日記

古いエントリのサムネイル画像がリンク切れになってたりするけど、チマチマ修正中


弊社CTOがお勧めする機械学習用Python環境 1

弊社のCTO兼専務は現在の機械学習のブームが来る前から機械学習をやっている。そんなCTOがお勧めするPython環境を作ってみた。まずは説明から。

   

機械学習pythonテスト開発環境

仮想OS上にテスト開発環境を構築

Pythonの実行環境がやや複雑でOS依存も強いため

  • pyenv+pipenvの環境構築
  • pyenv+pipenv上で必須ライブラリのインストール


実際の機械学習環境は直接unbuntu18.04をインストールして構築

f:id:shigeo-t:20210510034405p:plain

 

Jupyter Notebookでマイクロコードのテスト環境構築

  • データの可視化が容易なのでモジュール以下の単位でテストがしやすい。
  • Google ColabはJupyer Notebookと各種Googleサービスを組み合わせた仮想インスタンス

 

仮想化ソフトウェアと機械学習基盤のOS

仮想化ソフトウェアの要件

機械学習インフラ構築のテスト環境用なのでなんでもよい。 VPSでも可。機械学習インフラでWebシステムを利用することが多いのでポート開放ができるとよい。

 

代表的な仮想化ソフトウェア

省略。今回はVMware Workstation Playerにした。

 

機械学習基盤のOS

Ubuntu18.04にしましょう
機械学習界隈の開発や実行環境は現状Ubuntu18.04上でテストされているものが多く問題が起きにくい。

 

Python実行環境

Pythonの実行と開発の注意点

Windows系とLinux系で実行環境の構築方法が大きく異なる。
  • なのでLinuxVM上に開発環境を作ることを強く推奨

 

Pythonの開発周りは依然発展途上
  • ライブラリの依存関係処理がようやくできるようになった
  • パッケージ化が面倒
  • 単一ディレクトリでのパッケージ化が推奨されている
  • 階層的なパッケージ化が面倒なためスクリプトも長くなりがち

 

pyenv+pipenv実行環境

pyenv( https://github.com/pyenv/pyenv
  • Python本体のバージョン切り替えを提供

github.com


Pipenv( https://github.com/pypa/pipenv
  • ディレクトリ毎のpython仮想実行環境とライブラリ依存関係の管理
  • Nodejsで言うnpmやyarn相当

github.com


インストール手順参考

qiita.com
Pythonの3.8以降であれば新しいバージョンで読み替えてください。基本的に前述のgithubのinstall手順準拠で書かれていますが、可能であれば大元の公式ページの手順で進めてください。

 

 今回はここまで。

scikit-learn、Keras、TensorFlowによる実践機械学習 第2版

scikit-learn、Keras、TensorFlowによる実践機械学習 第2版

  • 作者:Aurélien Géron
  • 発売日: 2020/11/04
  • メディア: 単行本(ソフトカバー)
 
お時間あったら、他のエントリもクリックして頂ければ幸いです。