いろいろやってみるにっき

てきとーに生きている奴の日記

https化に伴い、表示できなくなっているリンクについて修復中。
2018年から遡って修正し、2015年分まで修正完了。


弊社CTOがお勧めする機械学習用Python環境 1

弊社のCTO兼専務は現在の機械学習のブームが来る前から機械学習をやっている。そんなCTOがお勧めするPython環境を作ってみた。まずは説明から。

   

機械学習pythonテスト開発環境

仮想OS上にテスト開発環境を構築

Pythonの実行環境がやや複雑でOS依存も強いため

  • pyenv+pipenvの環境構築
  • pyenv+pipenv上で必須ライブラリのインストール


実際の機械学習環境は直接unbuntu18.04をインストールして構築

f:id:shigeo-t:20210510034405p:plain

 

Jupyter Notebookでマイクロコードのテスト環境構築

  • データの可視化が容易なのでモジュール以下の単位でテストがしやすい。
  • Google ColabはJupyer Notebookと各種Googleサービスを組み合わせた仮想インスタンス

 

仮想化ソフトウェアと機械学習基盤のOS

仮想化ソフトウェアの要件

機械学習インフラ構築のテスト環境用なのでなんでもよい。 VPSでも可。機械学習インフラでWebシステムを利用することが多いのでポート開放ができるとよい。

 

代表的な仮想化ソフトウェア

省略。今回はVMware Workstation Playerにした。

 

機械学習基盤のOS

Ubuntu18.04にしましょう
機械学習界隈の開発や実行環境は現状Ubuntu18.04上でテストされているものが多く問題が起きにくい。

 

Python実行環境

Pythonの実行と開発の注意点

Windows系とLinux系で実行環境の構築方法が大きく異なる。
  • なのでLinuxVM上に開発環境を作ることを強く推奨

 

Pythonの開発周りは依然発展途上
  • ライブラリの依存関係処理がようやくできるようになった
  • パッケージ化が面倒
  • 単一ディレクトリでのパッケージ化が推奨されている
  • 階層的なパッケージ化が面倒なためスクリプトも長くなりがち

 

pyenv+pipenv実行環境

pyenv( https://github.com/pyenv/pyenv
  • Python本体のバージョン切り替えを提供

github.com


Pipenv( https://github.com/pypa/pipenv
  • ディレクトリ毎のpython仮想実行環境とライブラリ依存関係の管理
  • Nodejsで言うnpmやyarn相当

github.com


インストール手順参考

qiita.com
Pythonの3.8以降であれば新しいバージョンで読み替えてください。基本的に前述のgithubのinstall手順準拠で書かれていますが、可能であれば大元の公式ページの手順で進めてください。

 

 今回はここまで。

scikit-learn、Keras、TensorFlowによる実践機械学習 第2版

scikit-learn、Keras、TensorFlowによる実践機械学習 第2版

  • 作者:Aurélien Géron
  • 発売日: 2020/11/04
  • メディア: 単行本(ソフトカバー)