部会メモ（2023年）のバックアップ(No.20)

Zoomの録画をYoutubeにアップロード
- 第36回部会 DX系リサーチ状況のレポーティング回（AI編
  https://www.youtube.com/watch?v=-E2tpAt8MaE
OSSコンソーシアム Blogにも掲載
- 第36回部会 DX系リサーチ状況のレポーティング回（AI編
  https://www.osscons.jp/...-537/

↑

1/17 セルフZoom部会（第37回） †

↑

準備 †

プログラム準備
https://github.com/OpenTouryoProject/DxCommon/tree/master/Notebook/Jupyter

環境構築

Docker for WSL2でも良いが、
企業利用を考え無償利用可能のWSL2単体利用とする。

Ubuntu 20.04.5 LTSが使用中なので
Ubuntu 22.04.1 LTSを新規インストールしてみる。

プロキシ環境下の場合は、コチラの設定を行う。

PythonやJupyter Notebookを新規インストールしてみる。

↑

デモ †

環境構築の手順説明
コンテンツ
- 目次説明
- 実行方法の説明
- コンテンツの概要説明

↑

結果 †

コンテンツの環境構築～目次で
コンテンツの概要と実行方法を理解した。

今後、個別コンテンツは以下を予定。
- Pythonと基本的なライブラリ
- 機械学習の色々
- 深層学習の理論
- 深層学習の実践

↑

動画 †

Zoomの録画をYoutubeにアップロード
- 第37回部会 AIプログラム解説（１）環境準備編
  https://www.youtube.com/watch?v=HK6-g3QC3Ko

OSSコンソーシアム Blogにも掲載
- 第37回部会 AIプログラム解説（１）環境準備編
  https://www.osscons.jp/...-537/

↑

1/24 セルフZoom部会（第38回） †

↑

準備 †

1/17 セルフZoom部会（第37回）

↑

デモ †

Pythonと基本的なライブラリ

Pythonの基礎
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/TableOfContents.ipynb
　以下の様なコンテンツを確認できる。[▶▶]ボタンを押下で全体を実行するか、「セル」にフォーカスを合わせて[▶]ボタンを押下して個別実行するかして、Pythonの言語仕様が、比較的、科学計算寄りの用途に向いていることを確認する。
- 概要（コマンド実行、インタラクティブ実行）
- 詳細（変数、制御構文、関数・クラス、その他）

NumPy?

配列基礎
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/NumPyTraining1.ipynb
以下の様なコンテンツを確認できる。
はじめは配列操作などについて説明する。
・環境準備（インストール、インポート）
・操作（生成、コピー、表示）
・計算（算術計算、統計計算）
・アクセス（インデックス番号で指定、複数要素の抽出、複数要素の置換）
・ベクトルの積算（内積、データ生成、計算方法、交換法則）

行列基礎
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/NumPyTraining2.ipynb
以下の様なコンテンツを確認できる。
次いで行列操作などについて説明する。
・操作（生成、コピー、表示）
・計算（算術計算、統計計算）
・アクセス（インデックス番号で指定、複数要素の抽出、複数要素の置換）
・ベクトルの積算（内積、データ生成、計算方法、交換法則）

型の変換
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/NumPyTraining3.ipynb
　以下の様なコンテンツを確認できる。ココでは、型の変換から、配列⇔行列の変換、次元の変更（行列の行・列の追加・削除、各種の行列の変換）などの操作方法について説明する。
・型の変換（要素の型の変換、LISTやDF等の型へ変換）
・配列⇔行列変換（配列の行列化、行列の配列化）
・行列の行・列の追加・削除（行追加、列追加、行削除、列削除、要素の追加）
・行列の変換（転置行列、次元の入れ替え、再構成）
・One-Hotエンコーディング（エンコーディング、デコーディング）

Pandas
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/PandasTraining.ipynb
　以下の様なコンテンツを確認できる。ココでは、配列（Series）、行列（DataFrame?）的なPandasのデータセットについて説明する。特に、DataFrame?は表形式のデータセットを処理する様々な機能を持っている。データを読み込み、CRISP-DMプロセスのデータの理解、データの準備などで重宝する。
- 環境準備（インストール、インポート）
- Series（生成、アクセス）
- DataFrame?（生成、アクセス）
- 編集（型変換、集計操作）
- CRISP-DM（データの理解、データの準備）

Matplotlib
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/MatplotlibTraining.ipynb
　以下の様なコンテンツを確認できる。ココでは、さまざまなMatplotlibの可視化の方法を確認できる。散布図行列、ヒートマップなど、DataFrame?のデータの理解の機能を併用することも多い。
- 環境準備（インストール、インポート、jupyter上で利用するとき）
- 表示
  ・画像の表示、ヒストグラム、パレート図、散布図、散布図行列、ヒートマップ
  ・二次元プロット（三次関数、三角関数グラフ）、三次元プロット（点、線、面）

機械学習コンテンツの説明

scikit-learn

環境準備、共通的データ処理
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/ScikitLearnTraining0.ipynb
　以下の様なコンテンツを確認できる。ココでは、scikit-learnを使用した機械学習の共通的な処理として、環境準備と共通的なデータ処理を確認できる。
・環境準備（インストール、インポート）
・共通的データ処理（生成、加工、理解、準備）

単回帰、重回帰分析
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/ScikitLearnTraining0.ipynb
　以下の様なコンテンツを確認できる。ココでは、scikit-learnを使用した２つの線形回帰分析である単回帰分析、重回帰分析の例を確認できる。また、ここでのフォーマット（データ読込、理解、準備、学習、推論、評価流れ）は、以降の、全ての機械学習アルゴリムズで使用できる。
・単回帰分析
・重回帰分析

多項式回帰、正則化回帰分析
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/ScikitLearnTraining0.ipynb
　以下の様なコンテンツを確認できる。ココでは、scikit-learnを使用した非線形回帰分析である多項式回帰分析、正則化回帰分析の例を確認できる。特に、このNotebookでは、正則化回帰分では、過学習を抑止できる点を可視化して確認できる。
・多項式回帰分析
・正則化回帰分析

様々な分類器（PPN、SVM、DTL、LRA）
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/ScikitLearnTraining0.ipynb
　以下の様なコンテンツを確認できる。ココでは、scikit-learnを使用した様々な分類器（PPN、SVM、DTL、LRA）の例を確認できる。回帰問題の評価については、後述する。
・PPN: パーセプトロン
・SVM: サポートベクターマシン
・DTL: 決定木（分類木）
・LRA: ロジスティクス回帰

主成分分析、クラスタ分析
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/ScikitLearnTraining0.ipynb
　以下の様なコンテンツを確認できる。ココでは、scikit-learnを使用した主成分分析と、ユークリッド距離（円形のクラスタリング）を使う主成分分析と相性が良いk-means法のクラスタ分析の例を確認できる（マハラノビス距離（楕円形のクラスタリング）を用いると2変量間の相関関係を考慮する）。
・主成分分析
・クラスタ分析

性能の評価、チューニング編
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/ScikitLearnTraining0.ipynb
　以下の様なコンテンツを確認できる。ココでは、性能の評価（回帰問題、分類問題）と、交差検証法による汎化性能の評価、チューニング（グリッドサーチ、特徴量の選択とエンジニアリング）の例を確認できる。
・性能の評価（回帰問題、分類問題）
・汎化性能の評価（k分割交差検証法、層化k分割交差検証法）
・チューニング（グリッドサーチ、特徴量の選択とエンジニアリング）

Kaggleチュートリアル編
・タイタニック生存者予測
　…
・住宅価格予測
　…

深層学習コンテンツの説明

深層学習の理論
o'reillyのカサゴ深層学習の本

ニューラルネットワーク
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/KasagoDL1.ipynb
　以下の様なコンテンツを確認できる。ココでは、フレームワーク等を使用せずに、ニューラルネットワークの構成要素としてのパーセプトロンと活性化関数の例を確認できる。
・パーセプトロン
・活性化関数

MINST推論と学習
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/KasagoDL2.ipynb
　ココでは、フレームワーク等を使用せずに、（ディープ）ニューラルネットワークでMINSTの画像認識の調整済みの重みを使用した推論と、数値微分＋勾配降下法による学習の例を確認できる。
・多層パーセプトロン（ニューラルネットワーク
・MINST順方向（推論
・MINST逆方（学習

MINST学習（誤差逆伝播）
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/KasagoDL3.ipynb
　ココでは、フレームワーク等を使用せずに、（ディープ）ニューラルネットワークでMINSTの誤差逆伝播による画像認識の学習の例を確認できる。
・計算グラフ（での誤差逆伝播
・ニューラルネットワーク（での誤差逆伝播

オプション
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/KasagoDL4.ipynb
　ココでは、フレームワーク等を使用せずに、（ディープ）ニューラルネットワークの学習に関する様々なオプション（勾配降下法アルゴリズムの選択、…、…など）の例を確認できる。
・勾配降下法アルゴリズムの選択
・…
畳込ニューラルネットワーク（CNN）
・CNNの...
　...
・CNNの...
　...

深層学習の実践
TensorFlow?・Keras

環境準備、共通処理
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/TensorFlowAndKeras0.ipynb
　ココでは、TensorFlow?・Kerasを使用した（ディープ）ニューラルネットワークの環境準備（インストール、インポート）から共通処理（モデルの生成、勾配降下法アルゴリズムの選択、モデルの定義とコンパイル、モデルの学習と推論、モデルの保存と復元、過学習の抑止）の例を確認できる。
・環境準備（インストール、インポート）
・共通処理
　・モデルの生成
　・勾配降下法アルゴリズムの選択
　・モデルの定義とコンパイル
　・モデルの学習と推論
　・モデルの保存と復元
　・過学習の抑止

DNN
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/TensorFlowAndKeras1.ipynb
　ココでは、TensorFlow?・Kerasを使用した（ディープ）ニューラルネットワーク（DNN）による回帰、分類の例を、モデルの定義方法を含めて確認できる。ポイントは、出力層の数と活性化関数を変更している点。
・環境準備（インポート、共通関数）
・DNNアルゴリズム・モデル
　・DNNで重回帰分析
　・DNNの２クラス分類器
　・DNNの多クラス分類器

RNN
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/TensorFlowAndKeras2.ipynb
　ココでは、TensorFlow?・Kerasを使用したRNNによる回帰の例を、モデルの定義方法を含めて確認できる。
・環境準備（インポート、共通関数）
・RNNアルゴリズム・モデル
　・時系列予測（LSTMの定義
　・...

CNN

・初歩的なCNN
　https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/TensorFlowAndKeras3.ipynb
　　ココでは、TensorFlow?・Kerasを使用した初歩的なCNNによる分類の例を、モデルの定義方法を含めて確認できる。
　・環境準備（インポート、共通関数）
　・CNNアルゴリズム・モデル
　　・MINST-DNN
　　・MINST-CNN
　　・商品の自動タグ付け

↑

結果 †

機械学習・深層学習のPython実装の方法が解った！ハズ。

↑

動画 †

Zoomの録画をYoutubeにアップロード
- 第38回部会 AIプログラム解説（２）
  - 1-1 基礎 Python＆NumPy?編
    https://www.youtube.com/watch?v=88_p8BBO9Cw
  - 1-2 基礎 Pandas＆Matplotlib編
    https://www.youtube.com/watch?v=ZJYXPzmDTSk
  - 2-0 機械学習 scikit-learn環境準備、共通的データ処理編
    https://www.youtube.com/watch?v=uG_BbIfVYug
  - 2-1 機械学習 scikit-learn 単回帰・重回帰分析編
    https://www.youtube.com/watch?v=PIJPdIT6dA0
  - 2-2 機械学習 scikit-learn 多項式回帰・正則化回帰分析編
    https://www.youtube.com/watch?v=p36vE20X_4c
  - 2-3 機械学習 scikit-learnの様々な分類器（PPN、SVM、DTL、LRA）編
    https://www.youtube.com/watch?v=2_PcMh15SxI
  - 2-4 機械学習 scikit-learnの主成分分析、クラスタ分析編
    https://www.youtube.com/watch?v=tQ5bnxYVYt0
  - 2-5 機械学習 scikit-learnの性能の評価、チューニング編
    https://www.youtube.com/watch?v=Cuh_rcqkyhY
  - 3-1 深層学習理論編
    https://www.youtube.com/watch?v=ceWSf6hPGJg
  - 3-2 深層学習実践編
    https://www.youtube.com/watch?v=no5nyUNdlZs