部会メモ（2023年）のバックアップ(No.16)

開発のプロセスとしては、AutoML、CRISP-DM、MLOps
- AutoML：機械学習はアルゴリズムが多いので選定・評価を自動化、特徴量系は手動。
- CRISP-DM：AutoMLを更に俯瞰したもの、プログラムも、凡そ、このプロセスに従う。
- MLOps：CI、DevOps?の概念をMLに導入したもので、監視して必要なら追加学習を行う。

以上は去年も話したので、
以降、機械学習、深層学習

数学的でとっつき難い印象だが、やってることは、
所詮、２次元、３次元、多次元空間上の分布の学習。

学習の方法は、
・近似：直線 - 超平面、曲線 - 超曲面
・左右：右か？左か？決定木
・遠近：グループ化、クラスタリング

取り扱える問題は
・回帰：近似（直線 - 超平面、曲線 - 超曲面
・分類：境界線を引く（線形、非線形、決定木
・クラスタリング：距離を使ってグループ化

特徴量の選択
・回帰：相関関係（ヒートマップと散布図）
・分類：散布図で分類できそうか否か

評価の方法
・回帰の場合は誤差系
・分類の場合は混合行列（偽陽性云々

深層学習の話。

仕組み１
・機械学習の延長上
・やっていることは、近似で回帰・分類を行う。
・大きな違いは、関数ではなく、NNを使用する。
・PPNで回路を組める → 多層化で非線形 → NNで高次の超曲面

仕組み２
・計算の方法はベクトルに重み行列を掛けて活性化関数でベクトルを出力
・NNの構造がパイパーパラメタに相当する。
・活性化関数は中間層と出力層で異なる。

学習１・２
勾配降下法と誤差逆伝播法
・損失関数を微分して求めた勾配を元に損失が最小になる重みを求める。
・数値微分で偏微分シていくのは遅いので誤差逆伝播法で勾配を近似。

学習３
・学習率：更新する幅
・アルゴリズム：徐々に学習率を小さく, 慣性の法則, etc.
・その他、早期終了や、ドロップアウトなど。

余談
機械学習の延長上
・近似の方法は勾配降下法
・ロジスティック回帰分析でもシグモイド関数を使用

最後
・Kaggle
・特徴量エンジニアリング

↑

結果 †

１年リサーチして、AI（機械学習/深層学習）のなんたるか？が少々理解出来て来た？

↑

動画 †

Zoomの録画をYoutubeにアップロード
- 第36回部会 DX系リサーチ状況のレポーティング回（AI編
  https://www.youtube.com/watch?v=-E2tpAt8MaE
OSSコンソーシアム Blogにも掲載
- 第36回部会 DX系リサーチ状況のレポーティング回（AI編
  https://www.osscons.jp/...-537/

↑

1/17 セルフZoom部会（第37回） †

↑

準備 †

プログラム準備
https://github.com/OpenTouryoProject/DxCommon/tree/master/Notebook/Jupyter

環境構築

Docker for WSL2でも良いが、
企業利用を考え無償利用可能のWSL2単体利用とする。

Ubuntu 20.04.5 LTSが使用中なので
Ubuntu 22.04.1 LTSを新規インストールしてみる。

プロキシ環境下の場合は、コチラの設定を行う。

PythonやJupyter Notebookを新規インストールしてみる。

↑

デモ †

環境構築の手順説明
コンテンツ
- 目次説明
- 実行方法の説明
- コンテンツの概要説明

↑

結果 †

コンテンツの環境構築～目次で
コンテンツの概要と実行方法を理解した。

今後、個別コンテンツは以下を予定。
- Pythonと基本的なライブラリ
- 機械学習の色々
- 深層学習の理論
- 深層学習の実践

↑

動画 †

Zoomの録画をYoutubeにアップロード
- 第37回部会 AIプログラム解説（１）環境準備編
  https://www.youtube.com/watch?v=HK6-g3QC3Ko

OSSコンソーシアム Blogにも掲載
- 第37回部会 AIプログラム解説（１）環境準備編
  https://www.osscons.jp/...-537/

↑

1/24 セルフZoom部会（第38回） †

↑

準備 †

プログラム準備
https://github.com/OpenTouryoProject/DxCommon/tree/master/Notebook/Jupyter

↑

デモ †

Pythonと基本的なライブラリ

Pythonの基礎
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/TableOfContents.ipynb
　以下の様なコンテンツを確認できる。[▶▶]ボタンを押下で全体を実行するか、「セル」にフォーカスを合わせて[▶]ボタンを押下して個別実行するかして、Pythonの言語仕様が、比較的、科学計算寄りの用途に向いていることを確認する。
- 概要（コマンド実行、インタラクティブ実行）
- 詳細（変数、制御構文、関数・クラス、その他）

NumPy?

配列基礎
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/NumPyTraining1.ipynb
以下の様なコンテンツを確認できる。
はじめは配列操作などについて説明する。
・環境準備（インストール、インポート）
・操作（生成、コピー、表示）
・計算（算術計算、統計計算）
・アクセス（インデックス番号で指定、複数要素の抽出、複数要素の置換）
・ベクトルの積算（内積、データ生成、計算方法、交換法則）

行列基礎
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/NumPyTraining2.ipynb
以下の様なコンテンツを確認できる。
次いで行列操作などについて説明する。
・操作（生成、コピー、表示）
・計算（算術計算、統計計算）
・アクセス（インデックス番号で指定、複数要素の抽出、複数要素の置換）
・ベクトルの積算（内積、データ生成、計算方法、交換法則）

型の変換
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/NumPyTraining3.ipynb
　以下の様なコンテンツを確認できる。ココでは、型の変換から、配列⇔行列の変換、次元の変更（行列の行・列の追加・削除、各種の行列の変換）などの操作方法について説明する。
・型の変換（要素の型の変換、LISTやDF等の型へ変換）
・配列⇔行列変換（配列の行列化、行列の配列化）
・行列の行・列の追加・削除（行追加、列追加、行削除、列削除、要素の追加）
・行列の変換（転置行列、次元の入れ替え、再構成）
・One-Hotエンコーディング（エンコーディング、デコーディング）

Pandas
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/PandasTraining.ipynb
　以下の様なコンテンツを確認できる。ココでは、配列（Series）、行列（DataFrame?）的なPandasのデータセットについて説明する。特に、DataFrame?は表形式のデータセットを処理する様々な機能を持っている。データを読み込み、CRISP-DMプロセスのデータの理解、データの準備などで重宝する。
- 環境準備（インストール、インポート）
- Series（生成、アクセス）
- DataFrame?（生成、アクセス）
- 編集（型変換、集計操作）
- CRISP-DM（データの理解、データの準備）

Matplotlib
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/MatplotlibTraining.ipynb
　以下の様なコンテンツを確認できる。ココでは、さまざまなMatplotlibの可視化の方法を確認できる。散布図行列、ヒートマップなど、DataFrame?のデータの理解の機能を併用することも多い。
- 環境準備（インストール、インポート、jupyter上で利用するとき）
- 表示
  ・画像の表示、ヒストグラム、パレート図、散布図、散布図行列、ヒートマップ
  ・二次元プロット（三次関数、三角関数グラフ）、三次元プロット（点、線、面）

機械学習コンテンツの説明

scikit-learn

環境準備、共通的データ処理
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/ScikitLearnTraining0.ipynb
　以下の様なコンテンツを確認できる。ココでは、scikit-learnを使用した機械学習の共通的な処理として、環境準備と共通的なデータ処理を確認できる。
・環境準備（インストール、インポート）
・共通的データ処理（生成、加工、理解、準備）

単回帰、重回帰分析
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/ScikitLearnTraining0.ipynb
　以下の様なコンテンツを確認できる。ココでは、scikit-learnを使用した２つの線形回帰分析である単回帰分析、重回帰分析の例を確認できる。また、ここでのフォーマット（データ読込、理解、準備、学習、推論、評価流れ）は、以降の、全ての機械学習アルゴリムズで使用できる。
・単回帰分析
・重回帰分析

多項式回帰、正則化回帰分析
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/ScikitLearnTraining0.ipynb
　以下の様なコンテンツを確認できる。ココでは、scikit-learnを使用した非線形回帰分析である多項式回帰分析、正則化回帰分析の例を確認できる。特に、このNotebookでは、正則化回帰分では、過学習を抑止できる点を可視化して確認できる。
・多項式回帰分析
・正則化回帰分析

様々な分類器（PPN、SVM、DTL、LRA）
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/ScikitLearnTraining0.ipynb
　以下の様なコンテンツを確認できる。ココでは、scikit-learnを使用した様々な分類器（PPN、SVM、DTL、LRA）の例を確認できる。回帰問題の評価については、後述する。
・PPN: パーセプトロン
・SVM: サポートベクターマシン
・DTL: 決定木（分類木）
・LRA: ロジスティクス回帰

主成分分析、クラスタ分析
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/ScikitLearnTraining0.ipynb
　以下の様なコンテンツを確認できる。ココでは、scikit-learnを使用した主成分分析と、ユークリッド距離（円形のクラスタリング）を使う主成分分析と相性が良いk-means法のクラスタ分析の例を確認できる（マハラノビス距離（楕円形のクラスタリング）を用いると2変量間の相関関係を考慮する）。
・主成分分析
・クラスタ分析

性能の評価、チューニング編
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/ScikitLearnTraining0.ipynb
　以下の様なコンテンツを確認できる。ココでは、性能の評価（回帰問題、分類問題）と、交差検証法による汎化性能の評価、チューニング（グリッドサーチ、特徴量の選択とエンジニアリング）の例を確認できる。
・性能の評価（回帰問題、分類問題）
・汎化性能の評価（k分割交差検証法、層化k分割交差検証法）
・チューニング（グリッドサーチ、特徴量の選択とエンジニアリング）

Kaggleチュートリアル編
・タイタニック生存者予測
　…
・住宅価格予測
　…

深層学習コンテンツの説明

深層学習の理論
o'reillyのカサゴ深層学習の本

ニューラルネットワーク
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/KasagoDL1.ipynb
　以下の様なコンテンツを確認できる。ココでは、フレームワーク等を使用せずに、ニューラルネットワークの構成要素としてのパーセプトロンと活性化関数の例を確認できる。
・パーセプトロン
・活性化関数

MINST推論と学習
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/KasagoDL2.ipynb
　ココでは、フレームワーク等を使用せずに、（ディープ）ニューラルネットワークでMINSTの画像認識の調整済みの重みを使用した推論と、数値微分＋勾配降下法による学習の例を確認できる。
・多層パーセプトロン（ニューラルネットワーク
・MINST順方向（推論
・MINST逆方（学習

MINST学習（誤差逆伝播）
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/KasagoDL3.ipynb
　ココでは、フレームワーク等を使用せずに、（ディープ）ニューラルネットワークでMINSTの誤差逆伝播による画像認識の学習の例を確認できる。
・計算グラフ（での誤差逆伝播
・ニューラルネットワーク（での誤差逆伝播

オプション
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/KasagoDL4.ipynb
　ココでは、フレームワーク等を使用せずに、（ディープ）ニューラルネットワークの学習に関する様々なオプション（勾配降下法アルゴリズムの選択、…、…など）の例を確認できる。
・勾配降下法アルゴリズムの選択
・…
畳込ニューラルネットワーク（CNN）
・CNNの...
　...
・CNNの...
　...

深層学習の実践
TensorFlow?・Keras

環境準備、共通処理
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/TensorFlowAndKeras0.ipynb
　ココでは、TensorFlow?・Kerasを使用した（ディープ）ニューラルネットワークの環境準備（インストール、インポート）から共通処理（モデルの生成、勾配降下法アルゴリズムの選択、モデルの定義とコンパイル、モデルの学習と推論、モデルの保存と復元、過学習の抑止）の例を確認できる。
・環境準備（インストール、インポート）
・共通処理
　・モデルの生成
　・勾配降下法アルゴリズムの選択
　・モデルの定義とコンパイル
　・モデルの学習と推論
　・モデルの保存と復元
　・過学習の抑止

DNN
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/TensorFlowAndKeras1.ipynb
　ココでは、TensorFlow?・Kerasを使用した（ディープ）ニューラルネットワーク（DNN）による回帰、分類の例を、モデルの定義方法を含めて確認できる。ポイントは、出力層の数と活性化関数を変更している点。
・環境準備（インポート、共通関数）
・DNNアルゴリズム・モデル
　・DNNで重回帰分析
　・DNNの２クラス分類器
　・DNNの多クラス分類器

RNN
https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/TensorFlowAndKeras2.ipynb
　ココでは、TensorFlow?・Kerasを使用したRNNによる回帰の例を、モデルの定義方法を含めて確認できる。
・環境準備（インポート、共通関数）
・RNNアルゴリズム・モデル
　・時系列予測（LSTMの定義
　・...

CNN

・初歩的なCNN
　https://github.com/OpenTouryoProject/DxCommon/blob/master/Notebook/Jupyter/path/TensorFlowAndKeras3.ipynb
　　ココでは、TensorFlow?・Kerasを使用した初歩的なCNNによる分類の例を、モデルの定義方法を含めて確認できる。
　・環境準備（インポート、共通関数）
　・CNNアルゴリズム・モデル
　　・MINST-DNN
　　・MINST-CNN
　　・商品の自動タグ付け

↑

結果 †

機械学習・深層学習のPython実装の方法が解った！ハズ。

↑

動画 †

Zoomの録画をYoutubeにアップロード
- 第38回部会 AIプログラム解説（２）
  - 1-1 基礎 Python＆NumPy?編
    https://www.youtube.com/watch?v=88_p8BBO9Cw
  - 1-2 基礎 Pandas＆Matplotlib編
    https://www.youtube.com/watch?v=ZJYXPzmDTSk
  - 2-0 機械学習 scikit-learn環境準備、共通的データ処理編
    https://www.youtube.com/watch?v=uG_BbIfVYug
  - 2-1 機械学習 scikit-learn 単回帰・重回帰分析編
    https://www.youtube.com/watch?v=PIJPdIT6dA0
  - 2-2 機械学習 scikit-learn 多項式回帰・正則化回帰分析編
    https://www.youtube.com/watch?v=p36vE20X_4c
  - 2-3 機械学習 scikit-learnの様々な分類器（PPN、SVM、DTL、LRA）編
    https://www.youtube.com/watch?v=2_PcMh15SxI
  - 2-4 機械学習 scikit-learnの主成分分析、クラスタ分析編
    https://www.youtube.com/watch?v=tQ5bnxYVYt0
  - 2-5 機械学習 scikit-learnの性能の評価、チューニング編
    https://www.youtube.com/watch?v=Cuh_rcqkyhY
  - 3-1 深層学習理論編
    https://www.youtube.com/watch?v=ceWSf6hPGJg
  - 3-2 深層学習実践編
    https://www.youtube.com/watch?v=no5nyUNdlZs

OSSコンソーシアム Blogにも掲載
- 第38回部会 ...
  https://www.osscons.jp/...-537/

↑

1/31 セルフZoom部会（第39回） †

↑

準備 †

PPTを作成しました。

生産技術施策の分析レポート.pptx

↑

デモ †

施策の分類と実績の情報を土台とし、更に、
マーケティング手法を導入し、今後の方向性を見出す。

↑

結果 †

今後の方向性が見えたハズ。

↑

動画 †

Zoomの録画をYoutubeにアップロード
- 第39回部会 ...
  https://www.youtube.com/watch?v=
OSSコンソーシアム Blogにも掲載
- 第39回部会 ...
  https://www.osscons.jp/...-537/

↑

参考 †

↑

部会メモ（2023年） のバックアップ(No.16)

目次 †

概要 †

詳細（2023年 †

1/10 セルフZoom部会（第36回） †

準備 †

デモ †

結果 †

動画 †

1/17 セルフZoom部会（第37回） †

準備 †

デモ †

結果 †

動画 †

1/24 セルフZoom部会（第38回） †

準備 †

デモ †

結果 †

動画 †

1/31 セルフZoom部会（第39回） †

準備 †

デモ †

結果 †

動画 †

n/n セルフZoom部会（第40回） †

準備 †

デモ †

結果 †

動画 †

参考 †

部会メモ（開発基盤部会） †

部会メモ（2023年）のバックアップ(No.16)