機械学習における評価指標とは？その一覧や選び方をわかりやすく解説

機械学習モデルの性能を評価する際には、様々な評価指標が利用されますが、その選び方一つでモデルの良し悪しが変わってくることもあります。

本記事では、機械学習でよく利用される評価指標に焦点を当て、それぞれの指標がどのような性質を持ち、どんな状況で有効なのかを詳しく解説していきます。
精度だけでなく適合率、再現率、F1スコアなど、目的に応じた最適な指標の選び方や、その評価方法について、実践的な知識も交えてご紹介します。

モデル開発における評価指標の選択と使用について正しい知識をつけ、より良い機械学習モデルを構築するための参考にしてください。

機械学習における評価指標とは

機械学習の評価指標（evaluation metrics）は、モデルの性能を定量的に評価するための指標です。
これらの指標は、モデルがどれほど正確に予測や分類を行っているかを判断するための基準となります。評価指標は、モデルの種類（分類、回帰、クラスタリングなど）や特定のタスクの目標に応じて選択されます。

評価指標の重要性

評価指標の選択は、プロジェクトの目的に大きく影響を与えるため、非常に重要です。

例えば、分類モデルでは精度や適合率、再現率、F1スコアなどが一般的に使用されます。
一方、回帰モデルでは平均絶対誤差（MAE）や平均二乗誤差（MSE）、決定係数（R^2）などが用いられます。

適切な評価指標を選ぶことで、モデルの性能を正確に評価し、改善点を明確にすることができます。

精度だけでは評価が難しい理由

機械学習モデルの評価において、精度（Accuracy）は一般的に使用される指標です。

しかし、精度だけではモデルの性能を正確に評価できない場合があります。以下にその理由を詳しく説明します。

1.クラス不均衡

データのクラス分布が極端に不均衡な場合、精度は不正確になる可能性があります。
例えば、99%のサンプルがクラスAに属し、1%がクラスBに属するデータセットを考えてみます。この場合、モデルが常にクラスAを予測するだけで99%の精度を達成できます。

しかし、このモデルはクラスBを全く識別できないため、実際には非常に性能が低いと言えます。

2.特定の誤分類の影響

すべての誤分類が同じように重要ではない場合、精度は適切な指標ではありません。
例えば、医療診断では、重大な病気を見逃す（偽陰性）ことは、健康な人を誤って病気と診断する（偽陽性）よりもはるかに深刻です。

精度はこれらの違いを考慮しないため、特定の誤分類の影響を評価するには、適合率（Precision）や再現率（Recall）などの指標が必要です。

3. モデルのバランス評価

精度は、モデルのバランスを評価する指標として不十分です。
適合率と再現率は、モデルがどれだけ正確に正クラスを識別できるかを示し、F1スコアはこれらのバランスを取るために使用されます。

特にクラス不均衡のデータセットでは、F1スコアが精度よりも有用です。
これにより、モデルのバランスが評価でき、偏りのない予測が可能となります。

---

機械学習における評価指標の種類

以下では、分類モデル、回帰モデル、クラスタリングモデルにおける主要な評価指標を紹介し、それぞれの特徴と計算方法について説明します。

機械学習の評価指標にはさまざまな種類があります。

• 精度 (Accuracy)
• 適合率 (Precision)
• 再現率 (Recall)
• F1スコア (F1 Score)
• ROC曲線 (ROC Curve) と AUC (Area Under Curve)
• 平均絶対誤差 (Mean Absolute Error, MAE)
• 平均二乗誤差 (Mean Squared Error, MSE)
• 決定係数 (R-squared, R^2)
• シルエット係数 (Silhouette Score)
• 相互情報量 (Mutual Information)
• 調整ランダムインデックス (Adjusted Rand Index, ARI)

以下では、分類モデル、回帰モデル、クラスタリングモデルにおける主要な評価指標の特徴と使用例について詳しく説明します。

---

分類モデルの評価指標

1. 精度 (Accuracy)

モデルが正しく予測したサンプルの割合。全ての予測の中で、どれだけ正解したかを示します。特にクラスの分布が均等な場合に有効です。

【計算式】
\text{Accuracy} = \frac{\text{正解数}}{\text{総サンプル数}}

【使用例】
クラスの分布が均等な場合や、全体的なパフォーマンスを簡単に評価したい場合に使用されます。

2. 適合率 (Precision)

モデルが正と予測したサンプルのうち、実際に正である割合。誤検出を減らしたい場合に重要です。
例えば、不良品検出において、実際に不良であるものの中でどれだけ正しく検出できたかを示します。

【計算式】
\text{Precision} = \frac{TP}{TP + FP}

【使用例】
誤検出（False Positive）が特に問題となる状況、例えばスパムフィルターや医療診断で重要です。

3.再現率 (Recall)

実際に正であるサンプルのうち、モデルが正と予測した割合。見逃しを減らしたい場合に重要です。
例えば、病気の検出において、実際に病気である人の中でどれだけ正しく検出できたかを示します。

【計算式】
\text{Recall} = \frac{TP}{TP + FN}

【使用例】
見逃し（False Negative）が特に問題となる状況、例えば病気の診断やセキュリティの脅威検出で重要です。

4.F1スコア (F1 Score)

適合率と再現率の調和平均。精度と再現率のバランスを取った指標です。特にクラスの不均衡がある場合に有効です。

【計算式】
\text{F1 Score} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}

【使用例】
精度と再現率のバランスが重要な状況、例えば不均衡のあるデータでの評価に適しています。

5.ROC曲線 (ROC Curve) と AUC (Area Under Curve)

ROC曲線は、偽陽性率 (FPR) と真陽性率 (TPR) の関係を示すグラフです。
AUCはROC曲線の下の面積で、1に近いほど良いモデルを示します。モデルの判別能力を評価する際に使用します。

【使用例】
二値分類問題でのモデルの性能を視覚的に評価する場合や、異なる閾値での性能を比較する場合に使用されます。

---

回帰モデルの評価指標

1.平均絶対誤差 (Mean Absolute Error, MAE)

予測値と実際の値の絶対差の平均。エラーの平均的な大きさを示します。予測の誤差が全て同じ重みで計算されるため、外れ値の影響が少ないです。

【計算式】
\text{MAE} = \frac{1}{N} \sum_{i=1}^{N} |\hat{y}_i - y_i|

【使用例】
外れ値の影響を受けにくい評価指標が必要な場合に適しています。例えば、家賃の予測モデルの評価に使用されます。

2.平均二乗誤差 (Mean Squared Error, MSE)

予測値と実際の値の差の二乗の平均。エラーが大きいほど重みが増します。外れ値の影響を受けやすいですが、エラーの大きさを強調することができます。

【計算式】
\text{MSE} = \frac{1}{N} \sum_{i=1}^{N} (\hat{y}_i - y_i)^2

【使用例】
大きな誤差を特に重視する場合に適しています。例えば、株価予測モデルの評価に使用されます。

3.決定係数 (R-squared, R^2)

モデルがデータの分散をどれだけ説明しているかを示す指標。1に近いほど良いモデルを示します。モデルの適合度を評価する際に使用します。

【計算式】
R^2 = 1 - \frac{\sum_{i=1}^{N} (\hat{y}_i - y_i)^2}{\sum_{i=1}^{N} (y_i - \bar{y})^2}

【使用例】
モデル全体の適合度を評価する場合に使用されます。例えば、気温予測モデルの評価に使用されます。

---

クラスタリングモデルの評価指標

1.ルエット係数 (Silhouette Score)

クラスタリングの品質を評価する指標。クラスタ内の一貫性とクラスタ間の分離度を測定します。値は-1から1の範囲で、1に近いほど良いクラスタリングを示します。

【使用例】
クラスタリングアルゴリズムの評価や、最適なクラスタ数を選定する際に使用されます。

2.相互情報量 (Mutual Information)

クラスタリング結果と実際のラベルの情報共有度を示す指標。情報理論に基づく評価指標であり、値が大きいほど良いクラスタリングを示します。

【使用例】
クラスタリング結果と実際のラベルの一致度を評価する場合に使用されます。

3.調整ランダムインデックス (Adjusted Rand Index, ARI)

クラスタリング結果と実際のラベルの一致度を測定する指標。ランダムな一致の影響を取り除きます。値は-1から1の範囲で、1に近いほど良いクラスタリングを示します。

【使用例】
クラスタリング結果と実際のラベルの一致度をランダムな一致の影響を考慮して評価する場合に使用されます。

---

機械学習の指標評価選びのポイント

上記の精度だけでは一概に評価できないことがある点以外にも機械学習モデルの評価指標を使用する際には、いくつかの注意点があります。評価指標を正しく理解し、適切に選択・適用することで、モデルの性能を正確に評価することができます。以下に、評価指標を使用する際の主な注意点を挙げます。

複数の指標を組み合わせる

単一の評価指標に依存すると、モデルの特定の側面しか評価できない可能性が考えられます。
例えば、精度だけに頼ると、データの偏りを見逃すことがあります。

複数の評価指標を組み合わせて使用することで、モデルの総合的な性能をより正確に評価することができます。

モデルの目的に応じた指標を選ぶ

モデルの目的によって重要な指標は異なります。
例えば、医療診断のモデルでは、病気の見逃しを防ぐために再現率が重要な場合が多いです。

一方、不良品検出のモデルでは、正確に不良品を見つけるために適合率が重要となることがあります。目的に応じた適切な指標を選択することが重要です。

分散と標準偏差を考慮する

モデルの評価指標は、データセットの分割や異なるテストデータに対して変動することがあります。
そのため、評価指標の分散や標準偏差も考慮して、モデルの安定性を評価することが重要です。

例えば、クロスバリデーションを使用して、複数の評価結果を平均することで、より信頼性の高い評価が可能です。

外れ値の影響を考慮する

平均二乗誤差（MSE）などの指標は、外れ値に対して敏感です。外れ値が評価結果に大きな影響を与える場合は、平均絶対誤差（MAE）などの指標を使用するとよいでしょう。

外れ値の影響を受けにくい指標を使用することで、モデルの性能をより正確に評価できます。

データの前処理と評価方法

データの前処理や評価方法もモデルの評価結果に影響を与えます。
例えば、欠損値の処理やデータの正規化など、前処理を適切に行うことが重要です。

また、クロスバリデーションなどの評価方法を使用して、モデルの性能を安定して評価することが必要です。

ビジネス価値を考慮する

評価指標だけでなく、ビジネス価値や実際の運用環境における影響も考慮することが重要です。
例えば、モデルの性能が高くても、運用コストが高すぎる場合や、ビジネス価値に貢献しない場合は意味がありません。

ビジネス目標と一致する評価指標を選択することが必要です。

これらの注意点を念頭に置きながら、機械学習モデルの評価指標を適切に選択し、評価を行うことで、より正確で信頼性の高いモデルを構築することができます。

---

まとめ

この記事では、機械学習モデルの評価指標について解説しました。評価指標を正しく選定することで、モデルの性能を正確に把握し、改善のポイントを明確にできます。

そのためにはモデルの目的に応じて適切な指標を選ぶこと、そして複数の指標を組み合わせて評価することが重要です。
これにより、信頼性の高いモデルを構築し、ビジネス価値を最大限に引き出すことができるでしょう。