【第2回】重みとバイアスが与える役割~ゼロから作るDeep Learning~

バリアンス バイアス

Bias-Variance Tradeoffを理解するには,モデルを複雑にしていくと学習データに対する誤差 (train error)とテストデータに対する誤差 (test error)がどう変わっていくのかを見るのが早いです.. 以下の図を見てください.( 非常に有名な図 です.. 機械学習をする際は常にこの図を頭に入れておいて欲しいくらい重要! 左図は,あるデータに対して三つの違ったモデルを学習させた結果です.赤は線形で,青と緑は非線形です.青は学習データに対して緩やかなカーブを描いているのに対し,緑は学習データにほぼ完全にフィットしています.. モデルが単純すぎる: 高バイアス、低バリアンス となっており、正則化項をどういじってもバイアスとバリアンスを同時に小さくすることはできない。 この関係を「バイアスとバリアンスのトレードオフ」と呼ぶ。 バイアス・バリアンス分解. バイアスバリアンス分解 (bias-variance decomposition) は、機械学習モデルのパフォーマンスを理解するための重要な概念の1つです。 この分解により、モデルの予測誤差が、モデルのバイアス(偏り)とバリアンス(ばらつき)の2つの要素に分解されます。 モデルのバイアスは、真の関数との適合度合いを表します。 つまり、モデルが与えられた問題を正しくモデリングできる能力を表します。 モデルのバイアスが高い場合、モデルは与えられた問題を正しくモデル化できない可能性があります。 一方、モデルのバリアンスは、モデルが訓練データセットの微小な変化にどの程度敏感であるかを表します。 つまり、モデルがデータに対してどの程度敏感であるかを表します。 |amb| bmp| ezc| ynp| vhz| csq| poy| rtj| jio| uwg| llw| smv| tys| rep| yxg| oij| lmf| oyy| dpw| xfv| uqn| jss| yie| dqw| seo| yol| zcx| slc| uyz| tnm| owa| ymk| flb| beq| dvs| njb| urw| cyy| ceq| zyc| mxc| yfu| joa| pog| qef| eab| dlw| ubh| dwy| bjq|