単純パーセプトロンは単純な構造ですが、様々な関数を表現できます。
しかし、単純パーセプトロンの限界として、線形分離化可能な問題しか扱うことができないということがありました。
今回はこの線形分離について調べました。
単純パーセプトロン
パーセプトロンとは脳の神経回路を模して造られた計算モデルのことです。
単純パーセプトロンは図のように入力・重み・バイアス・出力から構成されます。
詳しくは以下の記事を参照してください。
この単純パーセプトロンは線形分離可能な問題しか取り扱うことができないという問題がありました。
それではそもそも線形分離可能とはどういうものなのでしょうか？
線形分離可能
線形分離のイメージ
線形分離可能なものとしてAND関数がありました。
AND関数の真理値表は次の通りです。
| x1 | x2 | y |
| 0 | 0 | 0 |
| 1 | 0 | 0 |
| 0 | 1 | 0 |
| 1 | 1 | 1 |
この入力を二次元平面上の点として扱うと次の図のように表現されます。
そしてAND関数への入力の組み合わせをAND関数の出力で分けると（y=1の集合とy=0の集合に分けると）、直線一本で集合を分けることができます。
線形分離可能のイメージはこのようなものですが、これは非常に限られた場合のイメージです。
そこでより詳細な線形分離の定義を見ていきます。
線形分離可能の言葉による説明
線形分離可能の説明として次のようなものがあります。
二つのカテゴリーに属するパターンの集合が、ある超平面によって片方はカテゴリー１に属するパターン集合に、また超平面の反対側にはカテゴリー２に属するパターンの集合というように分離される場合には、このパターン集合は線形分離可能（linearly separable)であるという。 [1]
超平面とは n 次元空間内にある(n -1) 次元空間のことです。
つまり上記のAND回路の例では、二次元空間内にあるx1, x2 の組み合わせを一次元空間（直線）で分離できるので線形分離可能であるといえます。
線形分離可能の数式による説明
線形分離可能は数式によっても説明できます。
まず入力の集合を次の二つに分けます。
- X+ : 出力として1を出力するもの（y = 1）の集合
- X– : 出力として0を出力するもの（y = 0）の集合
そして次のような式を考えます。
そしてある入力 xs に対して式Φが
となるように式内aの集合を定めるとき線形分離可能であるといえます。
再びAND関数の場合で考えます。
まずX+, X– はそれぞれ次のようになります。
そしてaの集合をそれぞれ次のように定めます。
これらを実際に代入して計算すると
となり、AND関数は線形分離可能であることが確認できました。
まとめ
- 単純パーセプトロンは線形分離可能な問題しか扱うことができない。
- 線形分離可能とはある集合（n次元空間）を超平面（n-1 次元空間）で二つに分離することができることである。
- 線形分離可能とは関数Φ(x)にたいして条件を満たすようなaの集合が存在することである。
参考文献
関連記事