活性化関数はなぜ必要？ないと何層重ねても直線になることを数字で確かめる

活性化関数はどこに入るのか

活性化関数は、ニューラルネットワークの1個1個のニューロンの中で、計算の最後に入ります。流れは、図「1個のニューロンの中の計算」のとおりです。

入力に重みを掛けて足し、バイアスを足すところまでは、どのニューロンも同じ「掛けて足す」計算です。その結果を次の層に渡す前に、活性化関数で形を整えます。

• 出典：Google Machine Learning Crash Course：Neural networks（新しいタブ）

身近なたとえ：まっすぐな紙は重ねても平ら

まっすぐな紙を何枚重ねても、平らな紙の束のままです。どれだけ枚数を増やしても、立体の形は作れません。掛けて足すだけの層を重ねるのは、これと同じです。

一方で、1枚ずつ折り目を付けてから重ねると、箱や鶴のような形を作れます。活性化関数は、この「折り目」の役目をします。

折り目の付け方がReLUやシグモイドなどの種類の違いで、折り目の位置や深さは、学習の中で重みとバイアスが決めていきます。

数字で確かめる：2段の直線は1段の直線にまとまる

入力をxとして、1段目で「2倍して1を足す（y＝2x＋1）」、2段目で「3倍して4を引く（z＝3y−4）」という計算をするネットワークを考えます。どちらも掛けて足すだけの計算です。

1段目の式を2段目に入れると、z＝3×(2x＋1)−4＝6x−1になります。2段の計算が、「6倍して1を引く」という1段の計算にまとまりました。

これは、何段重ねても同じです。掛けて足すだけの計算は、どれだけ重ねても「何倍かして何かを足す」1つの計算になります。層を重ねる意味がなくなってしまうのです。

間にReLUを入れると、線が折れ曲がる

同じ例で、1段目の結果に「マイナスなら0、プラスならそのまま」にするReLUを入れてみます。z＝3×ReLU(2x＋1)−4です。

xが−0.5より小さいとき、2x＋1はマイナスなのでReLUで0になり、zは−4のまま平らになります。xが−0.5以上のときは、z＝6x−1の直線になります。つまり、線がx＝−0.5で折れ曲がりました。

折れ曲がりを作れるようになると、折れ線を何本も組み合わせて、どんな形にも近い線を作れるようになります。これが、活性化関数が「曲げる」役目と呼ばれる理由です。

• 出典：Google Machine Learning Crash Course：Activation functions（新しいタブ）

折れ目を増やすと、どんな形にも近づける

ReLUを何個か組み合わせると、折れ目を増やせます。たとえば、ReLU(x)−2×ReLU(x−1)＋ReLU(x−2)という計算は、xが0から1で上がり、1から2で下がる「山」の形になります。

xが0のとき0、1のとき1、2のとき0、3のとき0です。ReLU3個で、平らな所・上り坂・下り坂・平らな所を持つ形を作れました。

山をたくさん並べて高さを変えれば、どんな曲線にも近い形を作れます。ニューロンの数が多いネットワークほど複雑な関係を学べるのは、このためです。

直線では解けない問題を解く：XORの例

XOR（排他的論理和）は、2つの入力のどちらか一方だけが1のときに1を出す問題です。(0,0)と(1,1)は0、(1,0)と(0,1)は1になります。この4点は、直線1本では0の組と1の組に分けられません。

ReLUを使った隠れ層を1つ入れると解けます。h1＝ReLU(x1＋x2)、h2＝ReLU(x1＋x2−1)を計算し、出力をh1−2×h2にします。結果は表「ReLUでXORを解く計算」のとおりで、4点とも正しく答えられます。

活性化関数がなければ、この計算もh1−2×h2が1つの直線の式にまとまり、XORは解けません。直線で分けられない問題を解けることが、活性化関数が必要な一番分かりやすい理由です。

よく使われる活性化関数の違い

活性化関数には、いくつかの種類があります。Googleの教材は、シグモイド・tanh・ReLUの3つを代表として紹介しています。

使われる場所と特徴は、表「代表的な活性化関数」のとおりです。今の隠れ層では、ReLUやその仲間が定番です。

• 出典：Google Machine Learning Crash Course：Activation functions（新しいタブ）
• 出典：Devlin ほか「BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding」（2018年）（新しいタブ）
• 出典：Hendrycks・Gimpel「Gaussian Error Linear Units (GELUs)」（2016年）（新しいタブ）

シグモイドの弱点：勾配が消える

ニューラルネットワークは、誤差逆伝播法で、出口から入口に向かって「直す向き（勾配）」を計算して学びます。この計算では、各層の傾きを次々に掛け合わせます。

シグモイドの傾きは、一番大きいところでも0.25です。10層で0.25を掛け合わせると、0.25の10乗で約0.00000095になります。入口に近い層ほど、直す向きがほとんど0になり、学習が進まなくなります。これを勾配消失と呼びます。

Googleの教材は、ReLUが勾配消失の問題を受けにくいため、シグモイドやtanhより少しうまく働くことが多いと説明しています。深いネットワークの隠れ層でReLUが選ばれる大きな理由です。

• 出典：Google Machine Learning Crash Course：Activation functions（新しいタブ）
• 出典：Google Machine Learning Crash Course：Training using backpropagation（新しいタブ）

ReLUは単純なのに、なぜうまくいくのか

ReLUは「マイナスなら0、プラスならそのまま」という、とても単純な関数です。それでも隠れ層の定番になった理由は、主に3つあります。

1. 計算が軽い：0と比べて大きいほうを取るだけなので、たくさんのニューロンでもすばやく計算できる。
2. 勾配が消えにくい：プラスの側の傾きはいつも1なので、層を重ねても直す向きが小さくなりにくい。
3. 折れ目を組み合わせられる：折れ線を何本も足し合わせれば、複雑な形にも近づける。

単純さと、組み合わせたときの表現力の両方を持っていることが、ReLUが広く使われる理由です。

• 出典：Google Machine Learning Crash Course：Activation functions（新しいタブ）

ReLUにも弱点がある：動かなくなるニューロン

ReLUはマイナスをすべて0にするため、あるニューロンの入力がいつもマイナスになると、出力がずっと0になります。こうなると、そのニューロンは学習にまったく参加しなくなります。

Googleの教材は、これを「死んだReLU」と呼び、学習率を下げることや、マイナスの側にも少しだけ傾きを残すLeakyReLUを使うことを対策に挙げています。

どの活性化関数にも得意・不得意があります。「隠れ層はまずReLU、うまくいかなければ仲間の関数を試す」と考えると選びやすくなります。

• 出典：Google Machine Learning Crash Course：Training using backpropagation（新しいタブ）

LLMで使われるGELU

ChatGPTのもとになるような言語モデルでは、GELUという活性化関数がよく使われます。GELUは2016年の論文で提案された関数で、ReLUの折れ曲がりをなめらかにしたような形をしています。

2018年に発表された言語モデルBERTの論文には、OpenAIのGPTにならい、標準的なReLUではなくGELUを使ったと書かれています。

なめらかな形のほうが、大きなモデルの学習が安定しやすいと考えられています。ただ、「なぜ必要か」という基本は、ReLUの例と同じです。

GELUも、ReLUと同じく、マイナスの入力はほぼ0に近づけ、プラスの入力はほぼそのまま通します。違いは、0の近くの形がなめらかかどうかです。

• 出典：Devlin ほか「BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding」（2018年）（新しいタブ）
• 出典：Hendrycks・Gimpel「Gaussian Error Linear Units (GELUs)」（2016年）（新しいタブ）

よくある3つの誤解

1. 活性化関数が「判断」している：判断を決めているのは重みとバイアスで、活性化関数は結果の形を整えるだけ。
2. 活性化関数は出力を0か1にするもの：0か1にするのは昔のステップ関数だけ。ReLUはプラスの値をそのまま通し、シグモイドは0〜1のなめらかな値を出す。
3. 種類を変えれば性能が大きく上がる：多くの場合、隠れ層はReLUの仲間で十分に働く。性能はデータの量や層の設計のほうが大きく左右する。

この3つを押さえておくと、解説記事や試験の選択肢で迷いにくくなります。

選び方の手順

初めて自分でネットワークを作るときは、次の順に考えると迷いません。

1. 出力層を先に決める：答えが2択ならシグモイド、3つ以上から選ぶならソフトマックス、数値ならそのまま。
2. 隠れ層はReLUから始める：多くの場合、まずReLUで試す。
3. 学習がうまく進まなければ変える：出力が0のまま動かないニューロンが多いなら、LeakyReLUなどの仲間を試す。

言語モデルのような大きなモデルを一から作ることはまれですが、使われている関数の名前を見て、その意味が分かるようになると解説が読みやすくなります。

出力層の関数は、答えの形で選ぶ

隠れ層の活性化関数とは別に、最後の出力層では、答えの形に合わせて関数を選びます。

1. はい・いいえの2択：シグモイドで0〜1の確率にする。迷惑メールかどうか、など。
2. 3つ以上から1つを選ぶ：ソフトマックスで、全部の確率の合計が1になるようにする。写真が猫・犬・鳥のどれか、など。
3. 数値を当てる：何もしないでそのまま出す。家の値段の予想、など。

言語モデルが次の言葉を選ぶときも、たくさんの言葉の候補から1つを選ぶので、ソフトマックスのような計算で確率にしています。

出力層の関数を間違えると、確率の合計が1にならないなど、答えの意味がおかしくなります。隠れ層より先に、出力層の関数を答えの形で決めてください。

表計算で試す：ReLUの折れ曲がりを見る

この記事の例は、ExcelやGoogleスプレッドシートで確かめられます。A列に−2から2までのxを並べ、B列に「=3*(2*A2+1)-4」、C列に「=3*MAX(0,2*A2+1)-4」と入れます。

2つの列をグラフにすると、B列は1本の直線、C列は途中で折れ曲がった線になります。MAX(0, …)の部分が、ReLUの役目をしています。

XORの例も、h1とh2の式を同じように入れれば確かめられます。数字が式どおりに変わるのを見ると、「曲げる」意味が実感できます。

山の形の例も、「=MAX(0,A2)-2*MAX(0,A2-1)+MAX(0,A2-2)」と入れてグラフにすると、折れ目が3つある形を目で確かめられます。

資格の勉強で押さえたい点

JDLAのE資格の出題範囲では、「深層学習の基礎」の中に順伝播型ネットワークが含まれています。活性化関数は、その基本の部品です。

勉強では、次の3点を自分の言葉で説明できるようにしておくと安心です。

1. なぜ必要か：線形の計算は重ねても線形のままだから。
2. シグモイドの弱点：傾きが小さく、深い層で勾配が消えやすい。
3. ReLUの利点と弱点：勾配が消えにくく計算が軽い一方、出力がずっと0になるニューロンが出ることがある。

用語を覚えるだけでなく、この記事の「2段の直線が1段にまとまる」計算を自分で書いてみると、選択肢の言いかえにも迷わなくなります。

• 出典：JDLA：E資格（エンジニア資格）試験概要（新しいタブ）