Softmax原理

Softmax函數用于將分類結果歸一化，形成一個概率分布。作用類似于二分類中的Sigmoid函數。

對于一個k維向量z，我們想把這個結果轉換為一個k個類別的概率分布p(z)。softmax可以用于實現上述結果，具體計算公式為：

對于k維向量z來說，其中zi∈R，我們使用指數函數變換可以將元素的取值范圍變換到(0,+∞),之后我們再所有元素求和將結果縮放到[0,1],形成概率分布。

常見的其他歸一化方法，如max-min、z-score方法并不能保證各個元素為正，且和為1。

Softmax性質

輸入向量x加上一個常數c后求softmax結算結果不變，即:

我們使用softmax(x)的第i個元素的計算來進行證明：

函數實現

由于指數函數的放大作用過于明顯，如果直接使用softmax計算公式

進行函數實現，容易導致數據溢出(上溢)。所以我們在函數實現時利用其性質：先對輸入數據進行處理，之后再利用計算公式計算。具體使得實現步驟為：

查找每個向量x的最大值c； 每個向量減去其最大值c, 得到向量y = x-c; 利用公式進行計算,softmax(x) = softmax(x-c) = softmax(y)

代碼如下：

import numpy as npdef softmax(x): ''' softmax函數實現 參數： x --- 一個二維矩陣, m * n,其中m表示向量個數，n表示向量維度 返回： softmax計算結果 ''' assert(len(X.shape) == 2) row_max = np.max(X, axis=axis).reshape(-1, 1) X -= row_max X_exp = np.exp(X) s = X_exp / np.sum(X_exp, axis=axis, keepdims=True) return s

測試一下：

a = [[1,2,3],[-1,-2,-3]]b = [[1,2,3]]c = [1,2,3]a = np.array(a)b = np.array(b)c = np.array(c)

print(softmax(a))print(softmax(b))print(softmax(c)) # error

輸出結果為：

[[ 0.09003057 0.24472847 0.66524096][ 0.66524096 0.24472847 0.09003057]][[ 0.09003057 0.24472847 0.66524096]]Traceback (most recent call last):assert(len(X.shape) == 2)AssertionError

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持好吧啦網。