Tiven Wang
Wang Tiven July 17, 2018
425 favorite favorites
bookmark bookmark
share share

上一篇 Python - Building A Logistic Regression 我们介绍了逻辑回归模型,主要针对的是 1 个特征维度的样本 x 分为 2 类的问题,模型函数如下

那么样本特征扩展到 m 个维度,样本类扩展为 k 个的问题怎么解决呐?

首先对于具有 m 个特征的某一个样本数据我们有以下公式,则 为样本特征权重系数的数组

那么对于它要计算出其在 k 个分类上的概率分布,则假设有 k 个 系数组,则其组成一个矩阵

最终计算样本在每个分类上的概率,则有以下公式

Cost Function

结合上一篇讲的交叉熵的概念,对于某一个样本的 Cost Function 可以表示如下

假设有 个样本那么汇总的 Cost Function 可写为

Softmax regression

Softmax regression (or multinomial logistic regression) is a generalization of logistic regression to the case where we want to handle multiple classes. In logistic regression we assumed that the labels were binary: y(i)∈{0,1}. We used such a classifier to distinguish between two kinds of hand-written digits. Softmax regression allows us to handle y(i)∈{1,…,K} where K is the number of classes.

References

Similar Posts

Comments

Back to Top