sigmoid函数应该是接触深度学习第一个遇到的激活函数,它可以将输出值映射到[0,1]区间的某个值,常常作为预测的概率值。深度学习网络通过反向传播算法来实现权重、偏置参数调整来达到自我学习的目的,在反向传播过程中,需要利用链式求导法则,其中就需要对激活函数求导,这里记录sigmoid函数的求导过程,作为重温数学知识的开始。
sigmoid函数整体来看是一个商的形式,可以利用商的微分法则公式带入求解,推导过程中还会用到和的微分法则,自然指数函数和它的导数恒等,这些规则统一列举如下商的微分法则
和的微分法则
自然指数函数和它的导数恒等
sigmoid函数导数的完整推导过程如下,其中exp(-x)指数函数等价于1/exp(x),可以用商的微分法则求解得出exp(-x)=-exp(-x),这里exp表示自然指数函数。
参考文献[1]. 《什么是数学》[美]R.柯朗 H.罗宾 著,Page423、Page438;