深度学习中用到的几个微积分知识

导数:

导数(Derivative),也叫导函数值。又名微商,是微积分中的重要基础概念。当函数 y=f(x)的自变量 x 在一点 x0 上产生一个增量 Δx 时,函数输出值的增量 Δy 与自变量增量 Δx 的比值在 Δx 趋于 0 时的极限 a 如果存在,a 即为在 x0 处的导数,记作f'(x0)df(x0)/dx

微分:

微分在数学中的定义:由函数 B=f(A) ,得到 AB 两个数集,在 A 中当 dx 靠近自己时,函数在 dx 处的极限叫作函数在 dx 处的微分,微分的中心思想是无穷分割。

导数和微分的区别

导数和微分的区别一个是比值、一个是增量。

导数是函数图像在某一点处的斜率,也就是纵坐标增量(Δy)和横坐标增量(Δx)在 Δx-->0 时的比值
微分是指函数图像在某一点处的切线在横坐标取得增量 Δx 以后,纵坐标取得的增量,一般表示为dy

所以二者有本质区别。

偏导数

一个多变量的函数的偏导数,就是它关于其中一个变量的导数而保持其他变量恒定。