深度学习中用到的几个微积分知识

导数：

导数（Derivative），也叫导函数值。又名微商，是微积分中的重要基础概念。当函数 y=f(x)的自变量 x 在一点 x0 上产生一个增量 Δx 时，函数输出值的增量 Δy 与自变量增量 Δx 的比值在 Δx 趋于 0 时的极限 a 如果存在，a 即为在 x0 处的导数，记作f'(x0) 或 df(x0)/dx。

微分：

微分在数学中的定义：由函数 B=f(A) ，得到 A、B 两个数集，在 A 中当 dx 靠近自己时，函数在 dx 处的极限叫作函数在 dx 处的微分，微分的中心思想是无穷分割。

导数和微分的区别

导数和微分的区别一个是比值、一个是增量。

导数是函数图像在某一点处的斜率，也就是纵坐标增量（Δy）和横坐标增量（Δx）在 Δx-->0 时的比值。
微分是指函数图像在某一点处的切线在横坐标取得增量 Δx 以后，纵坐标取得的增量，一般表示为dy。

所以二者有本质区别。

偏导数

一个多变量的函数的偏导数，就是它关于其中一个变量的导数而保持其他变量恒定。