CS229上学笔记永利集团304com:

在上一小节中,大家定义了代价函数永利集团304com 1,当其值最小时,大家则称寻觅到了拟合数据集最棒的参数永利集团304com 2的值。那么我们又该如何挑选参数永利集团304com 3永利集团304com,的值使得代价函数永利集团304com 4最小化?

永利集团304com 5=log%5Cfrac%7Bp%7D%7B(1-p)%7D%7B,%7Dp%5Cin(0,1))

咱俩不要紧虚拟使用寻找算法(Search
Algorithm),其先将参数永利集团304com 6发轫化,然后不断给参数永利集团304com 7予以新值,直至代价函数永利集团304com 8消失于细微值处。因而,大家能够梯度下跌算法(Gradient
Descent Algorithm),其履新准则为:

logit函数输入插足p属于(0,1),函数值为整个实数域,能够在特征值与逻辑比率之间创设线性关系

永利集团304com 9%20%5C%5C%20%26%5Crbrace%20%5Cend%7Balign*%7D)

永利集团304com 10)=%5Csum_%7Bi=0%7D%5E%7Bn%7D%7Bw_ix_i%7D=%5Cmathbf%7Bw%5ETx%7D)

其中,永利集团304com 11代表学习速率,其值过小会导致迭代反复技术消退,其值过大大概变成跨越最可取而产生共振现象。

这里

当唯有一个教练实例时,偏导数的总括公式如下:

永利集团304com 12)

永利集团304com 13%5E2%20%5C%5C%20%26%3D%202%20%20%5Cfrac%7B1%7D%7B2%7D(h_%5Ctheta%20-%20y)%20%20%5Cfrac%7B%5Cpartial%7D%7B%5Cpartial%20%5Cthetaj%7D(h%5Ctheta%20-%20y)%20%5C%5C%20%26%3D%20(h_%5Ctheta%20-%20y)%20%20%5Cfrac%7B%5Cpartial%7D%7B%5Cpartial%20%5Cthetaj%7D(%5Csum%5Climits%7Bj%3D0%7D%5E%7Bn%7D%20%5Ctheta_jxj%20-%20y)%20%5C%5C%20%26%3D%20(h%5Ctheta%20-%20y)x_j%20%5Cend%7Balign%7D)

样本x属于分类1的标准化概率
未来什么去预测三个一定样本属于贰个特定类的概率,转化三个函数形式,

由此,梯度下跌算法的更新准绳可改写为如下:

永利集团304com 14

永利集团304com 15%20-%20y%5E%7Bx_j%5E%7B%7D%20%5Cquad(for%20%5C%3B%20every%20%5C%3B%20j)%20%5C%5C%20%26%5Crbrace%20%5Cend%7Balign*%7D)

永利集团304com 16=log%5Cfrac%7Bp%7D%7B(1-p)%7D=z%7B%5Cto%7Dp=%5Cfrac%7B1%7D%7B1+e%5E%7B-z%7D%7D)

发表评论

电子邮件地址不会被公开。 必填项已用*标注