札记

强化学习与一般机器学习损失函数的对比

写在最前,利用机器学习框架进行训练是,我们都需要定义损失函数,框架会自动通过梯度下降法,最小化损失函数。 因为梯度的方向,是函数变大的方向,所以我们会沿着负梯度方向优化。 [\theta := \theta - \alpha * g(\theta)] 其中:$g(\theta)$就是损失函数的梯度。 框架干的事情是固定的,所以想要达成不同的目的,就需要设计不同的损失函数。 交叉熵损失...

神经网络调优

神经网络优化 个人浅见,神经网络从20世界中期出现,到2000年以后的突然火爆,与硬件计算能力的提升密不可分。我们试图通过人工设计的算法,给机器更多的智能,神经网络担起了这一重要的任务。但是,神经网络虽然在图像语音和NLP等领域取得了一些成绩,离真正的智能却相去甚远。诺奖得主Thomas J. Sargent公开表示,现在所谓的人工智能,只不过就是统计学。可是究竟什么是智能,恐怕也没...

Trending Tags