-
【metric learning】Dense triplet loss
1. Input定义对于一个batch_siz为n， embedding特征长度为m的input，记为A:2. 计算距离矩阵对A进行elementwise square, 得到：然后对\(A^2\)按行做reduce sum, 得到：A乘上A的转置得：由等式（3）（4）得：等式（5）的计算结果即为我们要求的距离矩阵， 简单记为\(D\)：3. 计算Loss为了简单说明计算过程，我们假设Input的batch_size=6，而且有三个类别，其中： 类别0： \(x_0, x_1\) 类别...…
-
【数学基础】直观理解泰勒展开
1. 问题为了更好的理解分析这个世界，我们习惯把现实问题建模为数学问题。比如我们把简谐运动的某个特性模拟为正玄/余玄函数：图1-1然而，现实是非常复杂的，能用函数模拟的事物是有限的，即使能用函数模拟，大部分情况也是非常复杂的函数，当前人类的数学能力不能很完美的去处理这些复杂的数学公式。2. 局部模拟面对复杂的函数，硬上是肯定不行的，俗话说“退一步海阔天空”，于是我们想：我们可以只研究我们关心的函数特性，或者这我们只关注函数的一部分。假设，对于余玄函数：我们只关心其在(x=0)附近的性质，我...…
-
PaddlePaddle优化多机同步SGD训练(梯度量化)
多机训练的优化要求pserver支持更灵活的功能，梯度量化更新就是一个典型的例子。本文档内容包括： 多机训练面临的问题 什么是梯度量化 为什么梯度量化可以几乎无精度损失 梯度量化带来的收益 paddle pserver存在的问题及建议1. 问题对于数据并行的分布式同步SGD训练，我们会把每一个mini-batch分成多份，分别交给trainer做训练。假设\(z^{(i)}\)是第i个trainer的输入，根据\(z^{(i)}\)我们计算出梯度\(g^{(i)}\). pser...…
-
Policy Gradient RL by PaddlePaddle
转载请注明出处Policy Gradient RL by PaddlePaddle本文介绍了如何使用PaddlePaddle通过policy-based的强化学习方法来训练一个player（actor model）, 我们希望这个player可以完成简单的走阶梯任务。内容分为: 任务描述 模型 策略（目标函数） 算法（Gradient ascent） PaddlePaddle实现1. 任务描述假设有一个阶梯，连接A、B点，player从A点出发，每一步只能向前走一步或向后走一...…
-
Noise-contrastive estimation
转载请注明出处：http://wanghaoshuang.github.io/2017/11/Noise-contrastive-estimation0. 参考Noise-contrastive estimation: A new estimation principle for unnormalized statistical models1. 定义 Denote by \(X = (x_1,…,x_T)\) the observed data set, consisting of...…
-
Log uniform distribution sampler
转载请注明出处：http://wanghaoshuang.github.io/2017/11/Log-uniform-distribution-sampler1. Log uniform distribution in [0, range)我们希望在[0, range）范围内抽样整数，并且我们假设我们要抽的整数符合长尾分布。假设离散随机变量\(X\), 其概率分布为：为了得到\(X\), 我们再引入连续性随机变量\(X’\), 设\(X’\)的概率密度函数为：为了借助\(X’\)得到\...…