ML/NLP中的一些术语/公式备忘录

CCG
combinatory categorial grammar
组合范畴语法

在数学中,误差函数(也称之为高斯误差函数,error function or Gauss error function)是一个非基本函数(即不是初等函数),其在概率论、统计学以及偏微分方程和半导体物理中都有广泛的应用。

自变量为x的误差函数定义为:(erf(x)=\frac{2}{\sqrt{\pi}}\int^{x}_{0}e^{-\eta^2}d\eta)

且有(erf(\infin)=1)和(erf(-x)=-erf(x))

互补误差函数(erfc(x))定义为:(erfc(x)=1-erf(x)=\frac{2}{\sqrt{\pi}}\int^{\infin}_{x}e^{-\eta^2}d\eta)

使用场景举例:

gelu激活函数/tf.math.erf

设(A,B\in\mathbb{C}^{m\times n}),且(A={a_{ij} }, B={b_{ij}}),称(m\times n)矩阵

(\begin{bmatrix} a_{11}b_{11}& a_{12}b_{12} & … & a_{1n}b_{1n}\ a_{21}b_{21}& a_{22}b_{22} & … & a_{2n}b_{2n}\ …& … & … & … \ a_{m1}b_{m1}& a_{m2}b_{m2} & … & a_{mn}b_{mn}\ \end{bmatrix})

为矩阵(A)与(B)的哈达玛积,记作(A\circ B)。

Heaviside function (赫维赛德函数)

赫维赛德函数:单位阶跃函数、阶跃函数、开关函数

(H(t)=\begin{cases} 0,&\text{t

vanilla

指标准的、常见的、原始提出的、未被魔改的事物。

例如vanilla Transformer、vanilla LSTM、vanilla SGD等

不定期更新中

Original: https://www.cnblogs.com/antelx/p/16833676.html
Author: Antel
Title: ML/NLP中的一些术语/公式备忘录

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/643329/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球