定义
周期激活函数（Periodic Activation Functions）是指使用周期函数（特别是余弦函数作为激活函数）作为神经网络的激活函数，目前主要应用于对于针对各类输入信号进行隐式神经表示[1] 。
图 1 正弦函数的函数图像
前人经典的激活函数ReLu而言，考虑到Relu是分段线性的，二阶导为0，因此无法刻画信号的高阶导数的情况。相比较而言，使用正弦函数这样的周期函数的好处在于，正弦函数是处处可导的，并且存在高阶导数，进而能够被用于刻画信号的高阶导情况下的信息。
参考文献
[1] Sitzmann, Vincent et al. “Implicit Neural Representations with Periodic Activation Functions.” ArXiv abs/2006.09661 (2020): n. pag.
