深度学习激活函数TensorFlow版本

output=tf.nn.sigmoid(input,name='sigmoid')

output=tf.nn.softmax(input,axis=axis,name='softmax')

output=tf.nn.tanh(input,name='tanh')

output=tf.nn.relu(input,name='relu')

output=tf.nn.leaky_relu(input,alpha=a,name='leaky_relu')
# a是自定义的值 默认为0.2

# input表示待激活的张量
def prelu(inp,name):
  with tf.variable_scope(name,reuse=tf.AUTO_REUSE) as scope:
    # 根据输入数据的最后一个维度来定义参数性状特征
    # 对于卷积即通道数，对于全连接即特征数
    alpha=tf.get_variable('alpha',inp.get_shape()[-1],initializer=tf.constant_initializer(0.0),dtype=tf.float32)
    # 得到负半轴为0，正半轴不变额激活结果
    pos=tf.nn.relu(inp)
    # 得到正半轴为0 负半轴为ax的激活结构
    neg=alpha*(inp-abs(inp))*0.5
    # 将两部分激活结果相加
    return pos+neg 

def rrelu(inp,is_training,name):
  with tf.variable_scope(name) as scope:
    # 定义a值额范围
    u=1
    l=0
    # 从均匀分布中随机选取a值
    rand_a=tf.Variable(tf.random_uniform(tf.shape(inp),minval=1,maxval=u))
    # 若is_training=True,则使用随机生成的rand_a
    # 反知相反
    alpha=tf.cond(tf.case(is_training,tf.bool),lambda: rand_a, lambda: tf.Variable((u+1)/2.0,dtype=tf.float32))
    pos=tf.nn.relu(inp)
    neg=alpha*(inp-abs(inp))*0.5
    return pos+neg

output=tf.nn.relu6(input,name='relu6')

output=tf.nn.elu(input,name='elu')

output=tf.nn.swish(input,name='swish')

def mish(inp,name):
  with tf.variable_scope(name) as scope:
  output=inp*tf.nn.tanh(tf.nn.softplus(inp))
  return output