goru.py 文件源码

def reset_parameters(self):
        """
        Initialize parameters  TO DO
        """
        init.uniform(self.thetaA, a=-0.1, b=0.1)
        init.uniform(self.thetaB, a=-0.1, b=0.1)
        init.uniform(self.U, a=-0.1, b=0.1)
        init.orthogonal(self.gate_U.data)

        gate_W_data = torch.eye(self.hidden_size)
        gate_W_data = gate_W_data.repeat(1, 2)
        self.gate_W.data.set_(gate_W_data)

        init.constant(self.bias.data, val=0)
        init.constant(self.gate_bias.data, val=0)