**批再标准化** 对普通批标准化的最新改进是**批再标准化** （batch renormalization），由 Ioffe 于 2017 年提出7 。与批标准化相比，它具有明显的优势，且代价没有明显增加。 **自标准化神经网络** （self-normalizing neural network）： * 它使用特殊的激活函数（`selu` ）和特殊的初始化器（`lecun_normal` ），能够让数据通过任何 `Dense` 层之后保持数据标准化。这种方案虽然非常有趣，但目前仅限于密集连接网络，其有效性尚未得到大规模重复。