ALF

在 Auxiliary-Loss-Free（ALF）方法中，采用 来选择 expert。 correction bias 的学习可以改善负载均衡。但是在后续的 gated output 中，仍然采用原始 score 来加权。这就会自然引入一个问题：是否会因为某个 expert 相 …