研究在8个模型中定位少数中层注意力头,验证其对文化身份绑定有因果作用。
推荐理由:2到3个中层注意力头能因果影响文化物品与身份的绑定,说明公平性问题并非只在输出层;可为更细粒度文化对齐提供干预位点。
阅读原文