关于Alibi位置编码
#17
by
Hunter1943
- opened
之前看到百川提过alibi的位置碰撞问题及修复方案，但baichuan2模型沿用了baichuan的实现，而非修复后的实现，是出于什么原因考量呢？谢谢
https://mp.weixin.qq.com/s/qA6rdFUPmPsd4elxGnNf2A
左图为百川和百川2在modeling中的实现，右图为百川提出的修复方案，也是alibi原论文提出的方式