因為和蘇神做過一段時間同事，所以2021年就知道RoPE了，當時也沒太在意，因為位置編碼是在為transformer類模型提供位置信息，在我實際實驗中不同位置編碼對最終效果差別很小。

2023年LLM大爆發，facebook開源了LLAMA模型，并且采用了RoPE，我也第一時間用上了LLAMA，那會感覺RoPE有點東西，但是還是心理覺得位置編碼沒那么重要。

直到最近fb發了一篇文章《EXTENDING CONTEXT WINDOW OF LARGE LANGUAGE MODELS VIA POSITION INTERPOLATION》通過線性插值+少量微調的方式將LLAMA原始2k的模型輕松拓展到了32k，這時候我感覺到RoPE的強大之處。

進NLP群—>加入NLP交流群

通過線性插值RoPE擴張LLAMA context長度最早其實是在llamacpp項目中被人發現，有人在推理的時候直接通過線性插值將LLAMA由2k拓展到4k，性能沒有下降，引起了很多人關注。fb的論文給這個發現提供了理論和實驗支撐，進一步發現通過線性插值+微調可以擴展到32k長度。實現非常簡單，只需要對位置編碼進行線性插值，初始化的時候增加幾行代碼就行：

defRotaryEmbedding(torch.nn.Module):
def__init__(self,dim,max_position_embeddings=2048,base=10000,device=None):
super().__init__()
inv_freq=1.0/(base**(torch.arange(0,dim,2).float().to(device)/dim))
self.register_buffer("inv_freq",inv_freq)

max_position_embeddings=8192

#Buildheretomake`torch.jit.trace`work.
self.max_seq_len_cached=max_position_embeddings
t=torch.arange(
self.max_seq_len_cached,
device=self.inv_freq.device,
dtype=self.inv_freq.dtype,
)

self.scale=1/4
t*=self.scale

freqs=torch.einsum("i,j->ij",t,self.inv_freq)
#Differentfrompaper,butitusesadifferentpermutationinordertoobtainthesamecalculation
emb=torch.cat((freqs,freqs),dim=-1)
self.register_buffer(
"cos_cached",emb.cos()[None,None,:,:],persistent=False
)
self.register_buffer(
"sin_cached",emb.sin()[None,None,:,:],persistent=False
)

這兩天reddit上又出現了ntk RoPE，通過引入新的插值的scale，來擴展context，甚至微調都不需要！讓人震撼。實現也是極其簡單：

importtransformers

old_init=transformers.models.llama.modeling_llama.LlamaRotaryEmbedding.__init__
defntk_scaled_init(self,dim,max_position_embeddings=2048,base=10000,device=None):

#Themethodisjustthesethreelines
max_position_embeddings=16384
a=8#Alphavalue
base=base*a**(dim/(dim-2))#Basechangeformula

old_init(self,dim,max_position_embeddings,base,device)


transformers.models.llama.modeling_llama.LlamaRotaryEmbedding.__init__=ntk_scaled_init

具體解釋可以參考蘇神自己寫的文章^[1]。

為什么說RoPE會成為LLM時代的Resnet，首先是兩者解決的問題有相似性。

Resnet解決了卷積模型變深之后梯度消失的問題，使的深度模型大放光彩。

RoPE類似的也解決了LLM context過長之后引起的上下文無法關聯問題。

兩者都有結構簡單，方法有效的優點，這個在工程上有極大的優勢，個人預感RoPE將會被大規模采用。如同當年Resnet一樣。