就其運(yùn)營規(guī)模而言，TikTok 推薦系統(tǒng)被廣泛認(rèn)為是世界上最好的推薦系統(tǒng)之一。 它可以推薦視頻或廣告，甚至其他大型科技公司也無法競爭。 在 TikTok 這樣的平臺(tái)上進(jìn)行推薦很困難，因?yàn)橛?xùn)練數(shù)據(jù)是非平穩(wěn)的，用戶的興趣可能在幾分鐘內(nèi)發(fā)生變化，而且用戶、視頻和廣告的數(shù)量不斷變化。

社交媒體平臺(tái)上的推薦系統(tǒng)的預(yù)測性能在幾個(gè)小時(shí)內(nèi)就會(huì)惡化，因此需要盡可能頻繁地更新。 TikTok 構(gòu)建了一個(gè)流引擎，以確保模型以在線方式持續(xù)訓(xùn)練。 模型服務(wù)器生成模型的特征來推薦視頻，作為回報(bào)，用戶與推薦的項(xiàng)目進(jìn)行交互。 此反饋循環(huán)會(huì)產(chǎn)生立即發(fā)送到訓(xùn)練服務(wù)器的新訓(xùn)練樣本。 訓(xùn)練服務(wù)器保存模型的副本，模型參數(shù)在參數(shù)服務(wù)器中更新。 每分鐘，參數(shù)服務(wù)器都會(huì)將自身與生產(chǎn)模型同步。

推薦模型的大小為幾 TB，因此通過網(wǎng)絡(luò)同步如此大的模型非常慢。 這就是模型僅部分更新的原因。 非平穩(wěn)（概念漂移）的主要原因來自于嵌入表表示的稀疏變量（用戶、視頻、廣告等）。 當(dāng)用戶與推薦的項(xiàng)目交互時(shí)，僅與用戶和項(xiàng)目關(guān)聯(lián)的向量以及網(wǎng)絡(luò)上的一些權(quán)重得到更新。 因此，只有更新后的向量會(huì)以分鐘為單位進(jìn)行同步，而網(wǎng)絡(luò)權(quán)重會(huì)在較長的時(shí)間范圍內(nèi)進(jìn)行同步。

典型的推薦系統(tǒng)使用固定的嵌入表，并且稀疏變量的類別通過哈希函數(shù)分配給向量。 通常，哈希大小小于類別數(shù)，并且多個(gè)類別會(huì)分配給同一向量。 例如，多個(gè)用戶共享相同的向量。 這使我們能夠處理新用戶的冷啟動(dòng)問題，并且它對(duì)整個(gè)表將使用的最大內(nèi)存進(jìn)行了限制。 但這也往往會(huì)降低模型的性能，因?yàn)橛脩粜袨闀?huì)被混淆。 相反，TikTok 使用動(dòng)態(tài)嵌入大小，以便新用戶可以添加到他們自己的向量中。 他們使用無沖突哈希函數(shù)，因此每個(gè)用戶都可以獲得自己的向量。 低活動(dòng)用戶不會(huì)對(duì)模型性能產(chǎn)生太大影響，因此他們會(huì)動(dòng)態(tài)刪除那些低出現(xiàn)率的 ID 以及過時(shí)的 ID。 這使得嵌入表很小，同時(shí)保持了模型的質(zhì)量。

科技行業(yè)的每個(gè)人都在等待 TikTok 公布其推薦系統(tǒng)實(shí)施情況，以便從中學(xué)習(xí)。 我的猜測是，許多科技公司在 TikTok 論文發(fā)表時(shí)仔細(xì)研究了它，并開始實(shí)現(xiàn)自己的版本：“Monolith：具有無碰撞嵌入表的實(shí)時(shí)推薦系統(tǒng)”！ 您可以在他們的 GitHub 上找到開源版本：https://github.com/bytedance/monolith。

審核編輯：黃飛