超越華爲盤古千億模型，搜狗搜索再創中文語言理解評測CLUE世界第一
近日，搜狗搜索技術團隊在CLUE（中文語言理解測評基準）的任務比賽中，基於自研的中文預訓練模型擊敗了包括華爲盤古在內的一衆強勁對手，在CLUE總榜、分類總榜、閱讀理解榜再次獲得第一名，刷新業界記錄。
“BERTSG”爲搜狗搜索自研模型，“HUMAN”爲人類成績（不計入選手）
作爲中文語言理解領域最具權威性的測評基準之一，CLUE基於原始的中文文本語料共開設了8個方向的比賽，由文本相似度、分類、上下文推理、閱讀理解等共11個子任務組成。此前，搜狗搜索曾長期霸榜CLUE多個任務比賽冠軍寶座，但在今年4月遭遇到來自華爲、阿里達摩院等競爭對手的強勁挑戰，華爲更是利用其兩千億參數模型盤古一度取得領先。
就在近日，搜狗搜索技術團隊基於自研的中文預訓練模型，一舉超越華爲盤古，再度在CLUE總榜、分類總榜、閱讀理解榜獲得冠軍，展示了其在自然語義理解領域強大的技術創新實力和領先的AI算法能力。
據瞭解，搜狗搜索技術團隊近一年來在預訓練模型研發上加強投入，已完成從億級到百億級中文預訓練模的研發，目前正開展千億級中文預訓練模型及多模態預訓練模型的研發工作。搜狗搜索技術團隊自研的預訓練模型之所以能夠比參數量更大的華爲盤古在CLUE榜單取得更好的效果，主要是在訓練語料、模型結構、訓練方法三個方面進行了創新突破。
訓練語料方面，憑藉自身作爲第二大搜索引擎的基礎優勢，搜狗搜索技術團隊首先從萬億網頁中篩選出10T優質語料，依託搜狗搜索的內容理解技術、大規模聚類等系統，進而從10T優質語料中精選出2T最終語料，這樣在保證語料內容質量的同時，還可以確保內容的多樣性，從訓練語料上提升了模型的訓練效率和泛化能力。
模型結構方面，原始的BERT模型使用了Post-LN的結構，該結構的弊端是在訓練超大模型時，若沒有設置好warmup，會導致收斂效果變差。而搜狗的預訓練模型在結構上採用了Pre-LN的方式，大大提升了訓練效率。
而在訓練方法方面，搜狗搜索技術團隊做了兩方面的創新優化。第一，採用了cross thought預訓練方法，同時引入對比學習訓練方法，解決原始BERT模型學習出來的cls token向量存在各向異性的問題，大大增強預訓練模型的表徵能力，使得下游任務效果得到明顯提升。第二，加入了根據文章標題生成和段落順序預測兩個任務，進一步增強預訓練模型的文章理解能力。具體而言，在標題生成任務上，輸入一篇文章的內容和標題，並且對文章和標題都做詞語級別的mask操作，文章mask策略與Roberta-wwm採用的策略一樣，標題則mask超過80%的詞。而段落順序預測任務的目標是預測段落之間的上下文關係，在加入這兩種預測任務後，預訓練模型的效果得到明顯提升。
與此同時，此次搜狗搜索自研預訓練模型在CLUE總榜、分類總榜、閱讀理解榜再度獲得冠軍，也意味着搜狗搜索在自然語言預訓練、語義理解、長文本和短文本分類、閱讀理解、問答等領域皆持續處於業界領先水平，展現了其在NLP的超羣實力。在此之前，搜狗搜索還曾在國際閱讀理競賽CoQA等競賽中取得了冠軍的成績。
事實上，搜狗搜索之所以在NLP領域長期處於領先地位，與搜狗公司長期專注在自然語言處理領域進行深耕細作密不可分。作爲一家將AI作爲企業基因的公司，搜狗基於搜狗搜索、搜狗輸入法等核心產品，一直堅持其以語言爲核心的AI戰略，併成功進行了一系列AI技術創新和產品落地實踐。
據瞭解，搜狗自研的預訓練模型已在搜狗搜索產品中落地，大幅提升了用戶的搜索效率和體驗。此外，相關技術在語言翻譯、聊天機器人、知識圖譜等領域也具有廣泛的應用空間。