訓練一個 GPT 那樣的元天千億參數規模的大型語言模型需要多少錢和時間？北京智源人工智能研究院和中國科學院計算技術研究所等多所機構近日的一項研究發現可以用 10 萬美元在 26 天內訓練出一個有 1010 億參數的 LLM；不僅如此，他們還在這項研究中提出了一種用于評估 LLM 的個低智商（IQ）的基準，可基于事實性知識之外的成本參數四個新方面對 LLM 的智能水平進行更為全面的評估。該項目的千億模型已發布，代碼也將在未來開源。元天

包括僅解碼器結構（如 GPT 和 LLAMA 系列模型）、個低僅編碼器結構（如 BERT）和編碼器 - 解碼器結構（如 T5）以及它們的成本參數變體模型在內的大型語言模型（LLM）已經取得了非凡的成功，并已被廣泛用于各種語言處理和多模態任務。千億

盡管如此成功，元天訓練 LLM 的個低成本還是過于高昂，以至于僅有少數公司能承受其訓練成本。成本參數此外，千億當前的元天趨勢說明未來還會使用更大規模的訓練數據，這會進一步推升大模型的個低研發成本。舉個例子，成本參數LLAMA-1 訓練使用了 1-1.4 TB token，而 Llama 2 更是達到了 2 TB。

研發 LLM 的另一大關鍵性挑戰是評估。主流的評估方法分為兩類：知識評估（MMLU 和 C-Eval）和 NLP 任務評估。這些評估方法可能無法真實反映模型的能力，因為也許存在數據泄漏問題，即評估數據集中某些部分可能在模型訓練過程中已被使用。此外，面向知識的評估方法可能不足以評估智能水平。一種更為公平客觀的評估方法是測 LLM 的智商（IQ），即將 LLM 泛化用于未在訓練數據中見過的條件和上下文。

增長策略。為了解決訓練成本難題，北京智源人工智能研究院和中國科學院計算技術研究所等多所機構近日做出了一番嘗試 —— 首次通過增長策略（growth strategy）訓練千億參數級的 LLM。增長意味著訓練過程中參數的數量并不固定，而是會從更小的模型擴增成大型模型。

• 論文：https://arxiv.org/pdf/2309.03852.pdf

• 模型：https://huggingface.co/CofeAI/FLM-101B

圖 1 展示了增長策略的三種典型場景。由于 LLM 的 FLOPs 大致與其參數數量成正比，因此模型參數的變化曲線與 X 軸之間的面積便能表示訓練的計算成本。

圖 1 (a) 展示了沒有模型增長的標準訓練策略；1 (b) 是直線型的增長策略，其能節省 50% 的成本；1 (c) 是一種適量型的增長策略，其節省的成本不到 50%；1 (d) 則是一種激進型的增長策略，能節省超過 50% 的成本。這一分析說明，為了盡可能地節省計算成本，應當采用激進型增長策略。

這項新研究的增長算子的設計靈感來自論文《2x faster language model pre-training via masked structural growth》中的 MSG，這是一個完整的運算集，涵蓋 Transformer 結構的所有四個增長維度。更重要的是，MSG 能在增長的同時嚴格地保存功能。因此，雖然小模型可以通過較小的參數搜索空間快速學習，但其知識可以被后續更大的模型繼承。這讓增長策略有可能使用相同或更少的計算成本實現更好的性能。

開源的 FLM-101B 模型。智源研究院的研究者通過逐步增長訓練了一個有 1010 億參數的 LLM 模型，他們也表示會開源發布該模型。該模型的架構是 FreeLM 的一種演進版。因此，研究者將其命名為 FLM-101B，其中 F 表示 Free。

FreeLM 框架有兩個預訓練目標，分別由語言信號和教師信號引導。在這項新研究中，這兩個目標被統一到了一個通用語言建模范式中。

IQ 評估基準。除了低成本的訓練范式，該團隊還做出了另一項貢獻，即為 LLM 的智商（IQ）評估提出了一套系統性的基準。

之前已有研究表明：盡管困惑度（PPL）指標能在一定程度上反映生成文本的質量，但卻并不可靠。另一方面，LLM 的訓練數據規模非常龐大，以至于我們難以辨別模型究竟只是在引述知識數據，還是真的實現了類似人類的推理、分析和概括能力，而這些能力正是這項研究定義 IQ 的基礎。一些常用的評估指標（用于英語的 MMLU 和用于漢語的 C-Eval）明顯是面向知識的，無法全面反映模型的智能水平。

為了進行完整性檢查，該團隊進行了一項測試：來自世界知名大學的五名計算機科學研究者使用 C-Eval 的化學試題進行了考試。結果發現他們的準確度幾乎相當于隨機亂猜，因為大多數志愿者都已忘記曾學過的化學知識。因此，強調對專業知識的了解程度的評估基準其實不足以衡量模型的 IQ。

為了全面衡量 LLM 的 IQ，該團隊開發了一個 IQ 評估基準，其中考慮了智商的四個關鍵方面：符號映射、規則理解、模式挖掘和抗干擾。

• 語言本質上是符號的。已經有一些研究在使用符號而非類別標簽來評估 LLM 的智能水平。類似地，該團隊使用了一種符號映射方法來測試 LLM 在未曾見過的上下文上的泛化能力。?

• 人類智能的一大重要能力是理解給定的規則并采取相應的行動。這種測試方法已被廣泛用在各種等級的測驗中。因此，規則理解成為這里的第二項測試。?

• 模式挖掘涉及到歸納和演繹，也是智能的重要組成部分。這一方法在科學發展歷史中發揮了至關重要的作用。此外，各種競賽的測試題也往往需要這種能力才能解答。受此啟發，模式挖掘被選為第三個評估指標。?

• 最后一個也很重要的指標是抗干擾能力，這也是智能的核心能力之一。已有研究指出，語言和圖像都很容易被噪聲干擾?？紤]到這一點，該團隊把抗干擾用作了最后一個評估指標。

當然，這四個指標絕非 LLM IQ 評估的定案，但它們可作為一個起點，激勵后續的研究發展，并可望最終催生出一套全面的 LLM IQ 評估框架。?

這項研究的主要貢獻包括：?

• 研究者表示，這是首個使用增長策略從頭開始訓練超過千億參數的 LLM 研究嘗試。同時，這還是目前成本最低的千億參數模型，成本僅 10 萬美元。?

• 通過改進 FreeLM 訓練目標、有潛力的超參數搜索方法和功能保留型增長，這項研究解決了不穩定問題。研究者相信該方法也能為更廣大的科研社區提供助力。?

• 研究者也通過實驗比較了新模型與之前的強大模型，其中既使用了面向知識的基準，也使用了新提出的系統性 IQ 評估基準。實驗結果表明 FLM-101B 是一個有競爭力且穩健的模型。?

• 該團隊會發布模型檢查點、代碼、相關工具等，以推進千億參數規模的漢語和英語雙語 LLM 的研究開發。

FLM-101B 設計概況

從架構上看，FLM-101B 以 FreeLM 為骨干網絡，并集成了 xPos。在模型大小方面，得益于新的增長策略，研究者能在一次訓練中得到 16B、51B 和 101B 三種大小的模型。

至于預訓練設置，FLM-101B 繼承了 FreeLM 的訓練策略。

而在增長策略方面，不同于獨立訓練不同大小模型的常用實踐方法，該團隊可以依次訓練具有 16B、51B 和 101B 參數的三個模型，其中每個模型都會繼承其前一個較小模型的知識。

至于訓練硬件，則是使用了 24 臺 DGX-A800 GPU (8×80G) 服務器組成的集群；FLM-101B 的訓練時長不到 26 天更多并行策略和模型配置請參閱下表 1 和 2。

FLM-101B 的訓練穩定性

為了解決損失發散和梯度暴增等不穩定問題，研究者提出了一種頗具潛力的解決方案，簡述如下。

損失預測。新提出的實現訓練穩定的方法如下：

首先，在 FLM-16B 訓練開始之前先確定數據的分布。

接下來，對三個超參數進行網格搜索，包括學習率、初始化標準差和輸出層的 softmax 溫度。該網格搜索的執行是通過運行一個代理模型，其隱藏狀態維度（即模型寬度）為 256、頭數為 2，參數數量為 4000 萬。該代理模型的其它所有結構超參數和訓練數據與 FLM-16B 相同。在 6 個節點上使用數據并行時，一次運行網格搜索耗時為 24.6 小時，這大致表示：如果使用 24 節點的配置，那么運行一次需要 6 小時。

通過這種網格搜索，研究者找到了最優的超參數：學習率 = 4e-4、標準差 = 1.6e-2、softmax 溫度 = 2.0。

然后他們通過 μP 遷移這些超參數，能實現規避了不穩定問題的無縫訓練體驗。再組合使用 MSG，LM-51B 和 FLM-101B 也沒出現后續的增長發散問題。

圖 2 展示了完整的訓練損失曲線。

通過 Bfloat16 實現混合精度。使用混合精度的目的是節省運行時的內存和時間成本，這里他們選擇的是 Bfloat16。

基準評估

表 3 比較了 FLM-101B 與其它強大基準模型（LLAMA 系列模型和 GLM-130B）的性能表現。

研究者表示，這些結果說明 FLM-101B 在事實性知識方面并沒有任何優勢，而如果能使用更多訓練數據，那么其性能還會繼續提升。

表 4 展示了 eFLM-16B 與基準模型在專業知識評估方面的結果。

結果證明，在強調專業知識的數據集上的得分并不能反映 LLM 的智能水平，因為某些特定訓練數據可能具有壓倒性的貢獻。

表 5 給出了 FLM 模型每一階段的性能表現。

正如預期的那樣，FLM 的性能表現會隨模型增大而提升。FLM-101B 在幾乎所有任務上都表現最佳。這意味著該模型每一次增長后都會繼承前一階段的知識。

IQ 實驗

實驗中，為了對 LLM 的 IQ 進行更為系統性的評估，智源研究院的這個團隊使用了現有的 IQ 相關數據集并做了一些必要的修改，他們也生成了一些新的合成數據。

具體來說，他們提出的 IQ 評估主要考慮了四個方面：符號映射、規則理解、模式挖掘和抗干擾。這些任務有一個關鍵的共同點：它們全都依賴于在新的上下文中進行推理和泛化。

下面幾張表格展示了 IQ 實驗的結果：

從這些表格來看，在這四個 IQ 評估基準上，FLM-101B 憑借低得多的計算成本取得了與 GPT-3 媲美且優于 GLM-130B 的結果。

除了訓練數據的影響外，研究者推測這種優勢可能是由于早期階段的小模型細化了較小的搜索空間，當模型變得更大更寬，泛化能力增強時，這種優勢還在持續發揮作用。