港科大校董會主席沈向洋：通用大模型會越來越少，行業大模型會越來越多

本文來源：時代週報 作者：郭美婷

“講卡傷感情，沒卡沒感情。”11月17日電，今日上午，2024大灣區科學論壇開幕式和主論壇在廣州南沙國際會展中心主會場召開。香港科技大學校董會主席、美國國家工程院外籍院士、英國皇家工程院外籍院士沈向洋在會上笑談智能時代的機遇與挑戰。

香港科技大學校董會主席、美國國家工程院外籍院士 英國皇家工程院外籍院士沈向洋，圖源：主辦方供圖

“算力是關鍵，算力是生產力。”沈向洋表示，大模型數量爆發式增長的當下，GPU算力每年以4倍的速度增長，10年後預計將增長100萬倍。在這個過程中，英偉達成爲最大的贏家，去年該公司的下單量至少是15萬張。

作爲大模型發展的另一關鍵要素，數據也被沈向洋頻頻提及：“GPT3用了大概2萬億Token，到GPT4時，一開始講的是12萬億的數據，但是在不斷訓練中，我們預計大概是用了20T的數據……這基本是把互聯網上能公開搜到的數據都拿了下來，洗乾淨後的數據量。”

沈向洋表示，OpenAI希望訓練出GPT5，其中的難點就在於要使用更大的數據來訓練更有效的模型。他預測，若GPT5面世，其使用的數據量大概是200T，這其中可能加入了多模態或合成的數據。

“有意思的是，互聯網經歷了40年，大家將數據放到網上，最後好像就是爲了這樣一個‘ChatGPT的時刻’。”沈向洋笑言。

對於中國而言，AI大模型會沿着什麼樣的道路發展？

沈向洋認爲，第一層是發展通用大模型，需要至少萬卡甚至十萬卡的算力來做這件事。一旦有了這個通用大模型後，接下來發展的就是行業大模型。這樣的大模型只需幾千張算力卡，未來每家企業都要做自己的大模型，提高效率、增強產品，如同今天所有企業都要向數字化、智能化轉型一般。再下一層，就是個人大模型了。未來，PC、手機等都是大模型的重要載體。

“從國內的整體發展來看，是到7月底，中央網信辦批准的大模型大概有 200 個，其中只約有1/ 3是通用大模型，2/3是行業大模型。我預測未來通用大模型的數量會越來越少，佔比越來越小，而行業大模型數量會越來越多。”沈向洋表示。

他補充道，未來AI最大的超級應用就是AI智能體，即人類提出問題，AI就能解決掉。這個超級應用一直都存在，只不過在技術上尚未突破。

AI也將給人類社會GDP帶來巨大的增量。沈向洋表示，工業革命以前，人類社會GDP增長只有0.1%～0.2%，工業革命後增長到1%～2%，信息社會則到了3%～4%，而到了人工智能時代，AI智能體有望使人類社會的GDP增速變爲10%～20%。但在這樣的經濟增長下，人類仍要警惕AI對社會、公司和監管造成的衝擊，AI的治理刻不容緩。

“我們今天對人工智能的理解還是遠遠不夠的。大模型雖然被做出來，但確實不可理解、不魯棒（穩定）的，這讓人懷疑，現在一套體系是不是真的能走遠。人們認爲智能有限，似乎大模型出來之後，智能就出來了。”沈向洋提到，去年，他在香港科技大學組織了一批科學家，正在試圖解開AI涌現出來背後的數學原理的謎題。

本文源自：時代週報