這段時間，一款名叫ChatGPT的人工智能聊天系統就像平地起春雷，突然刷爆網絡。

“從目前普遍的對話感受來看，ChatGPT的最大亮點就在于其優秀的意圖識別與語言理解能力，這令人意識到人工智能的交互能力已經實現了跨越式進展。”易觀智慧院高級分析師陳晨評價。

(資料圖片僅供參考)

有問必答，侃侃應對。這種神奇的人機互動體驗，勾起人們絞盡腦汁向ChatGPT提問的熱情，并為其帶來驚人的用戶量：該系統在兩個多月前由美國人工智能研究公司OpenAI推出，今年1月便已達到1億月活躍用戶，用戶增長速度堪稱史無前例。

這款產品大受歡迎，其重要幕后功臣是被業內稱為預訓練模型的技術。面對ChatGPT的爆火，國內科技機構和企業紛紛“亮劍”。據最新消息，中國版ChatGPT將于下個月與公眾見面。

參數規模從幾百萬狂飆至幾千億

“目前，預訓練技術是人工智能研究的重要突破口。”阿里研究院未來技術中心負責人蘇中解讀，傳統的研究方法中，標注成本一直是阻礙人工智能算法推向更大數據集合的障礙，而預訓練技術不依賴數據標注，就可以訓練出一個大規模深度學習模型。

科技日報記者了解到，由于不需要數據標注，預訓練模型往往可以使用更大的數據集，因而可以選擇更大的模型規模——這就催生了預訓練大模型。

“與以往的人工神經網絡相比，預訓練大模型最大的不同在于它規模足夠大，深度學習網絡的層數多、連接多、參數多。”IDEA研究院（粵港澳大灣區數字經濟研究院）認知計算與自然語言研究中心講席科學家張家興接受記者采訪時介紹，2012年前后的深度學習網絡只有幾百萬參數；2018年前后主流的預訓練模型達到1億參數；目前被證明非常有效的大規模預訓練模型已有幾千億參數，短短幾年時間提升了幾千倍。

量變引起質變。蘇中分析，在對預訓練模型各種不同的技術評測中，算法性能展示了一個規律：數據規模越大、預訓練模型參數越多，算法輸出精度往往也越高。

除了規模大以外，張家興談到，目前的預訓練大模型由于采用了新的結構模型，非常適合并行訓練。同時，在訓練方式上，人工神經網絡的預訓練任務類似“解題”，比如把一句話的某個詞或前半句去掉，讓預訓練模型利用海量大數據對句子進行恢復，這樣訓練下去，預訓練模型的“解題”能力就會越來越好。而且，在大語言模型的基礎上，引入指令學習，可以遠超模型微調帶來的收益。在此基礎上，人類的反饋可以幫助模型更好地理解人類意圖和接收信息，人機對話也就越來越流暢。

“ChatGPT在底層數據、核心技術、用戶體驗等各方面都可以說是里程碑式的人工智能產品。”曠視研究院基礎科研負責人張祥雨表示，ChatGPT的核心技術是人工智能語言大模型，其關鍵是如何讓人工智能模型具備邏輯推理能力，以及如何讓人工智能學習全互聯網的知識。這些ChatGPT基本都做到了，因此在決策和知識環節有了很大的突破。

國內多家科技機構已布局相關領域

據外媒報道，多家國外科技巨頭正重金投入預訓練模型和人工智能生成內容（AIGC）賽道。記者了解到，國內已有不少科技機構和企業布局相關領域。

張家興告訴記者，IDEA研究院認知計算與自然語言研究中心在此方向上布局已久，該中心擁有國內最大的開源模型體系——封神榜，已開源的98個模型正在全力支持中國AIGC的發展，探索研發適配各個領域的個性化可定制模型，支持全部自然語言處理（NLP）任務。

“很高興能在深度學習高速發展的第十年節點上，看到AIGC和ChatGPT的出現，今天所有這些自然語言處理任務正在被統一到ChatGPT模式下，我們也正在整合之前的模型和技術，推出我們的類ChatGPT模型。”張家興說。

記者從百度獲悉，百度已投入開發類似ChatGPT的相關技術，該項目名字確定為文心一言，英文名ERNIE Bot，3月份完成內測后面向公眾開放。目前，文心一言在做上線前的沖刺。

“ChatGPT主要涉及自然語言處理相關技術，屬于認知智能領域的應用之一，科大訊飛在該方向的技術和應用方面具備長期深厚的積累。”2月8日晚，科大訊飛在投資者互動平臺回應稱，公司已面向認知智能領域陸續開源了6大類、超過40個通用領域的系列中文預訓練語言模型，并于去年12月啟動生成式預訓練大模型任務攻關，人工智能學習機將成為該項技術率先落地的產品，今年5月將進行產品級發布。

此外，360公司2月7日在投資者互動平臺表示，該公司也計劃盡快推出類ChatGPT技術的原型版產品。“AIGC技術除了在搜索引擎的應用之外，還可以輔助數字安全能力的提升。”360公司稱。

來源：科技日報

作者：

責任編輯：馮崢

標簽： 人工智能 自然語言處理 科技機構