(資料圖片僅供參考)

據報道，谷歌上周發布的最新大語言模型使用的訓練數據，幾乎是2022年的上一代模型的5倍。得益于此，該模型在編程、數學和創意寫作方面的表現更為優秀。谷歌是在其I/O開發者大會上發布最新通用大語言模型PaLM2的。內部文件顯示，該模型采用了3.6萬億個令牌（token）進行訓練。令牌指的是單詞串，這是訓練大語言模型的重要基礎，因為這可以教給模型如何預測字符串中可能出現的下一個單詞。之前版本的PaLM發布于2022年，當時使用的令牌為7800億個。雖然谷歌很希望展示其人工智能技術的實力，以及嵌入搜索、電子郵件、字處理和電子表格后的效果，但該公司卻不愿發布其訓練數據的規模和其他細節。微軟支持的OpenAI也對其最新的GPT-4大語言模型的細節信息保密。

標簽：