百度CTO王海峰：文心3.5模型效果提升50%，新增知識(shí)點(diǎn)增強(qiáng)技術(shù) 世界頭條

【資料圖】

7月6日晚間消息，2023世界人工智能大會(huì)期間，百度首席技術(shù)官王海峰發(fā)言指出，百度文心大模型現(xiàn)已升級為文心大模型3.5，已實(shí)現(xiàn)基礎(chǔ)模型升級、精調(diào)技術(shù)創(chuàng)新、知識(shí)點(diǎn)增強(qiáng)、邏輯推理增強(qiáng)等，模型效果提升50%，訓(xùn)練速度提升2倍，推理速度提升30倍。

據(jù)王海峰介紹，在基礎(chǔ)模型訓(xùn)練上，文心大模型3.5采用了飛槳自適應(yīng)混合并行訓(xùn)練技術(shù)及混合精度計(jì)算策略，并采用多種策略優(yōu)化數(shù)據(jù)源及數(shù)據(jù)分布，加快了模型迭代速度，顯著提升了模型效果和安全性，同時(shí)還創(chuàng)新了多類型多階段有監(jiān)督精調(diào)、多層次多粒度獎(jiǎng)勵(lì)模型、多損失函數(shù)混合優(yōu)化策略、雙飛輪結(jié)合的模型優(yōu)化等技術(shù)，進(jìn)一步提升模型效果及場景適配能力。

在知識(shí)增強(qiáng)和檢索增強(qiáng)基礎(chǔ)上，文心大模型3.5提出了“知識(shí)點(diǎn)增強(qiáng)技術(shù)”，對用戶輸入的查詢、問題等進(jìn)行分析理解，為大模型注入更具體、詳細(xì)、專業(yè)的知識(shí)點(diǎn)，顯著提升大模型對世界知識(shí)的掌握和運(yùn)用。此外，文心大模型3.5還新增了插件機(jī)制，目前文心一言已對外發(fā)布官方插件百度搜索和ChatFile。

關(guān)鍵詞：