(資料圖)
7月7日,2023世界人工智能大會(WAIC)“大模型時代的通用人工智能產業(yè)發(fā)展機遇以及風險”主題論壇在上海西岸舉行。復旦大學MOSS系統(tǒng)負責人邱錫鵬在題為“大型語言模型MOSS:技術、實現(xiàn)與展望”主題演講中表示,大語言模型在學術界已出現(xiàn)多年,今年正式走進了公眾視野和人們的日常生活,給人工智能研究、從業(yè)者和人們的日常生活帶來了巨大的變革。但通用大模型依然在可信性、安全性、邏輯性等方面存在挑戰(zhàn)。
今年4月,復旦大學自然語言處理實驗室開發(fā)的新版MOSS模型正式上線,成為國內首個插件增強的開源對話語言模型,被行業(yè)稱為中國版ChatGPT。邱錫鵬在會上說,作為一個大語言模型,MOSS可執(zhí)行對話生成、編程、事實問答等系列任務。MOSS的開發(fā)步驟包括了自然語言模型的基座訓練、理解人類意圖的對話能力訓練兩個階段,和ChatGPT具有相近的通用語義理解能力,但在推理能力和事實類知識方面仍有一定差距,目前MOSS系列在中文語義理解方面取得很大進步,未來將通過擴大模型規(guī)模和使用工具來進一步縮小差距。
據(jù)介紹,上線以來,MOSS系統(tǒng)正在日夜迭代優(yōu)化,目前MOSS團隊正在通過參與大型語言模型生態(tài)建設,并在未來實現(xiàn)對話模型、模型微調、AIGT檢測、模型對比和模型評測集一體的開源開放平臺。
邱錫鵬說,通用大模型不僅僅是工程問題,除算力需求大外,目前依然在可信性、安全性、邏輯性等方面存在很多挑戰(zhàn),需要高校研究團隊進行重大科研攻關,解決智能涌現(xiàn)、復雜推理、高效架構、知識融合、學習策略等科學問題,為通用大模型的落地提供理論和技術支撐。MOSS近期的研究重點是如何理解復雜任務并進行任務分解后調用不同工具來完成任務。