3月11日,由中國人工智能學(xué)會(huì)(CAAI)主辦,CAAI自然語言理解專委會(huì)、達(dá)觀數(shù)據(jù)、真格基金承辦,中國信通院云計(jì)算與大數(shù)據(jù)研究所支持的“ChatGPT及大模型專題研討會(huì)”在北京圓滿落幕。大會(huì)圍繞ChatGPT和大規(guī)模語言模型的發(fā)展應(yīng)用,聚集眾多人工智能專家學(xué)者,共同探討前沿技術(shù)及產(chǎn)業(yè)未來,呈現(xiàn)了一場(chǎng)精彩的思想交流盛宴。研討會(huì)通過五大平臺(tái)實(shí)時(shí)線上直播,共吸引線下線上十余萬觀眾收看。
CAAI副監(jiān)事長(zhǎng)、清華大學(xué)教授馬少平在致辭中表示,中國人工智能學(xué)會(huì)希望同業(yè)界專家和產(chǎn)業(yè)界伙伴深入研討,把握時(shí)代脈搏,通過持續(xù)創(chuàng)新投入,共同促進(jìn)中國大規(guī)模語言模型產(chǎn)業(yè)可持續(xù)發(fā)展。
中國信通院云計(jì)算與大數(shù)據(jù)研究所所長(zhǎng)何寶宏致辭認(rèn)為,ChatGPT帶來了人工智能技術(shù)和應(yīng)用的新一輪發(fā)展熱潮,雖然它離通用人工智能的距離還非常遙遠(yuǎn),但我們應(yīng)充分認(rèn)識(shí)到借助人工智能技術(shù)進(jìn)行分析、理解、生成的道路是正確的。這對(duì)于中國乃至全球人工智能企業(yè)而言,既是機(jī)遇也是挑戰(zhàn),希望各方一起攜手并進(jìn)、共同助力人工智能產(chǎn)業(yè)的發(fā)展。
演講環(huán)節(jié),復(fù)旦大學(xué)計(jì)算機(jī)學(xué)院教授、MOSS系統(tǒng)負(fù)責(zé)人邱錫鵬,中國科學(xué)院自動(dòng)化研究所研究員張家俊,CCF自然語言處理專委會(huì)秘書長(zhǎng)、北大教授萬小軍,達(dá)觀數(shù)據(jù)董事長(zhǎng)兼CEO、復(fù)旦大學(xué)計(jì)算機(jī)博士陳運(yùn)文,新浪新技術(shù)研發(fā)負(fù)責(zé)人、CIPS理事張俊林等多位人工智能領(lǐng)域?qū)<遥瑥腃hatGPT及大規(guī)模語言模型的學(xué)術(shù)發(fā)展、應(yīng)用落地與前景展望三大維度進(jìn)行了分享。
復(fù)旦大學(xué)計(jì)算機(jī)學(xué)院教授、MOSS系統(tǒng)負(fù)責(zé)人邱錫鵬認(rèn)為,在未來幾年內(nèi),ChatGPT不光是以目前Chat的形式,它背后的大型語言模型可能以其他更廣泛的形式融入到我們的生活中。邱錫鵬教授在演講中介紹了ChatGPT的三個(gè)關(guān)鍵技術(shù):情景學(xué)習(xí),思維鏈和指令學(xué)習(xí)。他認(rèn)為雖然ChatGPT本身還有很多不足,比如當(dāng)前形式是語言模型、并不可控、和現(xiàn)實(shí)世界沒有關(guān)聯(lián)等,但是它為通用人工智能給出了清晰的研究發(fā)展方向,在此過程中非常重要的是保持模型的可信、有助、無害、誠實(shí)。
中國科學(xué)院自動(dòng)化研究所研究員張家俊以ChatGPT中的提示與指令學(xué)習(xí)為題,從ChatGPT簡(jiǎn)要技術(shù)回顧、邁向通用性的提示學(xué)習(xí)、從提示學(xué)習(xí)到指令學(xué)習(xí)、相關(guān)探索與學(xué)習(xí)等角度和在場(chǎng)聽眾展開技術(shù)分享。大模型主要有兩個(gè)方向,一個(gè)是“預(yù)訓(xùn)練+參數(shù)微調(diào)”,就是大模型有了之后針對(duì)下游任務(wù)進(jìn)行微調(diào),然后得到一個(gè)面向下游任務(wù)的大的模型,二是“預(yù)訓(xùn)練+提示學(xué)習(xí)”,預(yù)訓(xùn)練之后不變,用提示學(xué)習(xí)激發(fā)大模型來完成特定的任務(wù)。相關(guān)實(shí)踐證明,學(xué)習(xí)提示對(duì)于模型性能提升非常有效,怎樣學(xué)到或者找到提示語非常關(guān)鍵。
CCF自然語言處理專委會(huì)秘書長(zhǎng)、北大教授萬小軍就自然語言生成評(píng)價(jià)的若干問題展開分享。他認(rèn)為評(píng)價(jià)是指引技術(shù)發(fā)展的燈塔,也可以作為模型優(yōu)化目標(biāo)。當(dāng)前業(yè)界NLG生成人工評(píng)價(jià)與自動(dòng)評(píng)價(jià)在公平性、可重復(fù)性、低成本這些指標(biāo)上都面臨一些問題。利用ChatGPT做NLG的自動(dòng)評(píng)價(jià),在實(shí)驗(yàn)中很多指標(biāo)上都高于以前模型的結(jié)果,也為自動(dòng)評(píng)價(jià)帶來了好的可能性。
達(dá)觀數(shù)據(jù)董事長(zhǎng)兼CEO、復(fù)旦大學(xué)計(jì)算機(jī)博士陳運(yùn)文以探索大語言模型的垂直化訓(xùn)練技術(shù)和應(yīng)用為主題,細(xì)致分享了達(dá)觀數(shù)據(jù)在垂直領(lǐng)域的語言模型方面的工程化探索,包括:參數(shù)規(guī)模和數(shù)據(jù)規(guī)模的探索、垂直領(lǐng)域適應(yīng)預(yù)訓(xùn)練、微調(diào)技術(shù)探索、提示工程和垂直優(yōu)化、模型訓(xùn)練加速思路、模型功能的垂直效能增強(qiáng)等。他認(rèn)為深化大模型在垂直領(lǐng)域的應(yīng)用,真正把大模型融入到企業(yè)的實(shí)際業(yè)務(wù)中,對(duì)于商業(yè)化和大語言模型研究都具有重要意義。達(dá)觀數(shù)據(jù)正在研發(fā)的垂直領(lǐng)域模型名叫“曹植”,引自曹植七步成詩的典故,希望它作為垂直、專用、國產(chǎn)的GPT模型,未來在各行各業(yè)里落地應(yīng)用,為每個(gè)行業(yè)賦能。
新浪新技術(shù)研發(fā)負(fù)責(zé)人、CIPS理事張俊林針對(duì)圍繞大語言模型“涌現(xiàn)能力”的部分質(zhì)疑展開解析。一個(gè)復(fù)雜系統(tǒng)是由很多微小個(gè)體構(gòu)成的,這些微小個(gè)體湊到一起,如果數(shù)量足夠多的時(shí)候,在宏觀層面上出現(xiàn)微觀個(gè)體無法解釋的特殊現(xiàn)象,這就是所謂的“涌現(xiàn)現(xiàn)象”。張俊林認(rèn)為,基于當(dāng)前研究進(jìn)展,大規(guī)模語言模型的涌現(xiàn)能力確實(shí)存在,這也賦予我們對(duì)大模型的未來發(fā)展一個(gè)樂觀的預(yù)期。涌現(xiàn)能力的存在意味著只要不斷的推高大模型規(guī)模,到達(dá)某個(gè)階段后很多任務(wù)效果會(huì)得到突然提升。
在圓桌對(duì)話環(huán)節(jié),CAAI副監(jiān)事長(zhǎng)、清華大學(xué)教授馬少平,瀾舟科技創(chuàng)始人兼CEO、中國計(jì)算機(jī)學(xué)會(huì)CCF副理事長(zhǎng)周明,中國科學(xué)院自動(dòng)化研究所研究員宗成慶,真格基金管理合伙人戴雨森,華為人工智能科學(xué)家、北京郵電大學(xué)博士楊浩,中國信通院云計(jì)算與大數(shù)據(jù)研究所人工智能部副主任曹峰圍繞“國產(chǎn)‘ChatGPT’和大模型研究現(xiàn)狀與未來發(fā)展”的主題展開了深度探討和交流,現(xiàn)場(chǎng)氛圍熱烈。
專家們?cè)谟懻撝袑?duì)于“國產(chǎn)‘ChatGPT’和大模型的發(fā)展方向”達(dá)成共識(shí):自然語言處理這一方向比起其他領(lǐng)域,跟海外先進(jìn)企業(yè)的差距要小很多。要平視OpenAI而非神話它,我們面臨的是一個(gè)代溝,但不是跨越不了的鴻溝,在追趕到超越的過程中需要給國產(chǎn)模型一些時(shí)間。在技術(shù)與落地層面,與會(huì)專家們認(rèn)為,ChatGPT帶動(dòng)了自然語言處理整體上下游以及芯片的思考和發(fā)展,某種程度上大模型可能將成為下一代的基礎(chǔ)設(shè)施,中國需要有自己的基礎(chǔ)模型體系,來保證安全性、并發(fā)性、穩(wěn)定性等問題。投資界、學(xué)術(shù)界、產(chǎn)業(yè)界要沉住氣,遠(yuǎn)離概念炒作,扎扎實(shí)實(shí)做出成績(jī)。