【元宇宙之約】戴爾中國研究院首席科學(xué)家李三平:通用大模型不是戴爾的首選
原創(chuàng)
2023-06-01 14:54 星期四
財(cái)聯(lián)社記者 徐賜豪
①現(xiàn)在越來越多公司創(chuàng)建大模型,李三平認(rèn)為能否成功的關(guān)鍵是“是否擁有構(gòu)造高質(zhì)量數(shù)據(jù)集的能力”。
②戴爾對自己的定位是核心基礎(chǔ)架構(gòu)公司,通用大模型不是戴爾的首選,而是打造支撐數(shù)據(jù)密集、計(jì)算密集型人工智能應(yīng)用的高性能算力平臺,同時(shí)基于企業(yè)內(nèi)部的知識庫打造面向業(yè)務(wù)的語言模型。

財(cái)聯(lián)社6月1日訊(記者 徐賜豪) ChatGPT問世后,各大公司爭相開發(fā)大模型,但作為老牌科技公司的戴爾似乎沒有太多動靜。

本期《元宇宙之約》對話了戴爾科技集團(tuán)中國研究院首席科學(xué)家李三平。據(jù)李三平透露,戴爾對自己的定位是核心基礎(chǔ)架構(gòu)公司,通用大模型不是戴爾的首選,而是打造支撐數(shù)據(jù)密集、計(jì)算密集型人工智能應(yīng)用的高性能算力平臺,同時(shí)基于企業(yè)內(nèi)部的知識庫打造面向業(yè)務(wù)的語言模型。

現(xiàn)在越來越多公司創(chuàng)建大模型,李三平認(rèn)為能否成功的關(guān)鍵是“是否擁有構(gòu)造高質(zhì)量數(shù)據(jù)集的能力”。

大模型越來越強(qiáng)大后能否從技術(shù)的角度來規(guī)范管理大模型?李三平表示,技術(shù)算法上可以用強(qiáng)化學(xué)習(xí)讓大模型與人類對齊。

image

通用大模型不是戴爾的首選

目前還沒有看到戴爾發(fā)布自己的大模型,據(jù)您了解戴爾在大模型上持什么態(tài)度?

李三平:戴爾對自己的定位就是核心基礎(chǔ)架構(gòu)公司。其實(shí),我們有做大語言模型方面的研發(fā)工作:一是提供計(jì)算平臺來支撐大語言模型;二是戴爾會把機(jī)器學(xué)習(xí)或者人工智能技術(shù)用在自己的產(chǎn)品、服務(wù)和內(nèi)部工作流程當(dāng)中,比如用于優(yōu)化產(chǎn)品性能或者優(yōu)化客戶服務(wù)。

戴爾有像其他科技公司一樣開發(fā)通用大模型的計(jì)劃嗎?

李三平:現(xiàn)在大家都關(guān)注的通用大模型肯定不是戴爾的首選,像我們正在做的還是結(jié)合企業(yè)內(nèi)部自己的知識庫打造面向自己業(yè)務(wù)的語言模型。

ChatGPT的成功,對您會有什么啟發(fā)?

李三平:概率這種數(shù)學(xué)工具其實(shí)是對物理世界的一種近似表達(dá)或者近似建模。因?yàn)槲覀儾豢赡塬@得對整個(gè)物理世界的完整信息,所以基于我們所獲得的局部信息來進(jìn)行一種近似建模。

現(xiàn)在語言模型利用這樣的一些數(shù)學(xué)方法也能在自然語言理解上表現(xiàn)超出普通人的能力。說明概率建模能力超出了我們之前對它的理解。

也就是說,通過單純計(jì)算的方式我們也有能力表達(dá)對物理世界的理解。所以說語言模型就是一種智能發(fā)展形式。

高質(zhì)量的數(shù)據(jù)集是構(gòu)建好大模型的基礎(chǔ)

有人將互聯(lián)網(wǎng)、智能手機(jī)以及ChatGPT視作三次技術(shù)浪潮,怎么判斷大模型是真正的技術(shù)浪潮而不是偽浪潮?

李三平:現(xiàn)在還不太好判斷大模型是真的浪潮還是假的浪潮,畢竟它是一個(gè)新興技術(shù),初期大家肯定是對它期許特別高,媒體或者市場肯定會有過度炒作。我們其實(shí)要關(guān)心的是,這一輪泡沫之后,這個(gè)技術(shù)還剩下多少,是不是還在繼續(xù)扎扎實(shí)實(shí)的前進(jìn),還是說消失了。所以,我們需要時(shí)間來判斷真?zhèn)巍?/p>

其實(shí)就像之前的互聯(lián)網(wǎng)、智能手機(jī),也是經(jīng)過了若干年的發(fā)展,逐漸成熟到大家接受的技術(shù)突破。甚至人們慢慢的就會認(rèn)為,這是理所當(dāng)然的,不再把它們認(rèn)為是一種新興技術(shù)。這個(gè)時(shí)候也意味著,這個(gè)技術(shù)已經(jīng)完全成熟進(jìn)入到了我們的工作和生活中。

現(xiàn)在對大語言模型來說,它也需要這樣一個(gè)發(fā)展過程。

ChatGPT引發(fā)了新一輪的科技互聯(lián)網(wǎng)競賽,哪些是真正的在做事,哪些是炒作呢?

李三平:從技術(shù)方向來說,目前大模型大家都在探索當(dāng)中。說難聽一點(diǎn),大部分技術(shù)探索最后探索著也就沒了。因?yàn)槟莻€(gè)方向可能并不具備什么實(shí)際的意義或者這個(gè)問題本身并沒有那么大的價(jià)值。

國內(nèi)現(xiàn)在很多的科技公司宣稱要做大模型,但根本閉口不談實(shí)實(shí)在在的細(xì)節(jié)問題,而只說我把大模型做到多好,確實(shí)有炒作嫌疑。

數(shù)據(jù)的數(shù)量現(xiàn)在不是一個(gè)特別難的問題,因?yàn)樵诨ヂ?lián)網(wǎng)環(huán)境下,我們能搜集到非常多語料,而且也有很多機(jī)構(gòu)一直主動構(gòu)建各種各樣的語料庫。但數(shù)據(jù)質(zhì)量始終是一個(gè)難題。

我們?nèi)绾瓮ㄟ^技術(shù)方法獲得高質(zhì)量的數(shù)據(jù)集,這是最根本的基礎(chǔ)。如果沒有這個(gè)就不可能做出高性能的大語言模型。

數(shù)據(jù)質(zhì)量這個(gè)事情可能創(chuàng)新的東西不會太多,更多的是工程性的投入,你要是沒有足夠時(shí)間和人力投入,確實(shí)很難去解決。

與人類對齊訓(xùn)練讓大模型符合人的預(yù)期

ChatGPT出現(xiàn)后,很多知名企業(yè)家、人工智能領(lǐng)域的專家都說這是一場變革,您覺得它的出現(xiàn)對人工智能產(chǎn)業(yè)意味著什么?

李三平:大家都普遍認(rèn)同的一個(gè)觀點(diǎn)是,ChatGPT它屬于一種人機(jī)交互方式的變革,或者說人與技術(shù)交互方式的變革。

直接影響改變的是人類獲取信息的方式,給我們提供了能夠快速獲取跨領(lǐng)域知識的能力。那么我們個(gè)體能走多快、能走多遠(yuǎn),還是取決于自己的學(xué)習(xí)能力。

我覺得從技術(shù)角度來說,ChatGPT肯定會鼓勵(lì)整個(gè)社區(qū)繼續(xù)沿著大模型的路徑,就是利用大規(guī)模算法、基于海量的多元化數(shù)據(jù),然后通過機(jī)器自我學(xué)習(xí)的方式從數(shù)據(jù)中挖掘有價(jià)值的信息,從而產(chǎn)生更大的智能涌現(xiàn)。

未來的話存在更多不確定性。但是我們?nèi)绻刂@種大模型路徑繼續(xù)往前走,模型的性能越來越強(qiáng)隨即而來的就是對人工智能的監(jiān)管。因?yàn)榇竽P偷哪芰鸷芏鄵?dān)憂,說明這種技術(shù)本身確實(shí)有實(shí)力去造出更強(qiáng)大的東西,有可能被用來做好事情,也有可能被用來做不好的事情。

這種擔(dān)憂我們是否能從技術(shù)角度去規(guī)范它,讓GPT或者聊天機(jī)器人能符合人類的預(yù)期,避免失控?

李三平:大語言模型對語言的理解能力甚至可以超越人類,那么我們怎么能讓它表述的答案符合人類的一些價(jià)值觀,其實(shí)從技術(shù)的角度有一個(gè)專有名詞——與人類對齊,就是說去對齊人類的價(jià)值觀。

大語言模型有時(shí)候會生成一些人類根本不會使用的表達(dá)方式,并不符合我們的一個(gè)期望。其實(shí),OpenAI花了非常多人力和時(shí)間在做和人類對齊、和人類的期望對齊的事情。

技術(shù)算法上的解決方法就是強(qiáng)化學(xué)習(xí),讓模型去主動構(gòu)建很多人類期望的表達(dá)方式。比如設(shè)置一些問題,讓人類回答,也讓模型回答,最后人類來評分,讓大模型去強(qiáng)化學(xué)習(xí)那些評分高的答案,去學(xué)習(xí)人類的表達(dá)標(biāo)準(zhǔn)。可能語言模型仍然會產(chǎn)生很多答案,我們可以用強(qiáng)化學(xué)習(xí)過濾掉那些不符合人類期望的答案。

收藏
68.12W
我要評論
歡迎您發(fā)表有價(jià)值的評論,發(fā)布廣告和不和諧的評論都將會被刪除,您的賬號將禁止評論。
發(fā)表評論
要聞
股市
關(guān)聯(lián)話題
1.14W 人關(guān)注
1.36W 人關(guān)注
4.22W 人關(guān)注
1.3W 人關(guān)注