“真正的推理端剛剛開始” 訓(xùn)練算力成本仍占至少七成 大模型下半場何時爆發(fā)?
原創(chuàng)
2024-09-21 19:04 星期六
財聯(lián)社記者 付靜
①OpenAI o1系列大模型強(qiáng)調(diào)推理能力,業(yè)內(nèi)稱其發(fā)布將帶動推理算力的需求提升。
②現(xiàn)階段,AI算力需求主要增長動力仍來自訓(xùn)練,模型廠商算力成本中訓(xùn)練端占比至少7成。
③今年AI推理成本下探、效率提升,國內(nèi)外算力廠商已紛紛加入推理競賽。

財聯(lián)社9月21日訊(記者 付靜)“關(guān)于AI是否到達(dá)瓶頸以及進(jìn)展是否會放緩的爭論,其實已經(jīng)持續(xù)了一段時間。AI發(fā)展不僅沒有放緩,而且我們對未來幾年已經(jīng)勝券在握?!監(jiān)penAI創(chuàng)始人兼首席執(zhí)行官Sam Altman在近日的訪談中表示。

持續(xù)引領(lǐng)業(yè)界技術(shù)發(fā)展方向的OpenAI最新發(fā)布的o1系列大模型著重強(qiáng)調(diào)推理能力,引發(fā)模型推理端算力的關(guān)注度攀升。財聯(lián)社記者日前多方采訪業(yè)內(nèi)人士獲悉,o1的發(fā)布將帶動推理算力的需求進(jìn)一步提升,隨著大模型廣泛落地,推理算力有望高增。推理被視作大模型“下半場”,不過現(xiàn)階段來看,AI算力需求主要的增長動力仍來自于訓(xùn)練,模型廠商算力成本中訓(xùn)練端占比至少七成左右,真正的推理端或剛剛開始。

“真正的推理端剛剛開始”

“o1系列的數(shù)學(xué)推理能力、物理推理能力相比上一代的GPT-4o有非常明顯的進(jìn)步和提升空間。OpenAI引領(lǐng)著整個行業(yè)的發(fā)展趨勢,國內(nèi)AI大模型勢必也會跟進(jìn)這種推理能力提升趨勢?!靶”睂W(xué)AI”主理人張亮在接受財聯(lián)社記者采訪時表示。

據(jù)OpenAI官方說法,與之前的模型相比,o1系列可推理更復(fù)雜的任務(wù)。據(jù)悉,新模型采用強(qiáng)化學(xué)習(xí)方法,對于復(fù)雜的推理任務(wù)逐步思考和細(xì)化步驟從而產(chǎn)生思維鏈,最后提供過程+答案的回復(fù)。

國盛通信近日研報顯示,o1大模型的推出是對推理側(cè)需求的跨時代更新,在進(jìn)入規(guī)?;瘯r代后,“大力出奇跡”原則下對芯片數(shù)量、交換機(jī)數(shù)量、連接器數(shù)量等核心硬件數(shù)量的需求都有望指數(shù)級提升,新一輪的軍備競賽或?qū)㈤_啟,在強(qiáng)化學(xué)習(xí)對芯片的龐大需求下“萬卡”或僅是個入門選擇。

IDC中國分析師杜昀龍告訴財聯(lián)社記者,推理在未來幾年會占有大部分市場,與訓(xùn)練共存。

不過根據(jù)當(dāng)前大模型的發(fā)展進(jìn)度,一位服務(wù)器從業(yè)者態(tài)度相對較謹(jǐn)慎,他告訴財聯(lián)社記者,“其實從去年到現(xiàn)在,大部分時間是在解決訓(xùn)練的問題,解決有和無的問題。其實GPT的推理能力本來不是很好,隨著它(指OpenAI)訓(xùn)練路徑走通了,開始對推理進(jìn)行優(yōu)化。我覺得真正的推理端剛剛開始,國內(nèi)推理端沒有爆發(fā)起來,是因為從模型算法到應(yīng)用場景整體都沒有系統(tǒng)性地有效結(jié)合起來?!?/p>

從產(chǎn)業(yè)用于模型訓(xùn)練和推理的具體算力成本比例看,本月初騰訊云副總裁沙開波曾在接受財聯(lián)社在內(nèi)的媒體采訪時表示,“現(xiàn)在總體上應(yīng)該超過80%都還是以訓(xùn)練為主,隨著后面整個應(yīng)用的落地,推理的比重會逐漸去增加?!?/p>

一位市場分析人士亦告訴財聯(lián)社記者,“國內(nèi)訓(xùn)練和推理算力比例大概是4到5比1?!?/p>

據(jù)IDC此前預(yù)測數(shù)據(jù),云端推理占算力的比重將逐步提升,預(yù)計到2026年推理占62.2%,訓(xùn)練占37.8%。

不過杜昀龍告訴財聯(lián)社記者,“這是之前的預(yù)測數(shù)據(jù),最終以官方最新發(fā)布為主。”根據(jù)其實際了解到的產(chǎn)業(yè)當(dāng)下狀況:“從金額看,訓(xùn)練在70%以上,而推理不到30%。”

而今年上半年英偉達(dá)在其財報電話會議上曾披露,大模型推理場景已經(jīng)占了數(shù)據(jù)中心業(yè)務(wù)40%的營收比例。

對此前述市場分析人士坦言,“可能海外走得比較快,國內(nèi)實際應(yīng)用起來的不是很明顯,推理算力需求提升其實也沒有很明顯?!?/p>

推理成本下探 賽道持續(xù)升溫

財聯(lián)社記者在采訪中亦獲悉,今年AI推理成本逐步下探,推理效率也得到了提升。

“從目前推理的硬件來看,其成本是相對比較低廉的,而且效率并不低,功耗也不大。但是從大模型的應(yīng)用來說,推理面臨的挑戰(zhàn)是成本高?!倍抨例埜嬖V記者。

“推理成本在持續(xù)下降。今年相比于去年,在推理階段產(chǎn)生單位智能的成本基本上降了一個數(shù)量級,明年估計還會再有一個數(shù)量級的下降?!痹轮得鎰?chuàng)始人楊植麟在近日的一次分享中公開稱。

不過張亮也告訴財聯(lián)社記者,“國內(nèi)AI大模型廠商為了跑馬圈地,為了圈定AI開發(fā)者完成生態(tài)搭建,所以把價格打下來了。如果不去調(diào)用各個大模型平臺的API,而是自己訓(xùn)練,其實還會面臨GPU硬件成本高昂的問題?!?/p>

在推理側(cè),“一些業(yè)務(wù)場景的復(fù)雜和落地鏈路的延長,數(shù)據(jù)樣本量不足或缺乏標(biāo)準(zhǔn)化輸出等,都是客觀存在的問題?!睆埩镣瑫r向記者表示。

財聯(lián)社記者注意到,大模型應(yīng)用雖尚待落地,各算力硬件廠商已然瞄準(zhǔn)了推理這一賽道。

華為昇騰計算整機(jī)業(yè)務(wù)人士在近日的華為全聯(lián)接大會上稱:“AI應(yīng)用的爆發(fā)式增長,可能帶動AI推理算力需求激增至訓(xùn)練算力的百倍。未來,推理將成為AI產(chǎn)業(yè)的主戰(zhàn)場。”基于推理需求趨勢,神州數(shù)碼(000034.SZ)子公司神州鯤泰亦最新宣布,將基于與華為昇騰的合作打造昇騰能力中心。

“國產(chǎn)算力現(xiàn)在其實主要在做推理,在訓(xùn)練方面可能還在嘗試。”前述市場分析人士稱。近期,獨角獸燧原科技、壁仞科技先后啟動IPO,據(jù)媒體報道,騰訊此前推出的推理芯片“紫霄”正是由燧原科技合作開發(fā)。

與此同時,海外玩家中,AMD、美國獨角獸Cerebras Systems、韓國FuriosaAI紛紛加入AI推理競賽。而為降低對英偉達(dá)等外部芯片供應(yīng)商的依賴,Meta也下場自研推理芯片,其MTIA v2上半年已正式發(fā)布?!跋裎④?、OpenAI等都有親自去做AI算力芯片的想法,在供給側(cè)一定是有一個逐步提升增強(qiáng)的過程。”張亮稱。

收藏
110.98W
我要評論
歡迎您發(fā)表有價值的評論,發(fā)布廣告和不和諧的評論都將會被刪除,您的賬號將禁止評論。
發(fā)表評論
要聞
股市
關(guān)聯(lián)話題
4.22W 人關(guān)注
8781 人關(guān)注