免费AV无码色欲_av片在线观看免费_国产成精品在线观看_国产无码一区二区

大模型背景下,智能計算發(fā)展有哪些新態(tài)勢?


中國產(chǎn)業(yè)經(jīng)濟信息網(wǎng)   時間:2024-05-02





  當前,智能算力需求倍增,千卡計算集群成為大模型訓練標配,巨量參數(shù)、海量數(shù)據(jù)是人工智能大模型研發(fā)的必經(jīng)之路。以ChatGPT為代表的多模態(tài)AI大模型成為人工智能邁向通用智能的里程碑技術,2018年-2024年OpenAI公司先后發(fā)布GPT-3.5、GPT-4、Sora等大模型,參數(shù)規(guī)模突破萬億,模型訓練數(shù)據(jù)量達TB級別,應用場景覆蓋文生文、文生圖、文生視頻等多模態(tài)計算任務。參數(shù)規(guī)模在百億到千億區(qū)間、訓練數(shù)據(jù)TB級別以上,已成為研發(fā)具備涌現(xiàn)能力大模型的必備條件。


  2003年-2023年20年間智能算力需求增長百億倍,遠超摩爾定律提升速度。以ChatGPT為代表的人工智能大模型突破性進展激發(fā)全球智能計算發(fā)展熱潮,大模型算力需求遠超半導體增長速度,算力需求增長與芯片性能增長之間逐漸不匹配。根據(jù)公開數(shù)據(jù)測算,以AlexNet為代表的傳統(tǒng)卷積神經(jīng)網(wǎng)絡模型訓練計算量以5~7個月翻倍增長,當前基于Transformer的大模型計算量以4~5個月翻倍增長;然而芯片側(cè),CPU依舊延續(xù)摩爾定律以兩年性能翻倍的速度發(fā)展,GPU芯片通過架構創(chuàng)新持續(xù)強化并行計算能力,實現(xiàn)十年千倍增長速度(int8算力)?,F(xiàn)階段,業(yè)界通過算力堆疊以及芯片、軟件、互聯(lián)等協(xié)同技術系統(tǒng)性能提升以滿足大模型智能算力激增要求,千卡算力芯片構建的集群成為千億參數(shù)大模型訓練的標配。


  芯片、軟件、互聯(lián)等技術創(chuàng)新是算力提升關鍵


  多維度架構創(chuàng)新實現(xiàn)芯片性能倍增。與通用計算芯片不同,智能計算芯片微架構創(chuàng)新對其算力提升影響超過工藝制程。英偉達重視GPU微架構創(chuàng)新,2010年以來已累計實現(xiàn)9次架構升級,結(jié)合工藝升級實現(xiàn)了十年千倍的性能提升。最新Blackwell GPU架構內(nèi)置第二代Transformer引擎和專用RAS安全引擎,全面提升計算效率和部署穩(wěn)定性。第二代Transformer引擎支持微張量縮放和動態(tài)范圍管理算法,擴展支持新型FP6、FP4精度計算,實現(xiàn)自動調(diào)整精度以達到芯片最優(yōu)算力性能;RAS引擎基于人工智能的預防性維護技術完成芯片運行狀態(tài)的診斷,最大化延長系統(tǒng)運行時間和降低運營成本。


  深度學習框架和軟件棧間接口高效適配成為芯片好用的關鍵。深度學習框架在支撐應用開發(fā)的同時,需要完成與底層芯片軟件棧的高效適配。開發(fā)框架方面,提供分布式調(diào)度、訪存優(yōu)化、模型并行、數(shù)據(jù)并行等開發(fā)能力,支持分布式大模型高性能訓練與推理已成為框架高效應用的關鍵。PyTorch采用類Python語法降低使用門檻,動態(tài)計算圖設計思路便于靈活調(diào)試,加快模型的訓練和優(yōu)化過程,是當前算法應用開發(fā)的主力產(chǎn)品。軟件棧方面,重點強化大模型加速庫能力建設,通過向用戶提供易用、高效的芯片編程接口,提高開發(fā)人員的工作效率,目前已推出針對深度學習計算、優(yōu)化模型推理和加速科學計算、圖形計算的專用加速庫,滿足多樣化智能計算需求。


  高速互聯(lián)是大規(guī)模算力集群構建的基礎。芯片間、服務器間、集群間的高速互聯(lián)、無損網(wǎng)絡能力建設,是支撐千卡、萬卡智能算力集群計算需求的必備條件,英偉達新一代NVLink 5高帶寬互聯(lián)技術支持GPU間、GPU與Grace CPU直連,帶寬從H100的900Gb/s提升到1800Gb/s,與NVLink交換機聯(lián)合使用可最高支持576個GPU高速通信,是H100芯片最大直連數(shù)量的2倍,為支持萬億參數(shù)大模型訓練提供基礎。


  巨頭蜂擁智能計算賽道 寡頭壟斷與多體系并存


  計算核心企業(yè)加快智能計算產(chǎn)品端到端體系化布局,搶占產(chǎn)業(yè)生態(tài)主導權。英偉達鞏固GPU芯片性能優(yōu)勢的同時,向CPU、服務器架構、云平臺等下游滲透,借助B200、H100芯片和DGX SuperPOD計算集群主導地位開辟云服務DGX Cloud,使企業(yè)能夠立即訪問生成式AI應用和訓練模型所需的基礎設施與軟件。AMD強化“CPU+GPU”雙芯片戰(zhàn)略布局,CPU方面,通過改進分支預測、增加浮點支持指令等持續(xù)迭代升級芯片性能,GPU方面,發(fā)布基于CDNA 3架構的人工智能芯片MI300A和MI300X以搶占大模型算力市場份額。英特爾圍繞高性能計算優(yōu)勢領域,逐步向GPU、ASIC等面向人工智能技術路線的產(chǎn)品體系布局,推出Habana Gaudi 2、Xe GPU等產(chǎn)品。但從全球智能計算芯片市場的規(guī)模來看,英偉達主導地位明顯,市場占有率超80%,短期內(nèi)領先的市場格局不會改變。


  云平臺及AI企業(yè)向底層芯片領域滲透,但僅少量自研芯片實際部署應用。谷歌、微軟、亞馬遜等云廠商依托云計算優(yōu)勢向底層芯片領域滲透。谷歌自研張量處理器芯片TPU歷經(jīng)五代迭代創(chuàng)新,于2023年8月發(fā)布新一代定制TPU v5e用于大模型訓練和推理,目前已批量應用于自研LLaMA大模型訓練推理任務中。微軟于2023年11月發(fā)布Maia 100和Cobalt 100芯片,Maia 100專為Azure云生成式AI業(yè)務設計,提供自然語言處理、計算機視覺、推薦系統(tǒng)等計算服務,已在Bing和Office AI產(chǎn)品上完成測試;Cobalt 100是基于ARM架構的通用計算芯片,當前已為Microsoft Teams等應用提供支持;然而上述兩款芯片至今僅支持微軟自家云服務,尚未向合作伙伴和客戶開放芯片產(chǎn)品供應。微軟自研推理芯片Inferentia和訓練芯片Trainium,2023年4月更新的Inferentia 2芯片進一步提升計算性能,通過多卡高速互聯(lián)可完成千億參數(shù)大模型推理任務。但從實際應用來看,國內(nèi)外云廠商僅在有限的特定算法場景中使用自研芯片,對外提供的穩(wěn)定、可靠的高性能智能算力服務均基于英偉達加速卡產(chǎn)品實現(xiàn)。


  智能計算生態(tài)軟硬深度綁定發(fā)展


  計算企業(yè)均構建了與自研芯片相對應的端到端軟件棧。目前國內(nèi)企業(yè)均構建了與自研芯片相對應的端到端軟件棧(含驅(qū)動層、編譯器、加速庫、工具鏈等),存在兼容英偉達CUDA生態(tài)和自研軟件棧等技術路線。一方面,英特爾、AMD等企業(yè)在工具鏈API接口協(xié)議等方面與CUDA對應一致,便于把CUDA程序快速遷移到自研GPU硬件平臺,降低芯片應用門檻,滿足不同應用開發(fā)及調(diào)試需求。另一方面,谷歌自研TPU芯片應用時,自研軟件棧編譯器等工具,針對特定算法應用進行優(yōu)化,實現(xiàn)處理效率和性能的提升。


  國內(nèi)軟件生態(tài)豎井及碎片化發(fā)展,應用跨平臺遷移難度大、成本高?!翱蚣?工具鏈+硬件”緊密耦合的長鏈條,端到端緊耦合、接口互不兼容,致使上層應用與特定系統(tǒng)鎖定,是形成繁多豎井生態(tài)的根本性因素。對于應用開發(fā)者而言,應用開發(fā)人員在使用多芯片異構算力進行AI算法實現(xiàn)過程中,不同廠家開發(fā)的框架應用程序接口、編程庫和操作系統(tǒng)尚不統(tǒng)一,DSA架構專用芯片編程范式和軟件?;ゲ患嫒?,需在OpenCL、OpenACC、OpenMP等多種模型范式間切換。開發(fā)框架、軟件棧豎井式的開發(fā)生態(tài)增加了應用開發(fā)人員的開發(fā)成本,應用企業(yè)為開發(fā)出能夠適配多種異構AI芯片算力的算法程序,需建立多支開發(fā)團隊、維護多個程序版本,成為業(yè)界運用異構算力的主要瓶頸。


  轉(zhuǎn)自:人民郵電報

  【版權及免責聲明】凡本網(wǎng)所屬版權作品,轉(zhuǎn)載時須獲得授權并注明來源“中國產(chǎn)業(yè)經(jīng)濟信息網(wǎng)”,違者本網(wǎng)將保留追究其相關法律責任的權力。凡轉(zhuǎn)載文章及企業(yè)宣傳資訊,僅代表作者個人觀點,不代表本網(wǎng)觀點和立場。版權事宜請聯(lián)系:010-65363056。

延伸閱讀

?

版權所有:中國產(chǎn)業(yè)經(jīng)濟信息網(wǎng)京ICP備11041399號-2京公網(wǎng)安備11010502035964