資料內容：
3.1.3 多模態(tài)大模型
多模態(tài)大模型的發(fā)展從OpenAI的CLIP(文本圖像匹配)，以及Dall·E（文生圖）拉開帷幕，目前跨多個
模態(tài)的數據融合問題開始變成行業(yè)探究的重點。多模態(tài)是指多個模態(tài)感知與認知的融合。對于人類來
說，所有感知交互方式的融合形成了社會交流；對于計算機來說，是通過對文本、圖片、視頻和音頻等
不同儲存信息載體的認知和理解，結合環(huán)境因素來模擬人與人之間的交互方式。多模態(tài)技術的重要性
不言而喻，讓人工智能理解人類世界的最優(yōu)辦法就是讓AI成功理解多模態(tài)信息并能夠對此類信息形
成分析、推理的邏輯和生成新信息的能力。
近年來，大模型技術發(fā)展推動多模態(tài)模型不斷升級迭代。首先，預訓練大模型賦能多模態(tài)機器學習的
廣度和深度，例如通用性AI大模型M6，十萬億級的參數持續(xù)提高模型上限，賦能模型應用的通用性，進
而拓寬大模型應用廣度，覆蓋電商、智能交互等業(yè)務場景。同時，多模態(tài)預訓練模型mPLUG榮登全球
權威“機器視覺問答榜單”（VQA Challenge 2021）榜首，并超越了人類平均水平。此外，多模態(tài)大模型
能夠實現(xiàn)圖像、文本、語音等模態(tài)之間的統(tǒng)一表示和相互生成。例如，百度文心ERNIE-ViLG 2.0文生圖
大模型在公開權威評測集 MS-COCO 和人工盲評中效果位于前列，在語義可控性、圖像清晰度、中國
文化理解等方面均展現(xiàn)出優(yōu)勢，初步實現(xiàn)在多個場景的商業(yè)應用。
我們看到，頭部廠商在多模態(tài)大模型領域持續(xù)布局，注重模型整體通用性的同時不斷提升子領域的優(yōu)
化體驗和技術升級。未來，基于技術的不斷突破，多模態(tài)將持續(xù)拓展各行業(yè)場景下的信息融合應用。
3.1.4科學計算大模型
科學計算領域近年來發(fā)展態(tài)勢向好，持續(xù)推進技術突破。科學計算指的是通過計算機高效率完成再
現(xiàn)、預測和發(fā)現(xiàn)客觀世界運動規(guī)律及演化特征的全過程，即出于解決科學和工程中的復雜數學問題的
目標，優(yōu)化計算機性能以完成數值計算。
近年來“AI+科學計算”（科學智能）也在引發(fā)科研方式的大變革，如生物制藥、氣象預報、地震探測、材
料 研 發(fā)等 科 研 領 域，大 模 型技 術 同 樣 也在 這 些 領 域帶 來 巨 大 的 突 破 ?？?學 計 算 的 子 領 域 生 物計 算
（Bio-computing），即基于生物學固有理論信息和大量的生物學實驗結果及研究分析開發(fā)的解決生
物學問題的計算模型，正是走在前列的科研方向。2021年以來，生物計算領域持續(xù)突破。例如，Deep
Mind推出的AlphaFold2能夠覆蓋98.5%的人類蛋白質組，并對20種其他生物蛋白質的結構進行預
測；同時，該公司與EMBL-EBI（歐洲分子生物學實驗室）合作，推出蛋白質結構數據庫以儲備和匹配蛋
白質3D結構圖像。各大企業(yè)自此之后紛紛提出AI for Science的概念，著手利用人工智能技術加快重
點科學技術研發(fā)與突破。目前，國內市場活躍產品有頭部廠商打造的通用大模型，融合自監(jiān)督和多任
— 14 —隨著數據量的高速增長，數據特征高維、模態(tài)格式多樣的趨勢也逐漸明顯，對數據的AI建模也相應地
更加復雜，涉及到研究對象的多變量維度，如時間、空間維度，計算復雜度會隨之呈指數增加，數據標
注難度也會增加。同時，海量的數據將不可避免帶來更大的數據噪聲問題、數據偏見風險，為模型如何
有效利用好數據、學習其中的知識帶來更大挑戰(zhàn)。
數據是產業(yè)智能化發(fā)展中最寶貴的資源。海量的數據，為人工智能自監(jiān)督學習帶來巨大助力。利用好
爆發(fā)增長的海量數據，將會是企業(yè)充分挖掘數據紅利、構建數字經濟下競爭壁壘的重要抓手。
應用場景多元化和復雜化，增加了模型生產的難度
隨著AI技術的發(fā)展、產業(yè)應用的深入，應用場景變得更多元、更復雜。例如：工業(yè)場景下，有工業(yè)質檢、
安全巡檢等應用，質檢中不同產線生產的零部件千差萬別；智能辦公場景下，文檔的分類、文檔OCR識
別、文檔知識抽取、文檔審校也都是不同的任務類型。解決一個場景的問題，往往需要多個任務的深度
融合，涉及多任務統(tǒng)一建模等問題，因而對算法提出了更高的挑戰(zhàn)。按照現(xiàn)在主流的算法應用，這意味
著技術廠商需要針對不同場景、不同任務生產大量的算法或模型。一方面這將會導致重復性工作量加
大，另一方面也對開發(fā)人員的算法能力和業(yè)務理解有更高的要求。隨著智能化轉型的需求增加，AI開
發(fā)門檻和研發(fā)效率問題凸顯。
應用復雜度攀升，算力承壓持續(xù)增加
算力是AI發(fā)展的基礎設施，是通過對信息數據進行處理，實現(xiàn)目標結果輸出的計算能力。除了要求提
升計算能力，技術的發(fā)展對于軟硬件也提出了新的要求。目前整體市場發(fā)展還不及預期，具體來說，硬
件方面需要針對不同的場景和高性能計算能力進行拓展融合，滿足研發(fā)企業(yè)的多芯部署、分布式優(yōu)
化、高性能計算的需求。目前人工智能芯片主要有GPU、FPGA和ASIC等類型，從英偉達GPU的發(fā)展可
以看出，算力、內存、網絡傳輸等都在提升，計算能力逐步增強，但在產業(yè)落地應用中的成本還相對較
高。隨著分布式訓練的發(fā)展，數據存儲和網絡傳輸問題成為大模型訓練的瓶頸。目前InfiniBand，已經
可以支持節(jié)點內以及節(jié)點之間高吞吐低延遲的數據互聯(lián)，緩解網絡傳輸的問題，但數據存儲仍存在挑
戰(zhàn)，需要新技術的出現(xiàn)來解決。在軟件方面，廠商需要打造完整的開發(fā)軟件棧，支持計算密集型算子和
訪存密集型算子協(xié)同編譯優(yōu)化，增強通用性編程能力，滿足企業(yè)針對不同訓練推理數據格式和量級進
行底層編譯以及融合調度和統(tǒng)一運營管理的需求。在整體軟件棧中深度學習平臺尤為重要，可以提供
覆蓋AI能力生產、運用、管理等全流程的工程化實踐方法，推動產業(yè)鏈上下游協(xié)同創(chuàng)新，聯(lián)動底層算
力、數據和上層應用服務，打破企業(yè)在數字化轉型升級中面臨的多種瓶頸，解決數據成本高、模型開發(fā)
難、算力分配不合理等問題。
2.1.2中國人工智能的其他挑戰(zhàn)與阻礙
2022年是實現(xiàn)產業(yè)數字化的元年，人工智能加快賦能千行百業(yè)，與實體經濟深度綁定，在醫(yī)療、城市、
工業(yè)、能源、金融等領域進一步落地應用，給企業(yè)帶來了新的發(fā)展方向， 除了底層數據、算法和算力對
人工智能發(fā)展所帶來的瓶頸以外，IDC認為人工智能領域還面臨三大維度下的挑戰(zhàn)。
數據互通壁壘明顯，共建生態(tài)存在阻礙。新一代信息技術與產業(yè)的深度融合擴大了網絡空間的邊
界，數據作為一種新的生產要素，已成為推動企業(yè)智能化升級的重要資源。但同時，流轉無序、區(qū)
域性限制大、定價機制不完善、監(jiān)管機制不完備等問題，導致數據不流通，數據對數字經濟的放大
和疊加作用沒有得到充分發(fā)揮。數據的流通和共享是釋放數字紅利的前提，提高數據流通性可以
推動社會資源配置的優(yōu)化，節(jié)約社會成本。為此，需要明確數據的權責，完善政策，規(guī)范數據的使
用，推動數據共享流通，支撐人工智能技術的高速發(fā)展。
技術門檻高，平臺層挑戰(zhàn)不斷。AI算法的開發(fā)與模型訓練、調優(yōu)有著一定的技術門檻，需要進一步
依托在算法框架上的產品與工具套件，降低AI開發(fā)門檻。因此，深度學習與大模型平臺需要向下銜
接硬件、向上承接應用。未來不管是訓練還是推理，硬件的種類會變得非常繁雜，向平臺層提出了
更高的銜接要求；同時隨著AI規(guī)?；涞氐男枨笤鰪姡脚_面向實際應用需要持續(xù)降低模型開發(fā)
的學習門檻、降低模型優(yōu)化難度。當前，開發(fā)平臺發(fā)展重點在于提供專業(yè)且豐富的技術組件，向下
驅動算子和數據管理工具的高性能延展，向上帶動產品線研發(fā)并推動門檻的降低。
人才儲備不足，技術發(fā)展受限。除了技術、戰(zhàn)略部署、資金投入等問題以外，智能化發(fā)展所遇到的
最大挑戰(zhàn)便是人才短缺。IDC預計到2025年，全球500強中有一半的企業(yè)將自己開發(fā)軟件，這將加
劇企業(yè)軟件人才不足的問題。隨著人工智能落地場景的復雜度增加，需要更多既懂業(yè)務又能運用
AI技術的綜合型創(chuàng)新人才。目前企業(yè)和高校的合作可促進人才的優(yōu)化配置，高校為企業(yè)提供技術
的理論學習，企業(yè)為學校提供有效的實踐基地。經濟全球化的發(fā)展不斷促進社會資源流動，資源
配置方式根本性變革極大提高了資源的利用率，但目前來看人才缺口仍然存在。未來，需要進一
步建立人才合作培養(yǎng)生態(tài)，接受人才及技術在機構間的循環(huán)流動，同時推動降低技術接觸年齡，
提前布局儲備年輕人才力量。
2.2 大模型帶來AI開發(fā)新范式
面對人工智能的各種挑戰(zhàn)，預訓練大模型的出現(xiàn)提供了通用化解決方案，從無標注數據中通過自監(jiān)督
學習獲取大量“知識”，實現(xiàn)用更統(tǒng)一的方式推動人工智能產業(yè)落地。
2.2.1 大模型增強人工智能泛化性、通用性
在過去每一次關鍵技術的通用性得到解決后，生產方式都有巨大改變，生產水平也產生質的飛躍。人
工智能是第四次工業(yè)革命的重要驅動力，所以，提升人工智能的通用性是加速產業(yè)智能化升級的關
鍵。
“大模型”是打通人工智能技術通用性“任督二脈”的關鍵
過去在分散化的模型研發(fā)模式下，單一的AI應用場景下多個任務需要由多個模型共同支撐完成，每一
個模型建設都需要算法開發(fā)、數據處理、模型訓練與調優(yōu)過程。預訓練大模型增強了人工智能的通用
性、泛化性，基于大模型通過零樣本或小樣本精調，就可實現(xiàn)在多種任務上的較好效果。大模型“預訓
練+精調”等模式帶來了新的標準化AI研發(fā)范式，實現(xiàn)AI模型在更統(tǒng)一、簡單的方式下規(guī)模化生產。
2.2.2 大模型降低人工智能應用門檻
大模型基于“預訓練+精調”等新范式有效降低AI開發(fā)門檻
具體來說，大模型的通用性、泛化性以及基于“預訓練+精調”等新開發(fā)范式，讓AI場景應用的模型定制
流程變得更標準化、效果優(yōu)化更簡單，有效降低對標注數據、算法人員能力的要求。圍繞大模型布局相
關的AI開發(fā)工具組件與平臺，將大幅加速人工智能大規(guī)模產業(yè)化進程。例如百度文心大模型在模型層
構建了基礎（包括NLP、CV、跨模態(tài)等）、任務（對話、搜索、OCR等）、行業(yè)（能源、金融、制造、傳媒等）三
層大模型體系，深入考慮各大應用場景特性；向上打造工具與平臺層，將大模型能力在開發(fā)平臺與套
件中輸出；封裝模型訓練與精調、模型壓縮與部署各環(huán)節(jié)等。這些都極大降低了AI開發(fā)門檻，讓更多企
業(yè)或開發(fā)者可以低成本、高效率地獲得AI能力，應用到自己的業(yè)務中。
2.2.3 深度學習平臺為大模型發(fā)展與應用護航
深度學習平臺的發(fā)展已相對成熟，大模型的出現(xiàn)對深度學習平臺來說是“如虎添翼”
深度學習平臺面向多樣的產業(yè)需求，基于開源框架提供算法模型以及工作組件和平臺能力，向下協(xié)調
調度硬件算力，向上支持各項任務，包含開發(fā)框架、算法模型以及工具平臺三大核心層級，呈現(xiàn)出標準
化、自動化、模塊化特性。大模型則進一步增強模型通用性和泛化性，帶來新的模型開發(fā)范式。深度學
習平臺與大模型合力，將進一步降低模型開發(fā)門檻、提升研發(fā)效率，貫通了從硬件適配、模型訓練、研
發(fā)部署，到場景應用的AI全產業(yè)鏈。
深度學習平臺底層開發(fā)框架成為大模型與算力之間的橋梁
ASIC等芯片，通過簡化底層硬件技術，在大模型與算力之間建立溝通。針對不同的模型和硬件，將資源
抽象成統(tǒng)一的分布式資源視圖，通過底層硬件感知和映射功能，找到軟硬之間的最優(yōu)組合，并將模型
的運算步驟分配到相應的計算卡上，達到負載均衡、提升大模型訓推性能的目的。
深度學習平臺助力大模型解決訓練、推理部署困難問題
超大模型訓練、推理需要消耗密集和昂貴的算力等資源，對算法本身提出了極高的要求。在海量數據
上訓練百億、千億、萬億的參數，對模型訓練速度、模型精度以及訓練資源成本都是極大的挑戰(zhàn)，深度
學習平臺通過超大規(guī)模并行方案，支撐大模型高效、高性價比訓練。超大規(guī)模的模型參數，也讓模型預
測單次的成本與耗時都大幅提升，成為規(guī)?；漠a業(yè)應用瓶頸。深度學習平臺通過提供量化、稀疏、蒸
餾、剪枝等能力幫助大模型在精度無損的情況下進行壓縮，推動大模型輕量化和模型推理加速，為產
業(yè)大規(guī)模應用做好保障。
大模型與深度學習平臺相輔相成，將會持續(xù)釋放紅利，并滲透到各行各業(yè)的場景中。
未來，以大模型為生態(tài)基座的產業(yè)鏈將成為智能化升級過程中可大規(guī)模復用的基礎設施。在大模型通
用性、泛化性以及降低人工智能應用門檻的優(yōu)勢推動下，人工智能也將會加快落地，形成新的機遇。
務學習以賦能生物醫(yī)藥行業(yè)，例如百度文心的蛋白質結構預測大模型、化合物表征學習大模型等；此
外，也有專注于生物計算大模型以發(fā)現(xiàn)靶點、研發(fā)新藥的百圖生科以及醫(yī)藥知識圖譜平臺德睿智藥
等。
