百度CTO王海峰揭秘文心一言背后的AI技術

3月16日，百度在北京總部召開新聞發布會，百度創始人、董事長兼首席執行官李彥宏和百度首席技術官王海峰出席，李彥宏展示了新一代知識增強大語言模型文心一言在文學創作、商業文案創作、數理邏輯推算、中文理解、多模態生成五個使用場景中的綜合能力，王海峰解讀了文心一言的技術特性及其背后的技術積累。

王海峰 百度供圖

厚積薄發，長期技術積累構建全棧AI技術

在人工智能時代，IT技術棧可分為“芯片層、框架層、模型層、應用層”四層，百度自2010年起開始全面布局人工智能，是全球為數不多、進行全棧布局的人工智能公司。從昆侖芯片、飛槳深度學習平臺、文心大模型到應用，百度在技術棧的各層都有領先業界的關鍵自研技術，實現了層與層反饋，端到端優化，大幅提升效率。

在框架層，飛槳是百度自主研發的中國首個開源開放的產業級深度學習平臺，包括核心框架、產業級模型庫、開發套件、工具組件，以及學習和實訓社區，能夠標準化、自動化地支撐模型生產和應用。在模型層，文心大模型包括NLP、CV、跨模態等基礎大模型，對話、跨語言、搜索、信息抽取等任務大模型，生物計算領域大模型，行業大模型，以及支撐大模型應用的工具平臺，形成了基礎-任務-行業三級大模型技術體系，具備知識增強和產業級兩大特色。

王海峰認為，文心一言是百度多年技術積累和產業實踐的水到渠成，尤其是飛槳深度學習平臺和文心大模型的聯合優化，為文心一言提供了堅實的技術支撐。飛槳有效支撐了大模型的靈活開發、高效訓練和推理部署。文心大模型從2019年發布以來，已經從最初的自然語言理解大模型，發展成了跨語言、跨模態、跨任務、跨行業的大模型平臺。

 核心技術加持，新一代知識增強大語言模型水到渠成

 文心一言是新一代知識增強大語言模型，也是百度繼文心一格之后的又一個生成式AI產品，具備對話交互、內容創作、知識推理、多模態生成等能力。

王海峰表示，新一代知識增強大語言模型文心一言，是在ERNIE及PLATO系列模型的基礎上研發的。它的關鍵技術包括有監督精調、人類反饋的強化學習、提示、知識增強、檢索增強和對話增強。前三項是這類大語言模型都會采用的技術，ERNIE和PLATO中已經有應用和積累，在文心一言中又有了進一步強化和打磨；后三項則是百度已有技術優勢的再創新，也是文心一言未來越來越強大的基礎。

在知識增強方面，文心一言的知識增強主要是通過知識內化和知識外用兩種方式。知識內化，是從大規模知識和無標注數據中，基于語義單元學習，利用知識構造訓練數據，將知識學習到模型參數中；知識外用，是引入外部多源異構知識，做知識推理、提示構建等等。

在檢索增強方面，文心一言的檢索增強，來自以語義理解與語義匹配為核心技術的新一代搜索架構。通過引入搜索結果，可以為大模型提供時效性強、準確率高的參考信息，更好地滿足用戶需求。

在對話增強方面，基于對話技術和應用積累，文心一言具備記憶機制、上下文理解和對話規劃能力，實現更好的對話連貫性、合理性和邏輯性。

百度構建了面向中文、服務應用、富含知識的多樣化訓練數據，對文心一言進行有監督精調，使其掌握的知識更精準，更懂中文和應用場景，并建立起人類反饋、獎勵模型和策略優化之間的飛輪機制，隨著真實用戶的反饋越來越多，文心一言的效果會越來越好，能力越來越強。文心一言融合不同類型數據和知識，自動構造提示，包括實例、提綱、規范、知識點和思維鏈等，提供了豐富的參考信息，激發模型相關知識，生成高質量結果。

王海峰強調，飛槳深度學習平臺支撐文心一言效果更好、效率更高、性能更強。對于開發訓練，飛槳動靜統一的開發范式，以及自適應分布式架構，可以實現大模型的靈活開發和高效訓練。在推理部署方面，飛槳支持大模型高效推理，并提供服務化部署能力，包括計算融合、軟硬協同的稀疏量化、模型壓縮等等。如今，飛槳平臺已凝聚535萬開發者，服務20萬企事業單位，基于飛槳創建了67萬個模型。

文心大模型加上飛槳深度學習平臺，夯實了產業智能化基座。隨著文心一言與飛槳平臺的進一步融合發展，人工智能技術和應用的研發將越來越標準化、自動化和模塊化，加速人工智能的工業大生產，同時也反哺文心一言加速迭代進化，落地更多場景和行業，為千行百業智能化升級帶來不竭動力。