性能強(qiáng)勁的數(shù)字基礎(chǔ)設(shè)施，是建好大模型、用好大模型的前提。在7月13日舉辦的2023京東全球科技探索者大會(huì)-數(shù)字基礎(chǔ)設(shè)施分論壇上，京東云推出大模型數(shù)字基礎(chǔ)設(shè)施矩陣，包括言犀AI開(kāi)發(fā)計(jì)算平臺(tái)、混合多云操作系統(tǒng)云艦、高性能存儲(chǔ)平臺(tái)云海、軟硬一體虛擬化引擎京剛、向量數(shù)據(jù)庫(kù)等，助推大模型服務(wù)千行百業(yè)。京東集團(tuán)技術(shù)委員會(huì)主席、京東云事業(yè)部總裁曹鵬宣布，京東言犀AI開(kāi)發(fā)計(jì)算平臺(tái)將于8月上線。

中國(guó)信息通信研究院云計(jì)算與大數(shù)據(jù)研究所所長(zhǎng)何寶宏在會(huì)上表示，云正在變成基礎(chǔ)設(shè)施，強(qiáng)大的、便捷的算力服務(wù)，首先要考慮穩(wěn)定性；其次要惠及更多的人、行業(yè)和應(yīng)用，標(biāo)準(zhǔn)化、便利性的云基礎(chǔ)設(shè)施有非常大的發(fā)展空間。

開(kāi)發(fā)計(jì)算平臺(tái)賦能行業(yè)共享大模型技術(shù)紅利

為了降低企業(yè)享受大模型技術(shù)紅利的門檻，京東把大模型的底層能力解耦出來(lái)，推出了言犀AI開(kāi)發(fā)計(jì)算平臺(tái)。

將大模型能力遷移到產(chǎn)業(yè)領(lǐng)域，實(shí)現(xiàn)垂直行業(yè)的“智能涌現(xiàn)”，并非易事。高質(zhì)量的行業(yè)知識(shí)作為稀缺要素，決定了大模型的“智商”。言犀AI開(kāi)發(fā)計(jì)算平臺(tái)沉淀了京東在零售、物流、健康、金融等行業(yè)多年積累的知識(shí)，通過(guò)算法工具集成到平臺(tái)，并部署了京東技術(shù)團(tuán)隊(duì)開(kāi)發(fā)出的100多種訓(xùn)練和推理優(yōu)化工具，結(jié)合低代碼應(yīng)用平臺(tái)，為客戶提供從數(shù)據(jù)建設(shè)到模型應(yīng)用的一站式服務(wù)。不到一周時(shí)間，用戶即可完成從數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練到模型部署的全流程；之前需要10余人的科學(xué)家團(tuán)隊(duì)工作，現(xiàn)在只需要1-2個(gè)算法人員；通過(guò)平臺(tái)模型加速工具優(yōu)化，節(jié)約90%的推理成本。

此外，京東豐富的業(yè)務(wù)場(chǎng)景，可以為平臺(tái)上的基礎(chǔ)大模型提供具體的行業(yè)應(yīng)用場(chǎng)景，促進(jìn)入駐企業(yè)加速基于大模型的商業(yè)化落地。

在高性能HPC方面，言犀大模型開(kāi)發(fā)計(jì)算平臺(tái)可提供GPU、CPU、IPU等各類型算力資源，可以針對(duì)推理速度、推理成本以及模型大小不同的業(yè)務(wù)需求，提供定制化解決方案。同時(shí)，平臺(tái)還能為入駐企業(yè)提供大模型開(kāi)發(fā)應(yīng)用的各種硬件資源的支持。

數(shù)字基礎(chǔ)設(shè)施筑就大模型堅(jiān)實(shí)底座

大模型訓(xùn)練與應(yīng)用對(duì)數(shù)字基礎(chǔ)設(shè)施提出了更高的要求，基于此，京東在會(huì)上展示了大模型數(shù)字基礎(chǔ)設(shè)施全景圖。

為了應(yīng)對(duì)大模型訓(xùn)練對(duì)AI算力的迫切需求，京東云混合多云操作系統(tǒng)云艦3.0，通過(guò)創(chuàng)新的異構(gòu)計(jì)算池化技術(shù)，實(shí)現(xiàn)GPU/NPU資源成本下降50%。

與傳統(tǒng)平臺(tái)不同，云艦3.0采用以應(yīng)用為中心的云設(shè)計(jì)范式，數(shù)據(jù)適配算力和現(xiàn)有架構(gòu)，實(shí)現(xiàn)更加敏捷高效的算力按需按時(shí)供給。在落地層面，對(duì)應(yīng)多云多芯多活：云艦打通公有云、專有云、IDC和邊緣節(jié)點(diǎn)，實(shí)現(xiàn)統(tǒng)一的運(yùn)維運(yùn)營(yíng)和管理；全面兼容Intel、AMD、ARM架構(gòu)的CPU，以及全棧國(guó)產(chǎn)化軟硬件體系基礎(chǔ)，實(shí)現(xiàn)生產(chǎn)級(jí)可用。作為國(guó)內(nèi)應(yīng)用多活最高級(jí)別的云平臺(tái)，云艦在現(xiàn)有的一云多芯云架構(gòu)基礎(chǔ)上，以單元化技術(shù)，實(shí)現(xiàn)同一應(yīng)用跨芯片進(jìn)行多活部署和調(diào)度，搭建最適合的平滑升級(jí)云環(huán)境，實(shí)現(xiàn)應(yīng)用在國(guó)產(chǎn)化環(huán)境中真替真用。

大模型訓(xùn)練對(duì)存儲(chǔ)能力的要求越來(lái)越高，全新的高性能存儲(chǔ)平臺(tái)云海2.0，可支持千億級(jí)參數(shù)AI大模型，單集群每秒讀寫性能提升5倍，達(dá)到行業(yè)領(lǐng)先的千萬(wàn)級(jí)，多故障演練場(chǎng)景下1秒內(nèi)恢復(fù)業(yè)務(wù)。

歷經(jīng)10余年京東自身復(fù)雜的場(chǎng)景歷練，云海2.0不僅能滿足各行業(yè)對(duì)云盤高性能、低延時(shí)的業(yè)務(wù)訴求，還通過(guò)存算分離技術(shù)架構(gòu)，為客戶節(jié)省整體基礎(chǔ)設(shè)施成本超30%。

隨著計(jì)算和存儲(chǔ)密度的不斷提升，網(wǎng)絡(luò)帶寬的不斷增大，虛擬化的資源占用也隨之提升，有時(shí)甚至占到服務(wù)器10%以上?；诖?，京東云將虛擬化卸載到自研的智能網(wǎng)卡中進(jìn)行加速，京東云京剛3.0將虛擬化損耗降至零，網(wǎng)絡(luò)性能提升4倍，支持 100Gb VPC 網(wǎng)絡(luò)，云硬盤單實(shí)例性能突破百萬(wàn)IOPS。

傳統(tǒng)數(shù)據(jù)庫(kù)面對(duì)大模型訓(xùn)練的圖片、音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)，顯得捉襟見(jiàn)肘，此時(shí)，專門針對(duì)此類場(chǎng)景的向量數(shù)據(jù)庫(kù)應(yīng)運(yùn)而生。京東從2019年開(kāi)始自主研發(fā)向量數(shù)據(jù)庫(kù)，目前，向量數(shù)據(jù)庫(kù)Vearch已經(jīng)實(shí)現(xiàn)大規(guī)模落地實(shí)踐：平穩(wěn)支撐京東百億級(jí)向量數(shù)據(jù)高性能檢索，延遲時(shí)長(zhǎng)降低到毫秒級(jí)，降低60%存儲(chǔ)成本降低和80%推理成本。與此同時(shí)，京東積極助力開(kāi)源生態(tài)建設(shè)：作為白金捐贈(zèng)人，Vearch已捐給中國(guó)首個(gè)開(kāi)源軟件基金會(huì)——開(kāi)放原子基金會(huì)，助力國(guó)產(chǎn)數(shù)據(jù)庫(kù)生態(tài)蓬勃發(fā)展。

目前，京東云已服務(wù)2048家大型企業(yè)、914家金融機(jī)構(gòu)和超250萬(wàn)家中小微企業(yè)。未來(lái)，京東云作為“更懂產(chǎn)業(yè)的云”，還將面向千行百業(yè)，以融合開(kāi)放、極致性價(jià)比、安全可控的新一代數(shù)字基礎(chǔ)設(shè)施，為大模型提供澎湃算力，讓跨越發(fā)生，抵達(dá)產(chǎn)業(yè)智能。