9月5日,在騰訊全球數字生態大會上,騰訊集團副總裁、云與智慧產業事業群COO兼騰訊云總裁邱躍鵬在演講中表示,未來的云是面向智能化、融合創新、國際化的,騰訊云將圍繞這三個方向持續探索和創新,打磨好產品能力,助力企業取得新增長。
在智能化方面,邱躍鵬表示,大模型和云的關系變得越來越緊密,大模型能力通過云對外輸出,云也借助大模型提升產品效能和體驗。
目前,騰訊混元最新一代模型騰訊混元Turbo已經在騰訊云上線,輸入和輸出價格只有前代模型的一半。騰訊混元Turbo采用萬億級層間異構MoE架構,擁有更多的專家數和更少的激活參數量,推理效率提升100%,推理部署成本下降50%,解碼速度提升20%。根據SuperCLUE評測,騰訊混元Turbo總分位列國內第一,中文場景效果對標GPT-4o。
騰訊云也正式推出了“騰訊云智算”品牌。作為集算存網一體的高性能智算底座,能夠為AI創新輸出性能領先、多芯兼容、靈活部署的智算產品能力。目前,騰訊云智算的集群千卡單日故障數已經刷新到0.16,是行業水平的1/3;1分鐘就能完成萬卡Checkpoint寫入,數據讀寫效率是業界10倍;千卡集群的通信時間縮短到6%,是業界一半。騰訊云智算集群從機器上架到開始訓練可以做到只需1天,相比業界以月為單位大為縮短。
同時,為了幫助企業構建大模型應用,騰訊云基于客戶不同架構和場景,能夠提供兼容ES開源生態的智能檢索方案和AI原生向量數據庫方案。另外騰訊云云原生數據庫TDSQL、騰訊云大數據BI以及騰訊云AI代碼助手、騰訊會議、騰訊樂享、騰訊企點客服等產品也結合大模型實現了能力升級,能夠為用戶提供更加智能化的產品體驗。
在融合創新方面,邱躍鵬認為,隨著融合創新進程加速推進,客戶除了關注如何把原有業務系統支撐起來,同樣看重穩定性、安全性和兼容性。目前騰訊云打造了包括數據庫TDSQL、專有云平臺TCE、大數據平臺TBDS、操作系統TencentOS以及人工智能開發平臺TI在內的融合創新軟件體系。
在某國有大行核心系統場景下,TDSQL支撐的日交易峰值達到了19.6億筆;TCE支持了國內最大規模的金融云、政務云融合創新實踐,總規模超過10萬節點;在保險行業打造了首個國產數據湖倉標桿案例,5分鐘就能產出數據;TencentOS自研了完全兼容CentOS的T-Kernel4內核,能夠支持在線原地替換,部署量超過1000萬臺。
在國際化方面,邱躍鵬表示,國際化是企業增長的新方向,騰訊云正在發揮產品技術能力優勢,并通過全球一致的產品體驗、優質的服務能力以及在安全合規方面的經驗,助力客戶在全球范圍內把握機遇、實現增長。
以星星海SA5云服務器為例,結合騰訊云軟硬一體的協同優化,SA5性能大幅提升,故障率降低了60%,為客戶提供端到端的業務穩定表現,在大量客戶的國際化場景中得到應用,成為了十年來增長最快的云服務器實例。
隨著游戲、直播電商等商業模式復制到海外,騰訊云也助力企業提供更好的應用體驗,帶來直接的增長。在音視頻領域,騰訊云首創并在全球大規模應用超低延時直播,把直播的平均延時從3秒降到0.5秒內,大幅提升用戶活躍度和商品成交率,實現了每日千萬元級別的交易量提升。騰訊云邊緣加速平臺EdgeOne提供最接近用戶的邊緣節點,讓游戲服的訪問提速超過30%,提升了游戲的活躍度。
此外,騰訊會議也在企業國際化業務中扮演著重要角色。通過類“2G”的弱網環境下流暢開會的能力、多達17種語言的實時翻譯支持、多種入會方式升級,騰訊會議海外會議數已經較年初增長了近50%。
以下是演講原文:
大家好,圍繞著智能化、融合創新和國際化三個方向,我接下來分享一下騰訊云的產品升級和實踐。
大模型推出之后,我們看到了科技行業的變化,比如大模型在云上訓練,云又成為大模型對外輸出能力的重要出口,云自身的產品怎么通過大模型的智能化能力提升自己,這些都是我們作為云從業者要回答的必回題。
去年的數字生態大會上,騰訊混元大模型第一次正式對外亮相。經過一年的不斷迭代升級,我們今天正式推出了騰訊混元Turbo,更快更強的下一代模型。它實現了MoE架構的創新,通過在模型的不同層采用不同的專家個數和激活參數量,推理效率提升了100%,成本降低了50%,速度也提升了20%。目前,混元Turbo已經在騰訊云正式上線,輸入和輸出價格只有前代模型的一半,歡迎大家體驗。
雖然成本更低,但從性能看,混元Turbo卻是實力最強、效果最好的新一代模型。根據國內大模型評測機構SuperCLUE前天發布的最新報告,騰訊混元Turbo總分位列國內第一,在11個能力項測評中,8項核心任務排名國內第一,中文場景效果對標GPT-4o。技術圈常常通過公開評測集“跑分”來看大模型的能力。benchmark,也叫基準測試。主流大模型,比如GPT、llama、claude等,都會公開自己在特定評測集的成績,各家都可以直觀地對比模型實力。評測數據顯示,目前騰訊混元turbo 在多個評測集的測試成績已經居于國內第一梯隊,數學和代碼能力提升明顯,已經可以對標國際上最好的模型。
為什么在算力有限的情況下,騰訊可以訓練出混元Turbo這樣性能領先的萬億參數大模型,一方面是算法、框架、工程方面的持續精進,另一方面,騰訊在infra方面的高穩定性也是提升訓練效率的重要一環。
8月,Meta發布最新Llama模型的時候,也分享了訓練集群的運轉情況,拆解了集群運轉過程中遇到的各式各樣問題。集群的穩定、卡的互聯、數據讀寫效率、發生故障后的續訓,每個環節都會給訓練效率帶來影響,也直接關系到整體訓練成本,這就好比你買了一臺高性能車,但是路很差,也不能跑的快,整個AI infra是一個系統性工程。
過去幾年,騰訊云智算為客戶提供了穩定高效的AI infra服務:
比如,大部分公司搭建集群,從上架到開始訓練,是以月為單位,我們把這個流程優化到1天。去年集群搭建后,第二天就開始做騰訊混元的訓練任務。在業界非常關注的性能上,騰訊云智算的集群,千卡單日故障數只有0.16,是meta的1/3;在數據讀寫效率方面,1分鐘就能完成萬卡checkpoint寫入,是業界的10倍;千卡集群的通信時間占比,也降低到6%,是業界一半。
在今天,我們也把計算的能力,通過公有云、專有云、分布式云的形態,輸出給客戶,希望讓每一個想去訓練或者是精調自己模型的公司,都能擁有一個真正的高可用的計算集群。
很多公司更關注的是AI的應用如何落地,尤其是原來積累了大量數據,怎么真正把模型的能力與應用場景結合起來?很多技術團隊都選擇去做RAG,提升落地的效果。其實做RAG也有不同的方法。今天騰訊云提供兩種模式:
如果企業有elasticsearch的使用基礎,熟悉elastic生態,通過騰訊云ES,可以用最少代碼的便捷方式,幾乎不用重寫代碼或者寫少量代碼,就能構建一個AI問答應用;
如果企業要用到多模態的數據源,我們也提供了騰訊云的向量數據庫,可以用多模態方式去檢索,向量數據庫也提供了2倍于業界的檢索能力;
比如,微信讀書前不久上線的AI問書,就是基于騰訊云ES實現了RAG的高效開發和運維,為億級用戶提供毫秒級別的高效處理能力;學而思的AI語音助手,借助向量數據庫的極致高性能,讓語義檢索的準確率高達95%。
除了訓練模型、調用模型,作為云廠商我們也在思考怎么用大模型的能力,去提升原有的云產品能力,為企業創造價值。
我想講一個數據庫的案例,騰訊云數據庫TDSQL結合騰訊混元,做了3個方向的事情:
智能分析用戶歷史1-7天的負載情況,預估未來分鐘級的流量變化,提早5秒擴容,實現秒級彈性;同時,用最經濟的模式擴容,我們通過識別客戶場景,將CPU和內存完全解耦、獨立彈性,精準調整彈性時間和步長;此外,影響數據庫存運行效率最關鍵的因素是SQL寫得好不好,我們通過AI分析所有SQL執行語句的情況,優化SQL執行效率,降低每次數據庫操作所使用的資源。
我們也助力國內知名的體育社區虎撲,依托TDSQL數據庫,扛住了百萬級QPS的流量洪峰。做到0抖動的同時,也降本75%。這樣的技術應用為客戶創造了價值,也升級了我們的產品。
數據分析的場景,也在深度應用大模型。大家都關注,大模型在落地過程中,能否讓每個人都通過自然語言交互的方式,拿到專業的數據分析結果。但這涉及兩方面問題:一是要給使用者做好Prompt;二是要讓數據治理變得更符合自然語言交互習慣。通過不斷優化,我們打造了ChatBI,讓更多員工真正用數據武裝自己,提升自己應用數據的能力,也降低了BI開發的工作量。
大模型的最快受益者其實是程序員自己。在騰訊內部,現在50%的研發同學都在用騰訊云AI代碼助手。在模型訓練階段,我們針對大約50種不同編程語言做了獨立訓練;制定了31種補全策略,精準理解用戶意圖,讓采納率提升10%以上;通過抓取核心上下文,把代碼生成率提升了5%左右。
生成代碼很簡單,但想要讓代碼實現工程化、提高可用性,要求非常高。我們基于混元的MoE架構,通過編碼、測試、代碼評審/安全等多智能體協作,進一步優化代碼質量。在與一家消費電子企業的合作中,我們將代碼生成率從最初學習代碼庫之后的15%提升到37%,代碼采納率也提高到了28%,讓研發效率大幅提升。
騰訊會議是最早一批應用大模型的產品。經過一年多的不斷打磨,現在每個月有1500萬用戶在使用我們的智能錄制、AI小助手、多語言翻譯等AI能力。
要讓大模型準確理解會議內容,首先需要清晰捕捉每個人的發言。我們自研的天籟智能語音語義技術,針對會議中的口語化表達和不同口音進行了重點訓練,顯著提高識別準確率。
騰訊會議不止會開會,今天智能化的能力在多個場景的應用做得非常好。比如在教育場景,老師通過騰訊會議上課,上完課就可以自動提煉這節課的教學大綱,也可以把知識點做切片,學生也可以快速得到復習材料,可以通過AI助手去問教學中的知識點,學習的交互與效率變得可沉淀和高效。今天,我們在華東理工大學已經落地了超過300間這樣的會議室,未來在金融、招聘等領域,AI的能力結合在線溝通,一定帶來更多讓大家提升效率的機會。
我們通過騰訊樂享也在打造學習型的組織。推動大家學習的同時,怎么用好工具也變得非常重要。員工越多的企業,新人培養、產品更新等場景就面臨很高的培訓成本,怎么讓員工掌握,對于大企業都面臨這樣的問題。通過騰訊樂享和騰訊混元的結合,我們提高了培訓效率,通過學習企業知識庫,30分鐘就可以搭建出智能陪練,可以提供24小時在線陪練,員工可以隨時隨地學習。我們把這樣的場景與語言交互結合起來,可以做很多情景式的培訓。同時,提供培訓后的評估。
在保險行業,如何快速讓保代達到非常好的銷售水平?我們可以快速生成一篇報告,告訴學員在哪些方面需要提升、需要強化訓練。這樣的閉環,讓學習型組織的學習效率取得非常大的提升。我們相信只要企業有足夠多的員工,這個工具幫助組織提效非常重要。
除了對內的學習培訓,對外的客服也是AI落地的好場景。比如通過騰訊企點客服,我們引入大語言模型,讓智能化啟動的時間從過去的7天、15天,到今天的分鐘級構建。當然,這還要依賴于大家底層知識庫的積累,如果積累得比較好,可以做到88%的用戶問題都能被精準識別和回答。以我們服務的東北某省人社局為例,客戶從企點傳統機器人升級到大模型機器人,轉人工率一個月內從27%降至14.5%,人工客服每周接待的會話量從460降至200,大幅降低了人工客服工作量。
我們可以看,這家企業的售后服務機器人已經可以做到多模態的輸入,不僅能識別照片里的打印機型號、還能識別顯示屏上的報錯代號,并且快速準確回復用戶的問題。
面向融合創新,我們提供5T的產品矩陣,從專有云TCE、數據庫TDSQL、大數據平臺TBDS、人工智能開發平臺TI-ONE,到下層的操作系統。今天TCE支持了最大的兩朵融合創新云,最大支撐節點數超過10萬個。TDSQL數據庫對Oracle的兼容性也非常高,需要改的代碼大幅減少。在某國有大行核心系統場景下,TDSQL支撐的日交易峰值達到了19.6億筆,金融級最挑戰的場景,已經實現了國產替代。大家如果選擇TDSQL,可以放心用。國產專有云平臺TCE,,通過不斷的優化,在保險行業打造了首個國產數據湖倉標桿案例,5分鐘就能產出數據。TI-ONE的訓練平臺也可以兼容所有國產芯片,讓客戶降低使用多芯片構筑算力的門檻。
面向國際化,對騰訊云而言,我們也做了改變。今天中國絕大部分的企業都在看國際化的機會,怎么出海,業務怎么全球發展。我們的產品從第一天就要思考產品怎么變成面向國際化。
去年騰訊云推出了自研的星星海SA5云服務器,單機最大核心數達到了512核。搭載自研的銀杉智能網卡,SA5云服務器提供了高達200Gbps的網絡帶寬。通過軟硬協同優化,經過騰訊內部海量業務規模驗證,真正讓客戶在使用上,可以獲得更高的密度算力,故障也更少。這款產品我們也直接全球部署,成為了歷史上推出的所有CVM產品里最受歡迎的產品,也是增長最快的產品。
回到增長的話題。中國商業模式的創新在領先全球,游戲、電商、制造業等能力都非常強,我們通過什么樣的產品能力可以幫助大家在全球化有更好的商業迭代?比如通過超低延時的直播,延時從3秒降低到了0.5秒,通過這樣的技術,讓全球知名的電商平臺,讓主播和觀眾實時互動的效果徹底改變,客戶活躍度、商品成交率都有大的提升,每日支撐超過千萬級別交易量,真正用技術提升了商業產出。
EdgeOne是我們孵化的下一代CDN產品,滿足了國際化企業對加速和安全防護一站式的需求,目前服務了眾多游戲、電商、金融等客戶。比如在游戲場景下,我們將訪問速度提升了30%,要知道訪問的速度越快,玩家的體驗就會更流暢,留存、活躍也會更高。
對游戲來講,下載付的錢在成本里非常低,真正的是廣告投放、獲客、轉化,這帶來的商業價值非常大,這也改變了我們跟很多客戶的交流,以前大家覺得要便宜點、慢一點沒有關系,但是真的商業閉環,大家全面思考的時候,更快的下載速度,多一點成本的付出能夠為商業增長帶來價值。
今天大家的企業出海是業務出海,更是組織的出海。在騰訊會議上,跨國會議的數量相較年初增長了超過50%。
為了服務好這些跨國協作的需求,騰訊會議也升級了產品能力。比如音頻編碼率的下降,我們做這件事之前也探討,騰訊之前是做QQ起家,那個時候會想每一個Byte要不要小一點,但是今天在中國,5G基礎設施網絡特別好,當時團隊說要做這件事,我們也擔心,這個做完大家會有感知嗎?
今天的中國,基礎設施網絡很好,但在全球,流暢的通話體驗變得非常重要,很多國家沒有中國這么好的基礎設施條件,如何用更小的帶寬讓通話質量不變,這就讓溝通效果變得更好,我們好像夢回20年前做的一點點優化,但突然就覺得,每一點技術的投入,都會在未來的時刻給你帶來非常大的回報。所以有時候,很多的技術投資,要走在更前面,才能在真正面臨問題的時候解決它。
比如比亞迪,是新能源車出海做得最好的公司,他們每個月有超過1萬場的通過騰訊會議的模式來拉升組織的溝通效率。
此外,還有安全合規和優質服務。我們希望把自身在出海的過程中的經驗跟大家分享,也希望把中國云廠商優質的服務提供給企業們,讓大家在全球都能享受到與在本地一樣的優質服務。當然,對于國際化客戶,我們也希望提供中國最優質的服務,讓大家體驗到完全不一樣的云。
免責聲明:市場有風險,選擇需謹慎!此文僅供參考,不作買賣依據。
關鍵詞: