論壇上，商湯科技聯合創始人、首席執行官徐立發表題為“AI打破虛實世界次元壁”的主題演講，詳細剖析SenseCore商湯AI大裝置核心價值，并直觀解讀了虛擬世界與現實世界連接的“密碼”。
徐立認為，人工智能大裝置將能夠真正意義上降低人工智能生產要素的價格，推動物理世界的全面數字化轉型。商湯致力于完整地連接虛擬世界與現實世界，通過SenseCore商湯AI大裝置和多種AI技術平臺，把現實世界數字化搬到虛擬世界中，同時把虛擬世界投射到現實世界，打破人工智能次元壁。如下是徐立的演講內容，商湯君在這里完整分享給大家：今天，我想講一個輕松點的話題，人工智能怎樣幫助我們在虛擬世界和現實世界間穿梭。我們的現實世界正在經歷一場數字化過程，把現實世界的各種東西數字化搬到虛擬數字世界中；同時數字世界生產的內容又通過不同的載體投射到現實世界中。我想起20多年前我的第一臺數碼相機，Olympus，像素達到200萬。我特別開心，用它在學校里各種拍照。我以為那就是數字化了，畢竟那臺相機叫做數碼相機。記得當時拍過一張學校內自行車行的照片，非常有特色，叫“交大小樹林精修自行車”。前段時間，我回到學校，發現這個自行車行依然在，20多年店名招牌都沒變。
當時車行修的自行車是鳳凰、永久，都是那個時代的回憶。那時，我們覺得有了數碼相機、錄音筆、DV等數字設備，記錄下來就是數字化了。可今天再看這張照片時，除了能夠回憶一下過去之外，好像也什么都做不了。我只是做了把相片的“像素化”。數字化轉型是一個工具，那我們講數字化轉型時，在談論哪些內容？我理解我們談論的數字化是在構造一個數字化世界，對于這個世界的訪問、搜索、操作能夠直接影響到真實物理世界。我們理解的這樣的數字化世界的建立通常需要幾個步驟：第一步，場景的數據化，也就是我們熟悉的像素化、3D化。我們過去很多大數據應用都是完成了第一步數據化。但是數據如果沒有和真實業務流程結合，單純數據化作用有限。第二步，我們要做要素的結構化，就是把數據化得到的大量數據根據感知理解來抽取對于人類有意義的元要素。然后才是第三步，流程的可交互化。我們經常聽到流程再造。數字化過程中，首先要做到流程可交互——這個交互可以和人工，也可以進一步升級到機器決策流程。一個有業務價值的數字世界的構造，是可以讓我們直接使用這些數據去搜索并且影響現實流程的。而基于可交互化的流程，才能去做業務流程的重塑和自動化，這也是SenseFoundry/SenseFoundry Enterprise商湯方舟城市/企業開放平臺的一項核心能力。我們第一步把整棟樓進行了3D重建，做了一個物理空間的數字孿生，并同步把傳感器數據疊加到數字孿生空間上。但是這步只是完成了一個數據化的動作。在這之上，我們通過感知、識別，將人、物、事、場進行結構化，增加了數字世界的語義要素，使得這個數字世界變得可操作。接下來，我們將更多業務流程放到這個操作系統中，使整棟樓的管理變得可交互、更智能。食堂錯峰排隊功能、會議室預定、自動送貨送餐、電子儲物柜、失物招領等一系列辦公中的問題，在有了整體的信息化、結構化之后，就能夠完成流程再造。比如在基于SenseFoundry Enterprise商湯方舟企業開放平臺等打造的商湯智能辦公系統中，有一個用線下搜索引擎去搜索萬物的“萬物檢索”，對于丟落在公共區域的車鑰匙、筆記本電腦，都可以進行搜索。
打開萬物檢索，可以看到我們同事搜索的高頻詞，有兩個詞比較顯眼，“燈籠”和“鍋”。我很好奇為什么會有同事在辦公室里找鍋。正確的打開方式比如搜索背包，可以看到公共區域的背包，并且在3D地圖上標注出來。
當我們能賦予更多場景智能化后，日常所有流程都將不再需要人為介入。
數字化轉型的諸多步驟，場景數據化和流程交互化更為顯式，一接輸入，一接業務。但語義要素的結構化是連接兩端的關鍵，也是真正意義上需要大規模AI賦能的環節。由于各種場景中大量的長尾要素需要結構化，迫使我們必須有核心技術突破。當前，80%結構化應用都是低頻的、長尾的場景，如果沒有通用人工智能，我們面臨的就是大量人力投入到單一項目中，且還不能很好解決這些本質上是小數據、小樣本的問題。此外，技術上如果還聚焦于單一問題過程，就很難在很多通用場景下有很好的泛化能力，導致性能不穩定。通用超大規模模型再加上小樣本單一場景的細分優化成為解決生產成本和準確率的核心，其導致的就是對AI算力的本質需求。十年前，我們看到的是人工智能深度學習算法的規模化應用所帶來的紅利；五年前，我們看到的是行業大數據所帶來的單一問題突破工業紅線的紅利。接下來，我們可能會看到AI超級計算帶來的紅利，這將幫助大家探索更大的解空間。常識的理解是算法越精準，可能需要的算力就越少。但過往10年最好的AI算法對于算力的需求幾乎增長了100萬倍，這說明我們在擴大探索未知的解空間，只有搜索空間變大了，才需要增加更大的算力。商湯在2017年就開始探索大參數深度網絡和對于并行算力的優化，并啟動關于人工智能算力大裝置
(SenseCore)的投入研究。之所以稱之為大裝置是類比于高能物理中的粒子對撞機，通過隨機的兩束粒子流的高速碰撞去認識量子粒子的新規律、新粒子。粒子碰撞結果不可預測，但只有通過不停的探索嘗試，才有可能找出一些真正意義上可解釋物理世界的規律。同理，在人工智能的可能性探索中，很多通用模型在設計的時候其實都是一次對于資源的冒險，需要通過去嘗試不同的、超大模型來達到卓越的泛化能力，通過不斷去迭代才能解決，所以我們把它稱為AI大裝置。
SenseCore商湯AI大裝置總共分為三層九大模塊。第一層是算力層。包括計算訓練的芯片，AI數據中心（AIDC），和底層傳感器。商湯聯合清華大學、復旦大學、上海交通大學、中國信息通信研究院及行業伙伴共同成立的“人工智能算力產業生態聯盟”將解決從無到有的問題，從軟件到硬件做更好的集成和算法的優化。目前，商湯智算中心（AIDC）計劃總算力3740 Petaflops的計算能力（1 Petaflop等于每秒1千萬億次浮點運算）。第二層是平臺層。在算力層之上我們必然有軟件的平臺，其中包括數據平臺、訓練框架、加速模塊以及模型生產平臺。數據平臺很好理解，主要是數據的存儲、標注、加密；訓練框架是商湯自主原創的深度學習訓練框架SenseParrots；加速模塊是商湯高性能計算引擎SensePPL，使我們能更好地使用好分布式的數據和硬件加速；有了通用的大模型之后，我們可以蒸餾出各種小模型，模型生產平臺可以實現小樣本模型高效生產。第三層是算法層。算法層提供可以使用的算法模塊。很多場景有復用的模塊，一些問題不需要重復解時，可以直接從工具箱拿取需要的算法。商湯的算法工具箱里已經有17000個算法模型。除工具箱外，商湯還將一部分SOTA算法進行整合開源到OpenMMLab體系中，在GitHub上已收獲37000顆星，這個平臺上的算法也積累了使用中的最佳實踐，讓大家能夠從零開始快速使用。算力層、平臺層、算法層三層完美融合，就是商湯的AI大裝置，能夠真正意義上降低人工智能生產要素的價格，推動物理世界的全面數字化轉型。
這是冬奧會場館水立方。第一步通過場景數據化能夠將其3D結構重建出來。第二步要把場館內所有人、事、場景進行結構化，之后就可以真正去理解發生的事情。
這里的事更多的是運動姿態、軌跡等。比如冰壺運動，我們可以讓機器去理解冰壺的軌跡、運動員推冰壺時人的關節動作等相關內容。第三步是流程交互化，基于上述的結構化信息，無論是教練對運動員分析還是觀眾互動，都可以在上面進行迭代。我們可以在觀看比賽時看到整個3D內容信息的疊加，甚至算法能夠更好地做出軌跡預測，以及完成超現實互動。扶梯安全一直是個很重要的問題，因為扶梯是個完全開放的環境。我們將整個扶梯的物理信息做數據化重建之后，可以在之上定義各式各樣的異常場景，包括跌倒、逆行、推輪椅、拉行李箱等，這些都屬于結構化要素，能夠在語義層面與數據模型連接。
有了這個連接，我們就能夠再造流程，把所有流程自動化，從發現異常到推送上報再到去解決問題，比如自動降低扶梯運行速度等。整個流程中，現在只有解決問題這一步還需要人工介入，比如逆行了需要管理員去干涉。
我一直在思考這個自行車行為什么能夠在學校里長青20多年，我想還是借助AI來分析吧。我把這個名字放到智能翻譯器里，翻譯器真的告訴了我真相。翻譯器翻譯的是：The woods are repairing bicycles，認為是小樹林本身在修自行車。
為什么品牌長青、屹立不倒？因為它叫“交大小樹林精-修自行車”，是小樹林精在修自行車。既然知道了真相，我還是需要告訴我的同學們，我就想把小樹林精給投射到現實世界中來。如果我要表現這個“小樹林精”，需要的是把數字虛擬世界疊加到現實場景中。
這是另外一個由虛擬疊加現實的通道。商湯為此打造了一個企業級平臺，能夠聯通大量基礎硬件設施，包括手機終端、loT設備，AR/MR眼鏡。并為諸多現實場景提供一體化解決方案，包括智慧場館、景區、文博館、游樂場所、大型商超、機場交通樞紐等等。我們將這個基礎設施平臺稱為商湯SenseMARS火星混合現實平臺，我們可以用它遙望不一樣的星空。歡迎王者榮耀的公孫離，一位生活在Metaverse元宇宙中的專家。沒想到的是，我們的公孫離原來是一位小伙，事實上我們有公孫離一號、公孫離二號。這個連線所展示的就是SenseMARS火星混合現實平臺的一個能力，我們可以驅動虛擬形象去完成各式各樣的交互和變化，通過這樣的平臺，可以做到千人一面，很多人可以在同樣的客服界面上和外界進行對接。商湯致力于搭建混合現實的基礎設施。我們的SenseMARS可以適配各種終端，甚至可以支持小程序和瀏覽器連接。
終端的層面還有哪些想象空間呢？再回到自行車行這張照片，我又發現這個招牌其實可以再用二十年。照片上的自行車可能二十年后沒有了，但是細品“自行車”這三個字，不就是自己行走的車，不就是無人駕駛嗎？所以小樹林精二十年后可以繼續修新時代的“自行車”。
今年，我們將SenseMARS火星混合現實平臺與無人自動駕駛車結合，把車變成了現實和虛擬的疊加，商湯這臺SenseAuto AR-Robobus 商湯絕影自動駕駛AR小巴也成為本屆WAIC世界人工智能大會上的鎮館之寶。
自動駕駛AR小巴車內所有玻璃都改裝了增強現實的屏幕，可以把車外內容實時投射到屏幕上，讓乘客有一種處在不同次元世界的感受。
SenseAuto AR-Robobus 商湯絕影自動駕駛AR小巴在WAIC大會場館附近做了巡回演示，車上采用雷達+視覺感知的雙路冗余方案，能夠更安全地完全自動駕駛。AR小巴可以為我們帶來很多不一樣的體驗，包括將車外經過的實景進行實時風格化處理，疊加城市產業發展、經濟規劃、科技文化場景等視覺內容，整臺車就變成了現實中的演示場。今天，商湯致力于完整地連接虛擬世界與現實世界，通過AI大裝置SenseCore和SenseFoundry/SenseFoundry Enterprise商湯方舟城市/企業開放平臺等，把現實世界投射到虛擬數字世界中。同時，通過SenseMARS火星混合現實平臺把虛擬世界照進現實，真正連通虛擬和現實，用人工智能打破次元壁，讓現實世界聯動虛擬世界的迭代，虛擬世界完成現實的增強。
人工智能基礎設施
企業服務智能化
城市管理智能化
汽車出行智能化
個人生活智能化
返回
