文章來源：矽星人Pro
文章作者：周一笑
4月24日，商湯集團在港交所暫停交易，暫停交易前上漲31.15%。商湯集團回應，“昨日日日新大模型5.0發布會廣受好評，受到市場極大關注；依照上市規則及港交所建議，公司将進一步刊發相關公告。”
就在前一天的“2024年商湯技術交流日”上，商湯發布了對标GPT4-Turbo的大模型日日新大模型SenseNova 5.0，追趕GPT4可能是當下中國大模型行業的集體目标。商湯在上海商湯臨港AIDC舉行的“2024年商湯技術交流日”上，交出了自己的答卷。
1
商湯版本的Scaling Law
不是GPT-4-1106-preview，不是GPT-4-0125-preview，而是在一衆大模型榜單中都高居榜首的GPT4-Turbo。從SenseNova 4.0超GPT-3.5，到SenseNova5.0全面對标GPT-4 Turbo，商湯用了不到三個月時間。
這背後沒有魔法，而是大語言模型中的第一性原理：尺度定律（Scaling laws）在起作用。
首先，随着數據、模型和算力規模的不斷提升，商湯能夠不斷提升大模型的能力。這也是OpenAI所強調的模型性能與模型大小、數據量和計算量之間的幂律關系，是一個更為通用的性能提升框架。
但大模型并非單純的暴力美學，背後是大量的軟件工程系統問題。商湯在遵循尺度定律的前提下，通過科學試驗得到數學公式，做到了能夠預測下一代大模型的性能，而不是盲目的随機嘗試。
商湯科技董事長兼CEO徐立總結了兩個假設條件：
第一，可預測性：可以跨越5-7個數量級尺度依然保持對性能的準确預測。
第二，保序性：在小尺度上驗證了性能優劣，在更大尺度上依然保持。
這指導着商湯在有限的研發資源上找到最優的模型架構和數據配方，從而讓模型能夠更高效地完成學習的過程。“我們在很早時間就預測到我們的模型可以在一定測試級上超越GPT-4的能力。”
也就是說，商湯在大模型的研發過程中，注重通過小規模實驗來預測和驗證模型架構和數據配方的有效性，并确保這些在小規模上得到驗證的結論能夠在更大規模上得到保持和應用。
“如果我們選擇更佳的數據配方性能提升效率會更大。”基于商湯的實驗結果，小模型在優化數據的情況下，也可以性能逼近甚至超越跨數量級的大模型。例如，Llama 3小模型跨越了一個數量級領先于Llama 2更大尺寸的模型。
随之而來的一個問題是，更好的數據集在哪裡？數據集質量如何提升？
據徐立介紹，SenseNova 5.0采用了10T+tokens中英文預訓練數據，通過精細設計的清洗處理，形成高質量的基礎數據，解決大模型對客觀知識和世界的初級認知。
除此之外，商湯還合成構造了思維鍊數據，預訓練過程中大規模采用邏輯合成數據（數千億tokens量級），從而提升模型推理、數學和編程能力。這本質上是在幫助大模型學習人類解決問題的思路和方法。
“這是真正意義上保障模型能力提升的關鍵。如果每一個行業思維鍊數據都能夠被輕松構造的話，我們在行業裡面的推理能力就會大幅度提升”。
尺度定律也存在物理極限，比如沒有數據，比如硬件連接的極限。在今年3月份的時候，微軟工程師就提到OpenAI如果在同一個州部署超過 10 萬張H100 GPU，電網就會崩潰。徐立表示，“這需要對這些卡、這些連接、這些拓撲進行新的設計，算法設計和算力設施需要聯合優化。”
2
文生視頻在路上
Llama3 8B和70B版本的發布，讓我們看到小參數大模型在端側場景的潛力。商湯此次也推出的1.8B參數的SenseChat-Lite，在主流評測中，超過了所有開源2B的同級别模型并且跨級領先了LLaMA2 等7B、13B模型。
通過端雲協同解決方案，SenseChat-Lite可在中端平台實現18.3字/s的平均生成速度，旗艦平台可達到了78.3字/s。
在端側的多模态方面，擴散模型同樣可在端側實現業内最快的推理速度，商湯端側LDM-AI擴圖技術在某主流平台上，推理速度小于1.5秒，支持輸出1200萬像素及以上的高清圖片，支持在端上快速進行等比擴圖、自由擴圖、旋轉擴圖等圖像編輯功能。
商湯針對端側業務的SDK也正式發布，涵蓋了日常對話、常識問答、文案生成、相冊管理、圖片生成、圖片擴展等場景，支持全系列高通8系列、7系列的芯片，以及MTK天玑芯片，适配手機終端、平闆電腦、VR眼鏡、車載終端。
針對金融、代碼、醫療、政務等行業面臨的數據私有化部署需求，商湯推出了企業級大模型一體機。可同時支持企業級千億模型加速和知識檢索硬件加速，實現本地化部署，開箱即用，同時完成了國産化芯片的适配。支持最多2P FLOPS的算力，256G的顯存，448 GB/s的連接。
面向軟件開發，商湯發布了小浣熊代碼大模型一體機輕量版，幫助企業開發人員更高效地編寫、理解和維護代碼，其在HumanEval的測試通過率達到了75.6%，超過GPT-4的74.4%，能夠支持90多種編程語言和8K上下文，單機可滿足100人以内的團隊應用需求。成本可從調用雲端代碼服務的每人每天7-8元，降低到每人每天4.5元。小浣熊代碼大模型一體機輕量版的售價為每台35萬元。
此外，商湯還發布了基于昇騰原生的行業大模型，與華為昇騰共同打造面向金融、醫療、政務、代碼等大模型産業生态。
在最後環節，徐立還留了個“彩蛋”：發了三段完全由大模型生成的視頻，并表示短時間會發布文生視頻平台。這也讓人開始想象，追上GPT-4之後，在視覺領域積累深厚的商湯，下一個目标是追上Sora嗎？
3
一場“快魚吃慢魚”的遊戲
除了日日新SenseNova 5.0升級後對标 GPT-4 Turbo以及端側和邊側産品的發布，商湯這次技術交流日的另一個關鍵詞是“夥伴”。
商湯邀請了邀請了華為昇騰計算業務總裁張迪煊、金山辦公CEO章慶元、海通證券副總經理兼首席信息官毛宇星、小米集團小愛總經理王剛、閱文集團築夢島總經理葛文兵等生态夥伴嘉賓分享。共同探讨和交流大模型技術在辦公、金融、出行等不同領域的應用及前景。
這除了體現商湯大模型能力在不同領域的應用潛力，實際上也是在外界傳達了其商湯未來進一步深化行業合作的願景。追上GPT4之後，真正比拼的可能是應用落地能力，在這一點上，商湯需要更多的夥伴。
無論是聯合華為發布基于昇騰原生的行業大模型，還是端側SDK的發布，我們可以看到商湯一直在強調行業合作夥伴的重要性，這也體現在與合作夥伴的細節中當中：
華為昇騰計算業務總裁張迪煊表示，商湯在今年三月初的加入昇騰的原生計劃，時隔一個多月已經發布四款行業大模型。
小米集團小愛總經理王剛則提到，商湯曾在兩三天内完成了的小米汽車的優化需求，并成功通過雷軍驗收。
“快”的背後是持續對生成式AI業務的投入，早在2021年，商湯就開始構建自己的AI基礎設施SenseCore商湯AI大裝置，AIDC是商湯重要算力基座，也在2022年1月24日正式啟動運營，業績公告顯示，商湯大裝置總算力已達到12000petaFLOPS，相較于2023年初提高了一倍，GPU數量達到45000卡，實現了萬卡萬參的大模型訓練能力。
自2023年3月宣布戰略聚焦AGI以來，商湯更是以季度為單位更新基礎大模型及解決方案。到SenseNova5.0追上GPT-4之後股票漲停，市場的邏輯很清晰，短時間内現金流充足，追上OpenAI目前最新的模型之後可以講更大的故事，加上足夠低的價格，自然會有更多人用腳投票。
“快”的結果落在商湯生成式 AI 業務的快速增長上，根據商湯科技最新發布的2023年财報顯示，其生成式AI收入業務收入達12億元取得了200%的大增長，占公司總收入的35%。這也是商湯成立十年以來，以最快速度取得超過10億收入的新業務。
從AI1.0時代走過的商湯，作為重要的引領者，見證了中國人工智能産業的變遷。
在AI2.0時代，所有人似乎都成為了OpenAI的追趕者。這場圍繞大模型的競争，既是大魚吃小魚，也是快魚吃慢魚。OpenAI的領先身位帶來的是絕對的競争優勢，參與者們要擺脫這種追趕的狀态，需要底層基礎設施的成熟，也需要頂層設計的創新。
對于商湯來說，隻有在大模型商業化爆發前的黎明中跑得足夠快，跑得足夠久，才能夠吃到第一波紅利，在根本上解決掉虧損問題，從而回到它應得的位置。
公元前十六世紀，商湯通過一系列的軍事行動和政治策略，推翻夏朝建立了商朝，後人将這一項變革稱為“商湯革命”。未來幾年，生成式AI可能将會成為商湯最大的收入來源，這或許正是商湯所需要的那場革命。
