白皮書主要觀點
混合AI將支持生成式AI應用開發者和提供商利用邊緣側終端的計算能力降低成本。混合AI架構或僅在終端側運行AI,能夠在全球范圍帶來高性能、個性化、隱私和安全等優勢?;旌螦I架構可以根據模型和查詢需求的復雜度等因素,選擇不同方式在云端和終端側之間分配處理負載。
隨著強大的生成式AI模型不斷縮小,以及終端側處理能力的持續提升,混合AI的潛力將會進一步增長。參數超過10億的AI模型已經能夠在手機上運行,且性能和精度達到與云端相似的水平。不久的將來,擁有100億或更高參數的模型將能夠在終端上運行。
高通作為終端側AI領導者,面向包括手機、汽車、XR頭顯與眼鏡、PC和物聯網等在內的數十億邊緣終端,提供行業領先的硬件和軟件解決方案,對推動混合AI規模化擴展獨具優勢。
高通的AI引擎和軟件棧為加速終端側AI推理提供了解決方案,并具備行業領先的性能和能效優勢。憑借一系列基礎研究,以及跨AI應用、模型、硬件與軟件的全棧終端側AI優化,持續創新讓公司始終處于終端側AI解決方案的最前沿。
白皮書主要內容