推論加速器全攻略 (140891) - Cool3c

最新 | 熱門

照片中提到了A、AMPERE One、Qualcomm，跟高通公司、安培計算有關，包含了電子產品、電子產品、微控制器

Ampere攜手高通推出Arm CPU結合推論加速器解決方案，希冀降低產業對GPU的依賴

當前AI硬體產業幾乎處在NVIDIA喊水會結凍的GPU加速時代，許多晶片商預測短時間難以在具備完整生態系與硬體技術領先的模型訓練與高通正面對抗，紛紛把AI技術目標放在邊際設備的AI推論應用；採用Arm指令集自研伺服器晶片的Ampere宣布與高通合作，將旗下處理器與高通Qualcomm Cloud AI 100 Ultra平台結合，旨在提供更具能源效益且減少對GPU依賴的解決方案。 ▲Qualcomm Cloud AI 100 Ultra鎖定推論應用，結合高度能源效率的Ampere處理器能提供一套節能推論系統 Ampere希冀透過與高通的技術聯手，能夠提供更低能耗且高效能的AI推論平台，並顛覆低

Chevelle.fu

照片中提到了Elevate Play with Unrivaled XSS AI Acceleration、IA380E-QUFL、intel.，包含了傳單、LED背光液晶屏、液晶顯示器、發光二極管、背光燈

安提國際推出基於Intel Arc A380E的IA380E-QUFL邊際AI加速卡，採半高單插槽設計

由於AI於各領域的廣泛應用，許多著重即時性的邊際設備如電信網路、安全監控裝置等也紛紛透過邊際AI加速卡方式實現AI功能；安提國際(Aetina)於德國紐倫堡Embedded World 2024公布採用Intel Arc A380E的IA380E-QUFL，採用半高單插槽PCIe子卡設計，能安裝於緊湊的裝置，並提供5年長期供貨，適用於商用遊戲、電視牆、醫療影像、基於AI推論的機器視覺應用。 ▲Arc A380E具備8個Xe Core與6GB GDDR6 IA380E-QUFL具備6GB GDDR6記憶體，強調不僅尺寸小巧，且僅使用50W能耗(註：Intel官方簡報為75W，也許是由於半高卡設計

Chevelle.fu

照片中提到了OT、ASTRA、synoptics，包含了屏幕截圖、突觸、突觸、嵌入式系統、嵌入式世界

Synaptics發表基於SL系列嵌入式處理器與開發套件的Astra AI原生物聯網平台

Synaptics於Embedded World 2024大會期間宣布包含SL系列嵌入式處理器與Machina Foundation系列開發套件在內的Astra AI原生物聯網平台，藉此滿足產業對AI的全面需求；Astra AI平台提供滿足當前產業需求的架構、擴充性與靈活性，提供開箱即用的邊際AI體驗，SL處理器允許設計人員不需依賴雲端資料中心即可將AI導入產品、藉此解決隱私與延遲問題。Synaptics將擴大AI原生產品，於後續推出針對能耗最佳化的AI原生SR系列MCU。 Astra AI原生物聯網平台包括硬體、整合軟體、自適應開源AI框架、合作夥伴生態系與無線連接，能為物聯網邊際裝置設計提

Chevelle.fu

照片中提到了CIVICIA、VIDIA、VIDIA，包含了黑暗、英偉達、圖形處理單元、英偉達、集成電路

NVIDIA Hopper架構TensorRT-LLM使生成式AI推論提升近3倍，H200藉HBM3e記憶體散熱打破MLPerf推論紀錄

雖然NVIDIA甫在GTC 2024公布眾所矚目的全新Blackwell架構，但畢竟Blackwell仍要待到2024年下半年才會開始出貨，故目前最新的NVIDIA AI GPU加速產品為採用美光HBM3e記憶體的NVIDIA H200 Tensor Core GPU；NVIDIA公布全新的MLPerf測試成績，基於Hopper架構的H100借助TensorRT-LLM軟體突破MLPerf的生成式AI測試項突破原本的性能上限，於GPT-J LLM推論性能較6個月前提升近3倍，而陸續出貨的H200 GPU則透過容量、頻寬提升的HBM3e記憶體與更彈性的散熱，一舉刷新多項MLPerf的紀錄。 ▲包

Chevelle.fu

美光8層堆疊24GB HBM3e記憶體正式量產，NVIDIA H200 Tensor Core GPU率先採用

美光Micron宣布兼具高效能、大容量且更節能的HBM3e記憶體已正式量產，同時NVIDIA H200 Tensor Core GPU為首款宣布採用美光8層堆疊的24GB HBM3e解決方案的產品，並於2024年第二季出貨。同時美光預計於2024年3月還將推出12層堆疊36GB HBM3e記憶體樣品，並成為NVIDIA GTC大會贊助夥伴，屆時將分享更多美光AI記憶體產品組合與藍圖。 ▲於2023年11月公布的NVIDIA H200 Tensor Core GPU將是美光HBM3e的先行導入產品 HBM記憶體是當前高效能運算、AI應用、資料中心等不可或缺的記憶體技術，美光新一代HBM3e記憶體

Chevelle.fu

照片中提到了Qualcomm、Cloud Al 100 Ultra、MWL，跟高通公司、澳大利亞博物館有關，包含了個人電腦硬件、電腦硬件、電腦、電腦數據存儲、戴爾技術

高通鎖定生成式AI、大型語言模型公布Qualcomm Cloud AI 100 Ultra雲端AI推論加速器

雖然高通Qualcomm在當今的AI大戰的重心放在擅長的邊際裝置側，不過在SC23活動期間，高通公布了一款可程式化的雲端AI推論加速器新品Qualcomm Cloud AI 100 Ultra，作為因應當前生成式AI與大型語言模型(LLM)世代的需求，強調較前一代產品性能提升4倍，並可透過Qualcomm AI Stack 和Cloud AI SDK連接多個Qualcomm Cloud AI 100 Ultra擴大推論能力。 ▲Qualcomm Cloud AI 100 Ultra是一款鎖定推論使用的加速卡 Qualcomm Cloud AI 100 Ultra是一款具可程式化特質的AI加速器

Chevelle.fu

照片中提到了Google Cloud、NVIDIA、NVIDIA Google Cloud E‡â½，跟英偉達、谷歌光纖有關，包含了天空、方舟：生存進化、個人電腦、按訂單生產、牌

GTC 2023 ： NVIDIA 聯手 Google Cloud 開發大型語言模型與生成式 AI 推論平台， Google Cloud 將為首家 NVIDIA L4 GPU 執行個體供應商

NVIDIA 宣布攜手 Google Cloud 加速推動各行業的生成是人工智慧應用程式，旨在使開發者能取得最新技術，助其快速以符合成本效益的方式啟動與執行新應用程式，同時 Google Cloud 也將率先成為首家提供 NVIDIA L4 GPU 執行個體的雲服務供應商，使客戶能受益於全新架構設計應用於人工智慧影像技術，相較 CPU 具備 120 倍的人工智慧影像效能，同時提高 99% 能源效率。 Google Cloud 將透過新款 G2 虛擬機器自即日起開放非公開預覽，同時 Google 也預計將 L4 GPU 應用於其下 Vertex AI 機器學習平台。 NVIDIA 預計於 3 月

Chevelle.fu

照片中提到了L4、L40、H100NVL，包含了水、水、產品設計、設計、產品

GTC 2023 ： NVIDIA 公布著重低能耗的 NVIDIA L4 Tensor Core GPU 以及針對大型語言模型佈署的 NVIDIA H100 NVL 加速模組，迎接 AI 的「 iPhone 時代」

NVIDIA 宣布擴大採用新世代架構的推論產品新陣容，在 GTC 2023 公布針對基礎設施與低功耗的 NVIDIA L4 GPU ，以及針對大型語言模型佈署、採用高相容性 PCIe 介面的 NVIDIA H100 NVL 模組。在這兩項推論新品加入陣容後，與先前已經公布的 NVIDIA L40 GPU 、 Grace Hopper Superchip 構成基於新世代架構的推論產品線。 NVIDIA 希冀藉由更廣泛且彈性的加速運算系統，迎接 AI 的「 iPhone 時代」(註：指 AI 將迎來如 iPhone 帶動智慧手機一樣的時期)。 NVIDIA Grace Hopper Superch

Chevelle.fu

照片中提到了AMDA、LVED、AMD ALVEO V70，跟Advanced Micro Devices公司有關，包含了階段、黑暗、晚、顯示裝置、字形

CES 2023 ： AMD 公布首款 AI 基礎設施加速器 ALVEO V70 ，僅 75W 可達 400 TOPS AI 算力

AMD 在 CES 宣布於 Ryzen 7040 APU 導入 Ryzen AI 加速架構的同時，也宣布針對首款 AI 基礎設施加速器產品 AMD ALVEO V70 ； AMD ALVEO V70 是一款鎖定自雲到端 AI 基礎設施的加速器產品，為高效率 AI 推論而生，將與 NVIDIA T4 進行競爭。 AMD ALVEO 預計將於 2023 年春季正式推出 ▲強調 ALVEO V70 比 NVIDIA T4 在各式應用高出 70% 效能 AMD ALVEO V70 採用稱為 XDNA 的 AI 引擎架構，可提供高達 400 TOPS 的 AI 算力，但僅 75W TDP ，並採用 PC

Chevelle.fu

亞馬遜 AWS 推出三款自研晶片的 Amazon EC2 執行個體，分別對應高效能運算、網路封包處理與深度學習需求

亞馬遜旗下 AWS 宣布推出由 AWS 自研三款晶片的三款全新 Amazon EC2 執行個體，包括採用針對高效能運算的 Amazon Graviton3E 的 Amazon EC2 Hpc7g ，著重增強網路頻寬與封包處理能力的 Amazon Nitro 的 Amazon EC2 C7gn ，以及專業機器學習加速推論的 Amazon Inferentia2 所驅動的 Amazon EC2 Inf2 ，以差異化的晶片設計滿足不同應用領域的運算需求。其中 Hpc7g 執行個體所搭載的 Gravition3E 處理器，相較 C6gn 執行個體的處理器福點運算效能提高 2 倍，並帶來 20% 整體

Chevelle.fu

相關文章

翻译：