除了宣布持續在全球地區擴建資料中心，並且透過簡化其資料中心架構，使其在效能與節能之間取得平衡，AWS在此次re:Invent 2024活動上更說明調整資料中心運作架構的重要性，並且宣布以去年宣布揭曉自製推論處理器Trainium2建構超級人工智慧推論伺服器「AWS Trainium2 UltraServer」，同時也宣布與人工智慧新創Anthropic深入合作。
其中，AWS將以16組Trainium2處理器構成Amazon EC2 Trainium2 Instance伺服器，藉此對應20.8 PetaFLOPS的FP8精度運算效能表現，同時也將以4組Amazon EC2 Trainium2 Instance伺服器構成「AWS Trainium2 UltraServer」，藉由總數達64組Trainium2處理器構成83.2 PetaFLOPS的FP8精度運算效能。
另一方面，AWS也強調藉由晶片對晶片直連技術NeuroLink，實現每秒2TB資料傳輸頻寬，以及小於1μs (微秒)的傳輸延遲表現，配合Trainium2整合96GB HBM高頻寬記憶體，在「AWS Trainium2 UltraServer」更具備6TB HBM記憶體容量與每秒可對應185TB的資料傳輸量，使得人工智慧運算執行效率可以大幅提升。
AWS效用運算部門資深副總裁Peter DeSantis更說明，透過電壓控制方式更可讓處理器輸出效能維持穩定，並且能在隨著數量堆疊讓執行效能能等比例擴展。
讓人工智慧模型能以更短時間完成運作、與深入Anthropic合作
而此次針對Amazon Bedrock託管服務推出，並且從即日起開放預覽測試的延遲調整推論選項，更標榜在執行Meta對外開源提供使用的Llama 3.1 700億及4050億組參數模型時，能比微軟Azure、Google Vertex AI平台以更短時間運作。
以Llama 3.1 4050億組參數版本為例，以1萬組字元輸入、生成100組字元的情況下，AWS標榜在Trainium2處理器環境運作僅需3.9秒即可全數生成，Azure平台則要花費6.2秒，而Google Vertex AI平台則需13.9秒完成。
至於先前獲得亞馬遜大筆金額投資的人工智慧新創Anthropic，則在此次re:Invent 2024宣布將以延遲調整推論選項加快其託管使用的Claude 3.5 Haiku人工智慧模型運作，標榜能比先前提升60%執行效率，更強調藉由Trainium2處理器加速推論，將比其他「加速器」有更高推論效率，同時也計畫藉由數以千計的Trainium2處理器陣容推動「Project Rainier」發展項目，使其人工智慧模型執行效能大幅提升。
藉由自製網路系統加快人工智慧執行效率
其他部分，Peter DeSantis更以執行雲端應用服務的伺服器，與人工智慧伺服器各自對應的網路系統差異，在於後者會持續需要更高吞吐量，並且需要越來越快的傳輸速度，甚至不能有停滯情況，因此AWS也針對人工智慧運算需求打造名為「10p 10u」的自製網路光纖系統，標榜能在10微秒時間內完成傳輸10 petabits資料量。
為了實現此目標，AWS更採用自製網路交換器、自製設計的光纖纜線，就連光纖纜線連接器也是由AWS自製設計，不僅更容易檢測線路是否正常，同時也能減少灰塵影響資料傳輸，結果則是讓連接傳輸效率大幅提升，而錯誤率也大幅度降低，相比先前的設計將能提昇10倍傳輸速率，同時恢復回應時間更可低於1秒。
擴大自製處理器應用範疇，降低仰賴NVIDIA等晶片供應比重
在先前時候，市場就傳出在持續亞馬遜在向人工智慧新創Anthropic加碼投資，使其擴大使用AWS平台服務之餘，內部更已經啟動「射月」 (moonshot)計畫，將透過佈署超過10萬組自製處理器Trainium2，藉此降低仰賴採購NVIDIA加速晶片的需求。
而從此次re:Invent 2024強調佈署Trainium2等自製處理器，甚至進一步擴大自製基礎架構設計，並且透過Anthropic應用實例強調其自製處理器所帶動效益，不僅強化自身藉由自製處理器推動其雲端平台執行人工智慧應用服務效能，同時也象徵降低大幅仰賴NVIDIA等晶片供應的情況。
