針對Google此次在Google I/O 2023揭曉的大型自然語言模型PaLM 2,DeepMind首席軟體工程師戴明博 (Andrew Dai)與DeepMind生成模型產品經理Paige Bailey在會後進一部分享更多細節。
戴明博表示,相比先前提出的PaLM,這次揭曉的PaLM 2其實採用相對較小的模型架構,主要改變資料運算結構,進而讓縮小後的模型可以進一步用在各類終端裝置,例如手機端使用,藉此提升其應用彈性,另外也能對應離線使用需求。
另一方面,由於模型尺寸變小,在裝置端的運算負載相對也會變低,因此能加快人工智慧運算效率,同時也讓裝置端電力等能源損耗減少,因此相較PaLM能增加更多優勢。
至於因為運算架構改變、實際應用效益不同,因此Google接下來的服務都會陸續換上PaLM 2運算模型,不再繼續使用PaLM。
另外,從Google對外公布數據顯示,PaLM 2採用3.6兆組標記 (token)進行訓練,規模為PaLM的5倍以上 (PaLM約以7800億組標記訓練),除了能對應更多種語意理解,更進一步強化編程、數學運算,以及創意寫作等應用,因此在串接聊天機器人「Bard」時,能以更自然語意與人互動,而在串接Google Cloud的Duet AI工具則能協助開發者快速編寫程式,或是檢查程式碼是否有誤,甚至能在Gmail內協助使用者撰寫文情並茂的信件。
但在實際對應參數部分,PaLM 2僅對應3400億組參數,而PaLM對應參數規模則達5400組,顯示PaLM 2能以更「輕便」形式運作,同時可對應不同大小規模的模型運作,例如Google日前在Google I/O 2023期間公布的最小規模模型「Gecko」 (壁虎),以及更大模型「Otter」 (水獺)、「Bison」 (野牛),以及最大模型「Unicorn」 (獨角獸),藉此對應不同運算情境使用,更強調可在手機等裝置上完成前期運算。
依照Google說明,透過微調型態設計,PaLM 2將能以更有效率形式運作,並且能有更快反應速度,同時也藉由新架構設計,不僅改變傳統資料訓練方式,更可讓不同語言資訊能有更好交換效率,而接下來預期推出的「Gemini」 (雙子座)則預期能對應更大規模模型訓練效益,並且能對應更複雜的多公互動運算需求。
Google在2017年提出大型自然語言Transformers,後續在2018年提出進階版大型自然語言BERT,2019年則提出具備文字轉譯能力的TS,並且在2020年提出具備對話能力的大型語言模型LaMDA,此後則公布PaLM、Diffusion Models,以及ULM、USM語言模型設計,而在今年Google I/O 2023期間宣布推出PaLM 2,更意味Google接下來將以更大規模自然語言模型強化人工智慧市場佈局,並且讓更多服務產品都能藉由人工智慧技術「升級」。