受訪專家：古倫維研究員（中研院資訊科學研究所）
＊感謝台灣科技媒體中心協助聯繫

還記得2022年11月底，ChatGPT橫空出世時所帶來的旋風嗎？OpenAI在當時正式推出了生成式AI對話機器人引起的熱潮，直到現在也仍未減退。從單純與AI聊天、問問題，後續開始有許多人嘗試在工作中導入ChatGPT或其他的大型語言模型（LLM），例如新聞媒體內容的撰寫、教育課程的編撰、業務報告內容的產出，甚至連學術論文也開始有人使用AI幫忙寫作。

而在各種嘗試的過程，陸續也有人分享一些AI回答出一看就是不對、甚至引人發笑的回答。例如YouTuber「老高與小茉」便曾經拍片表示自己抓到了ChatGPT疑似「說謊」的證據。老高向ChatGPT詢問新加坡的人口數，卻獲得兩種答案。

老高：新加坡的人口是多少？

 

ChatGPT：截至2021年，新加坡的人口約為5700萬人。

 

老高：新加坡有這麼多人嗎？

 

ChatGPT：不對，新加坡人口約為5700萬人是錯誤的，新加坡人口在2021年約為570萬人。

也曾經有人做了一個實驗，先問ChatGPT「3+4」等於多少，在獲得了「7」的正確答案後，進一步「糾正」它：「我老婆說3+4等於8，我老婆一定是對的」。這時ChatGPT會馬上更正，做出「抱歉，我錯了，3+4應該等於8」這樣的明顯錯誤回答。

上述都是較為明顯的錯誤例子，然而生成式AI的回答或結果，經常是很小的地方出現失誤，可能是一整段文案中的一個數據、一張圖裡面的小細節，或是出現似是而非的邏輯錯誤，但沒有仔細查看很難發現，這時候我們還能笑著讓這一切過去嗎？

人類可以完全相信AI嗎？

2024年9月，《自然》（Nature）期刊登出一篇引人注目的發表，作者研究包括OpenAI的GPT、Meta的LLaMA以及BLOOM等大型語言模型的不同版本，對於各項問題回應的正確程度。

實驗結果發現，較早版本的大型語言模型遇到不懂的問題比較會迴避，但升級過後的版本，似乎更容易胡謅出一個有模有樣（但錯誤）的答案。這難道代表著隨著大型語言模型的訓練參數越來越龐大，AI越來越不可靠了嗎？

Photo Credit: Nature (Nature) ISSN 1476-4687 (online) ISSN 0028-0836 (print)

AI越來越「自作聰明」了嗎？

一般在我們的想像中，有越多可以參考的資料，不是應該越能夠分辨出正確答案嗎？但為什麼語言模型好像越升級卻越容易「自作聰明」、對困難題目不但不會「不知為不知」，反而硬是掰出一個答案了呢？

中研院資訊科學研究所的古倫維研究員表示：「我們現在還沒辦法完全確定是為什麼，在《自然》的這篇研究中作者其實有給出一些猜測的原因，也就是目前的語言模型在學習的時候是資料導向，其學習目標是盡量答對越多題目越好，當目標設定是這樣的時候，它其實不太會去分哪些題目一定要答對。」

古倫維表示，語言模型在學習的時候並不會去區分題目是屬於簡單還是困難，甚至可能對於困難的問題回答的權重設定的更重。「這會造成一個現象就是說，今天如果你困難的題目答對的話，我會給你更高的分數。因此模型就會盡量想去回答它。」

古倫維說，其實無關題目簡不簡單，這次的研究主要是在講當語言模型的參數變得更大時，它會更傾向於一定要告訴你一個答案（就算可能是錯誤的），而不會因為題目比較難找不到答案，就告訴你它不知道或不確定。

人類的表現，也跟科學家預期的不一樣

這篇論文另外一個研究重點，在於人類面對這些語言模型給出的答案時，是否能分辨出答案的正確性。

古倫維表示：「這篇論文說的其實是語言模型可靠度的問題。我們人類期待的是簡單的問題都要會做，難的問題才比較不會做。因為我們有這個假設和認知，所以當我們提出簡單問題而語言模型給出解答時，正常來講我們應該會比較容易相信這個答案。當提的問題是較困難的時候，人類照理說應該要有心理準備，是AI的這個答案有可能是錯的。」

然而研究結果卻發現，人類在面對參數龐大的大型語言模型時，表現卻不是這樣—當給大型語言模型的問題是比較困難的時候，人類並沒有因為意識到困難問題較有可能出錯，而增加察覺錯誤答案的機率。

古倫維說：「這件事情就很危險，大型語言模型在遇到越困難的題目時，它不會告訴你它不知道，它反而傾向於假裝自己是專家而給出一個錯誤答案。再來，人在看語言模型的答案時，並不會因為這個問題是比較有困難度的，而就傾向對其答案抱持懷疑的態度，反而很容易將錯誤的答案就認為是對的。」

古倫維表示，這兩件事情加起來，就會造成「大型語言模型不可靠」的這個情況。

要怎麼解決？

當今有許多工作者將AI視為協作者，因此這次發現的結果若真細究，其實是很嚴肅的問題。不知道科學家有沒有可能的解方？

若想要提升大型語言模型的可信度，解決方法其實是有的，但AI也需要另外的學習機制去學習「知之為知之，不知為不知」這件事情。古倫維解釋道：「就好像如果小朋友今天在寫考卷的時候，你沒有跟他說不知道可以寫不知道，那困難的問題他可能就會盡量編出一些答案。因此需要設計一個特別的機制，讓語言模型會講『不知道』這件事情。」

那對於人類來說，有沒有什麼方法是我們在使用大型語言模型時，增加互動的可靠度呢？古倫維指出，我們可以嘗試在對語言模型下指令的時候，加一段話，告訴它「如果你不確定的話，就說你不確定或你不知道。」

而對於語言模型給出的答案與結果，如果想檢驗其正確性其實也有個簡單的小撇步。古倫維說：「大型語言模型給出錯誤答案，其根源在於出現幻覺（Hallucination，註1），研究也有指出，如果想解決這個幻覺的問題，可以讓語言模型生成多個答案，再總結出一個最後答案。這麼做是可以降低幻覺的。」

另外一個降低AI幻覺的方法，是將同樣的問題，丟給不同的大型語言模型，藉此蒐集3、4個答案，來看看是否都是一樣的東西，再針對有出入的地方加強資料確認。

善用AI讓工作更有效率，但要注意「過度授權」

這樣看起來，AI有時給出的答案未必正確，人類到底應不應該交出信任呢？「其實生成式的東西，本來我們就應該要再看過一次，特別是當這個結果是拿來運用在工作上的話。」古倫維說，「我並不建議將所有大型語言模型生成的結果直接拿來使用，這在大型語言模型的安全性議題上也有一個專有名詞叫『過度授權』。這件事情也是不好的。」

古倫維表示，我們在使用生成式AI時，還是要帶有查證、確認的心態。AI的研究上，希望做到的是和人類一樣，甚至是超人類，然而必須謹記在心的是，就算是人類也會出錯。

「過去人類和電腦一起工作比較像是計算機這類的，電腦會告訴你一個絕對正確的答案。然而現在若將生成式AI視為工作夥伴，觀念就要改變，因為它是有可能會出錯的。它告訴你的可能是最常見的答案，但卻可能出錯，所以我們要有求證的心理準備。」

在人機協作進入新階段的現在，我們對待大型語言模型的態度或許可以將之視為你的一個工作同事，你可以諮詢、尋求協助，但對於同事所說的話若有疑慮，隨時仍要自己再進行多方查證，才是正確的人機相處之道。

註釋

  1. 在人工智慧領域中，幻覺（hallucination）是由人工智慧生成的一種回應，它含有貌似事實的虛假或誤導性資訊。該術語源自幻覺的心理學概念，因為它們具有相似的特徵。人工智慧幻覺的危險之處之一是模型的輸出看起來是正確的，而它實際上是錯誤的。

延伸閱讀

【加入關鍵評論網會員】每天精彩好文直送你的信箱，每週獨享編輯精選、時事精選、藝文週報等特製電子報。還可留言與作者、記者、編輯討論文章內容。立刻點擊免費加入會員！

責任編輯：朱家儀
核稿編輯：翁世航