文：凱特・克勞馥（Kate Crawford）

委外的國家

國家與人工智慧產業之間的關係，遠遠不僅止於國家軍隊。曾是戰區和間諜活動專用的科技，如今運用到地方政府的層級，從福利機構到執法部門都是。促成這種轉變的原因，是將國家的關鍵職能委外給科技承包商。表面上，這似乎與通常透過洛克希德．馬丁或哈里伯頓（Halliburton）等公司，將政府職能委外給私部門沒什麼不同，但現在軍事化形式的模式偵測和威脅評估正大規模進入內政層級的服務和機構。這種現象一個重要的例子是帕蘭泰爾科技公司（Palantir），該公司以《魔戒》（Lord of the Rings）中的魔視石「真知晶球」命名。

帕蘭泰爾科技公司成立於二○○四年，其中一位創辦人是億萬富翁泰爾（Peter Thiel），他也是PayPal的共同創辦人、川普總統的顧問和金主。泰爾後來在一篇評論文章中論道，人工智慧最重要的就是一種軍事科技：「忘了科幻小說的奇思幻想吧；實際存在的人工智慧，厲害之處在於它可應用到相對平凡的任務，例如電腦視覺和資料分析。雖然沒有科學怪人那麼不可思議，這些工具對任何軍隊來說仍是很有價值的，例如取得情報優勢⋯⋯機器學習工具無疑也可作為民用。」

雖然泰爾肯定機器學習的非軍事用途，但他特別相信中介空間：在這個空間裡，商業公司生產軍事化工具，提供給任何想要獲得情報優勢並願意為此付費的人。他和帕蘭泰爾執行長卡普（Alex Karp）都描述該公司是「愛國的」，卡普還指責其他拒絕與軍事機構合作的科技公司是「邊緣型懦夫」。在一篇富洞見的文章中，作家韋格爾（Moira Weigel）研究了卡普的大學學位論文，該論文透露出卡普早期對於侵略的求知興趣，以及「犯下暴力之行的渴望是人類生命中一個不變的基礎事實」的信念。卡普的論文標題是〈現實生活中的侵略〉。

帕蘭泰爾原本的客戶是聯邦層級的軍事和情報單位，包括國防部、國安局、聯邦調查局和中情局。正如移民維權組織米研提（Mijente）在一項調查中揭示的，川普當選總統後，帕蘭泰爾和美國政府機構的合約超過十億美元。但帕蘭泰爾並未將自己定位為洛克希德．馬丁那種典型的國防承包商。它有矽谷新創公司的特點，總部位於帕拉奧圖，職員多是年輕工程師，並得到中情局資助的創投公司IQT（In-Q-Tel電信公司）支持。

除了最初的情報機構客戶之外，帕蘭泰爾還開始與避險基金、銀行、沃爾瑪等企業合作。不過其DNA的塑造是為了在國防圈內，為國防圈工作。它採用在史諾登文件中看到的相同方法，包括在各處設備提取資料，滲透網絡，以追蹤與評估人和資產。帕蘭泰爾很快成為受青睞的委外監視服務提供商，包括為美國移民和海關執法局（Immigration and Customs Enforcement）設計資料庫和管理軟體，推動驅逐出境的機制。

帕蘭泰爾的商業模式是基於使用機器學習來進行資料分析與偵測模式的組合，並結合了更一般性的諮詢。帕蘭泰爾派工程師到一家公司，提取包羅萬象的資料——電郵、通話紀錄、社群媒體、員工進出建築物的時間、訂機票的時間，該公司準備分享的一切事物——然後尋找模式，提供下一步該怎麼做的建議。一種常見的作法是尋找當前或潛在的所謂「搗蛋鬼」，也就是可能洩漏資訊或欺騙公司的不滿員工。帕蘭泰爾的工具中內建的潛在世界觀令人想起國安局：收集一切，然後尋找資料中的異常之處。

然而，國安局的工具是用來監視和鎖定國家的敵人，無論是在傳統的戰爭或祕密戰事中都是如此，而帕蘭泰爾的作法都是針對平民。正如二○一八年《彭博社》一項大型調查所描述的，帕蘭泰爾是「一個為全球反恐戰爭設計的情報平台」，現在「成了對付國內一般美國人的武器」：「帕蘭泰爾是靠著為五角大廈以及在阿富汗和伊拉克為中情局工作而起家⋯⋯美國衛生及公共服務部（Department of Health and Human Services）則利用帕蘭泰爾來偵測聯邦醫療保險詐欺。聯邦調查局用它來進行刑事偵查。國土安全部部署它來篩查航空旅客和密切注意移民。」

不久之後，對無證工人的密切注意演變成在學校與工作場所進行逮捕和遣送。為了促進這項目標，帕蘭泰爾製作了一款名為「獵鷹」（FALCON）的手機應用程式，其功能就像巨大的拖網，從多個執法部門和公共資料庫收集資料，其中列出人們的移民史、家庭關係、就業資訊和學校詳細資訊。二○一八年，美國移民和海關執法局特工運用「獵鷹」來引導，對全美近百家7-Eleven進行突襲，被稱為「川普時代針對單一雇主的最大行動」。

雖然帕蘭泰爾努力對該公司構建的內容或系統的運作方式保密，但其專利應用程式讓我們稍微了解該公司以人工智慧來進行驅逐的方法。在一個聽來無害、名為「動態和互動行動圖像分析與識別的資料庫系統和使用者介面」（Database systems and user interfaces for dynamic and interactive mobile image analysis and identification）應用程式中，帕蘭泰爾吹噓這種應用程式能在短時間內拍攝遇到的人物，無論他們是否受到懷疑，都能把他們的圖像與所有可用的資料庫進行對比。本質上，這套系統是運用臉部辨識和後端處理來創建一個框架，作為任何逮捕或驅逐的基礎。

雖然帕蘭泰爾系統與國安局系統在結構上有相似之處，但它們已經轉移到地方社區層次，出售給連鎖超市，也賣給地方執法部門。這代表從傳統警政，轉向與軍事情報基礎設施更相關的目標。誠如法學教授佛格森（Andrew Ferguson）所解釋的：「我們正進入一個檢警雙方會說『演算法叫我這樣做，我就照做，我不知道自己在做什麼』的狀態。而這將會發生在範圍廣泛的層次，幾乎沒有監督。」

社會學家布蕾恩（Sarah Brayne）是最早直接觀察帕蘭泰爾資料平台如何在現地使用的學者之一，具體來說是洛杉磯警察局的使用情形。花了兩年多時間和警方一起搭車巡邏、在辦公桌旁觀察他們，並進行多次訪談之後，布蕾恩的結論是，在某些領域，這些工具只是強化了過去警察的作法，但在其他方面，它們正在改變整個監視流程。簡言之，警方正在變成情報員：

從傳統的監視轉變為監視大數據，與執法行動移往情報活動有關。執法與情報的基本區別如下：執法通常是在犯罪事件發生後才干預。在法律上，除非有相當理由，否則警方不能搜查和收集個人資訊。相反地，情報基本上是預測性的。情報活動涉及收集資料；識別可疑模式、地點、活動和個人；並根據取得的情報，先發制人地干預。

雖然人人都受到這些類型的監視，但有些人比其他人更容易受到監視：移民、無證者、窮人、有色人種社區。正如布蕾恩在研究中觀察到的，使用帕蘭泰爾的軟體會複製不平等，讓那些在以窮人、黑人和拉美裔為主的社區的人受到更多監視。帕蘭泰爾的計分系統給人一種客觀的感覺：用一位警官的話來說，它「只是數學」。但它創造了強化的邏輯迴圈。布蕾恩寫道：

儘管計分系統宣稱的目的是避免警方執行勤務時存在有法律爭議的偏誤，但它隱藏了警務中有意和無意的偏誤，並創造了一個自我延續的循環：如果個人的分數值很高，會受到加強監視，因此更可能被攔下來，進而提高分數值。這種作法妨礙了已在刑事司法系統中的個人避免進一步捲入監視網的能力，同時模糊了執法在影響風險評分方面的作用。

帕蘭泰爾等類似組織的機器學習法可能導致反饋迴圈，那些納入刑事司法資料庫中的人更可能受到監視，因此又更可能納入更多關於他們的資訊，於是讓警方有合理的理由進一步審查。如此不僅加深不平等，而且被科技洗白了，看似免於錯誤的系統把不平等合理化，但實際上加劇了過度執法和監視時帶有種族偏見的問題。這種始於國家政府機構的情報模型，如今已成為地方鄰里警務的一部分。警察部門越來越像國安局，導致歷史上的不平等惡化，並徹底改變和擴張警方的實務運作。

儘管政府大量增加人工智慧系統的合約，卻很少關注一個問題，也就是這些技術的私人供應商是否應該對政府使用他們的系統時所產生的危害負起法律責任。考量政府頻繁委請承包商來為國家決策提供演算法架構，無論是警政或福利系統都是，這麼一來，像帕蘭泰爾這樣的技術承包商應該對歧視和其他違法行為負責。目前州政府採購的人工智慧系統出問題時，大多試圖否認任何責任，理由是「我們不能對我們不懂的事情負責」。這表示商業演算法系統在政府決策過程中發揮作用，卻缺乏有意義的問責機制。

法律學者舒茲（Jason Schultz）和我曾主張，直接影響政府決策的人工智慧系統開發者，應被認定為國家行為者（state actor），在某些情況下出於憲法責任的目的而行動。換言之，他們應該對造成的危害承擔法律責任，就像國家所做的一樣。若非如此，廠商和承包商幾乎沒有動機確保其系統不會強化歷史危害，或不產生全新的危害。

這種現象的另一個例子是二○○五年成立的Vigilant Solutions（直譯「警戒方案」）。該公司的營運基於一個單一前提：採用若由政府執行可能需要司法監督的監視工具，將其轉變為蓬勃發展的私營企業，不受憲法保障的隱私限制。Vigilant在全美多個城市展開投資，從汽車、路燈柱、停車場到公寓大樓，到處安裝自動車牌辨識（automatic license-plate recognition, ALPR）攝影機。

這個大量部署、形成網絡的攝影機拍攝每輛經過的汽車，將車牌圖像儲存在一個龐大的永久資料庫。然後Vigilant將資料庫訪問權賣給警方、私人投資者、銀行、保險公司和其他想訪問該資料庫的人。如果警察想追蹤一輛車在整個州的足跡並標記它去過的每一個地方，Vigilant可以出示給他們看。同樣地，如果銀行想要收回一輛車，以一定的價格付費給Vigilant，後者就會顯示汽車的位置。

總部位於加州的Vigilant在行銷時，將自己標榜為「值得信賴的打擊犯罪工具之一，幫助執法部門找出線索，更快解決犯罪」。該公司與德州、加州、喬治亞州的一些政府單位合作，為他們的警方提供一套自動車牌辨識系統在巡邏時使用，還可訪問Vigilant的資料庫。作為交換，地方政府向Vigilant提供未執行的拘票，以及逾期法庭費用的紀錄。

任何車牌的標記若與資料庫中未繳罰款的相關紀錄匹配，車牌資訊就會輸入警察的行動系統，提醒警察要求駕駛把車停到路邊。然後駕駛有兩項選擇：當場支付未繳的罰款，或者被逮捕。除了收取百分之二十五的附加費，Vigilant還保留每一筆讀到的車牌紀錄，提取該資料，加入其龐大的資料庫。

Vigilant與美國移民和海關執法局簽訂了一項重要合約，讓該機構可以取得私營企業收集的五十億筆車牌紀錄，以及全美八十個地方執法機關提供的十五億個數據點——包括人們在哪裡生活和工作。這些資料可能源於地方警察與美國移民和海關執法局的非正式協議，並且可能已經違反國家的資料分享法。美國移民和海關執法局自己的隱私政策限制在「敏感地點」附近收集資料，例如學校、教堂和抗議活動。但在這個例子中，美國移民和海關執法局並未收集資料或維護資料庫，只是購買對Vigilant系統的訪問權，後者的限制少得多。這事實上是把公共監視私有化，私人承包商與國家實體之間模糊化，而它產生了不透明的資料收集形式，超出傳統的保護準則。

自此之後，Vigilant就將其「解決犯罪」的套件擴展到車牌解讀器之外，納入聲稱可識別臉部的工具。此舉即是Vigilant試圖把人臉變成等同於車牌，然後將其饋入警務生態中。就像私人偵探網絡一樣，Vigilant創造出上帝視角，觀看美國交織的街道和公路，以及沿途每一個移動的人，同時仍不受任何有意義的監管或問責形式約束。

如果從警察巡邏車轉移到屋子前廊，又會看見另一個地方，在那裡，公共部門與私營部門的資料實務之間的差異正逐漸消失。新一代的社群媒體報案應用程式，例如Neighbors、Citizen和Nextdoor，可讓使用者即時收到當地事件發生時的警告，然後討論這些事件，以及傳送、分享和標記監視器畫面。

Neighbors是亞馬遜的產品，仰賴其Ring門鈴攝影機，它將自己定義為「新型態鄰里監視」，並把鏡頭分類為犯罪、可疑或陌生人等類別。影片通常會與警方共享。在這些住宅監視生態系統中，TREASUREMAP與FOXACID的邏輯結合起來，還連結到住家、街道及兩者之間的所有地方。

對亞馬遜來說，每售出一台新的Ring裝置，都有助於建立住家內外更多大規模的訓練資料集，其正常與異常行為的分類邏輯，和戰場上盟友與敵人的分類邏輯是一樣的。舉例而言，Ring有個功能是使用者可通報亞馬遜包裹遭竊。根據一項新聞調查，其中許多貼文帶有種族主義的評論，而影片張貼不成比例地把有色人種描述為可能的竊賊。除了報案，Ring也可以用來通報被視為績效不佳的亞馬遜員工，例如對包裹不夠小心——創造了新一層勞工監視和懲罰。

為了完善其公私監視基礎設施，亞馬遜一直積極向警政部門推銷Ring系統，給予折扣，並提供一個入口網站，讓警方可看見Ring攝影機在當地區域的位置，還能直接聯絡屋主，在沒有搜查令的情況下非正式地索取影片。亞馬遜已經與六百多個警察部門協商，建立Ring影片分享的合作關係。

一個案例是，記者哈金絲（Caroline Haskins）有一次提交申請公共紀錄時，發現亞馬遜與佛羅里達州一個警察部門協商一份諒解備忘錄，該備忘錄顯示警方受到激勵推廣Neighbors應用程式，而且每一次合法下載，警方就能獲得換取免費Ring攝影機的點數。結果就是一個「自我延續的監視網絡：更多人下載Neighbors、更多人得到Ring，監視影片激增，於是警方可以想要什麼就要什麼」，哈金絲寫道。監視能力曾經是由法院管轄，現在在Apple的App Store提供，當地街頭警察也會推廣。正如媒體學者胡彤暉的觀察，藉由使用這樣的應用程式，我們「成了國家安全機構的自由工作者」。

胡彤暉描述為何鎖定目標——典型的軍事用語——在所有形式中都該一起被視為一個相互連接的權力系統，從定向廣告、矛頭指向可疑鄰居到瞄準無人機都是如此。「我們不能僅思考一個個彼此孤立的鎖定形式；結合資料主權，它們呼籲我們以不同方式理解雲端時代的權力。」曾經只屬於情報機構執掌範圍的觀察方式已經粒化，到處分散在許多社會系統中——嵌入工作場所、住家和汽車——並由科技公司推動，這些公司存在於商業與軍事人工智慧領域重疊的交叉線空間裡。

書籍介紹

本文摘錄自《人工智慧最後的祕密：權力、政治、人類的代價，科技產業和國家機器如何聯手打造AI神話？》，臉譜出版

作者：凱特・克勞馥（Kate Crawford）
譯者：呂奕欣

  • momo網路書店
  • Readmoo讀墨電子書
  • Pubu電子書城結帳時輸入TNL83，可享全站83折優惠（成人商品、實體商品、限定商品不包含在內，不得與其他優惠併用）
  • 透過以上連結購書，《關鍵評論網》將由此獲得分潤收益。

AI ≠ 人工 + 智慧
模擬人類微笑的Amazon彎曲箭頭背後，誰受益、誰為此犧牲？
為何Google不惜一切代價避免提到或暗示人工智慧？
從沙漠到海洋，從岩石到城市，從樹木到超大型企業，從跨洋航線到原子彈，
誰在AI後面？誰背叛了AI？

從神話到魔化，從地球、雲端到太空，破解AI背後的6個祕密，探索人工智慧的另一種可能！

當代AI研究先驅、微軟研究院資深首席研究員
第一手揭露人工智慧豐功偉業背後的陰暗面！

幽靈代價，我們為AI付出了什麼？

  • 人工智慧既非人工的，也不是智慧的，那些看似萬能的智慧是如何「製造」出來的？
  • 從內華達沙漠到內蒙古巨大的人工湖、從亞馬遜倉庫到太空殖民，直擊人工智慧帝國全景地圖！
  • 人工智慧充滿隱藏成本，從自然資源和勞力到隱私和自由都是代價，深入了解我們為人工智慧付出了什麼？
  • 人類為人工智慧制定的倫理架構非常失敗，程式碼和演算法並非致命毒藥，那麼到底哪裡出了錯？

「AI」，一個兩字的短語，隱含了一則神話和六個幽靈！

當我們跟Siri聊天、開著特斯拉電動車上路、用Google搜尋、上傳IG自拍、觀看抖音影片，以為自己生活在人工智慧的美好新世界，但事實上許多看似有價值的自動化系統能運作，背後都隱藏著幽靈。運行一個自然語言處理模型產生的二氧化碳排放量，相當於從紐約搭機往返北京125次！精心打造的魔鬼細節，讓我們相信智慧機器在做那些神奇的工作。

人工智慧不只是演算法、資料與硬體的混合物，它關乎自然界、政治、歷史，有時甚至也和美有關。當人工智慧滲入政治生活、耗盡地球之時，會發生什麼事？人工智慧如何形塑我們對自己及對社會的理解？

本書作者凱特・克勞馥是當代對人工智慧的影響最深思熟慮的研究者之一，以人文主義者的眼光、藝術家的感知、科學家的嚴謹，揭露人工智慧真實的樣貌。她憑藉十多年的研究，揭示了人工智慧神話背後隱藏了什麼，從打造與支持人工智慧基礎設施所需的能源和礦物、剝削「自動化」服務背後的勞工，到人工智慧從我們身上取得的資料，破除人工智慧的迷思。

全書以地圖集的概念來看待人工智慧，提供我們重新閱讀世界的可能性。在人工智慧的地景中，我們會造訪礦坑、耗能資料中心裡長長的走廊、顱骨檔案庫、影像資料庫，以及日光燈照亮的物流倉庫，了解每一種分類都有自己的後果。世界上最富有公司的人工智慧系統正榨取各種資源，將人類的思考能力商品化，以服務當代科技的一瞬間。

沒有單一的黑盒子，沒有單純的祕密，錯綜複雜的權力系統交織，映射了一組複雜的期望、意識形態、欲望和恐懼！

Photo Credit: 臉譜出版

【加入關鍵評論網會員】每天精彩好文直送你的信箱，每週獨享編輯精選、時事精選、藝文週報等特製電子報。還可留言與作者、記者、編輯討論文章內容。立刻點擊免費加入會員！

責任編輯：潘柏翰
核稿編輯：翁世航