誰能更好地檢測 Deepfakes:人還是機器?

要點

深度造假技術的擴散給當代社會帶來了許多挑戰，包括可能加劇誤導性訊息的傳播，透過欺詐性陳述破壞個人的可信度，甚至煽動危害國家安全的衝突。

儘管存在旨在檢測深度偽造的先進人工智慧技術，但必須認識到這些方法並非萬無一失。因此，人類判斷在識別潛在的深度造假實例方面繼續發揮關鍵作用。

透過整合人類分析師和人工智慧系統的獨特能力，可以提高偵測和應對深度造假技術帶來的威脅的有效性。雖然每種方法都有自己的優點和局限性，但這兩種方法的結合提供了一種更全面的方法來應對這一新出現的挑戰。

深度造假技術的出現對當代社會的各個面向構成了普遍的威脅。辨別數位媒體真實性的能力對於打擊錯誤訊息變得越來越重要，但隨著人工智慧繼續加速發展，人們必須思考依靠人類直覺還是技術實力更適合識別這種欺騙性操縱。

Deepfake 的危險

隨著人工智慧的不斷發展和演變，深度造假技術對社會造成嚴重破壞的潛力也不斷增加。深度造假的擴散帶來了許多挑戰，我們必須解決這些挑戰，以防範其有害影響。其中一些擔憂包括錯誤訊息的傳播、對機構信任的侵蝕以及仇恨言論和歧視的長期存在。我們必須保持警惕，努力應對這一新出現的威脅，並共同努力減輕其影響。

Deepfake 技術有可能透過操縱影片和音訊內容傳播誤導性訊息，包括可能導致誤解甚至是公共騷亂的假新聞報導。

透過冒充真人的行為，DeepFakes 有可能損害聲譽並誤導熟悉他們的人。

圍繞 Deepfake 技術的國家安全擔憂主要圍繞著製造描述世界領導人煽動敵對行動的視覺和聽覺內容的可能性，這可能會在國際範圍內導致災難性後果。

利用誤導性的視覺效果和聲音片段可能會煽動特定派系內部的不和和動亂，利用情緒達到操縱目的。

網路安全已成為人們日益關注的問題，因為網路犯罪分子利用人工智慧驅動的語音克隆技術冒充可信來源，並透過個人化通訊欺騙毫無戒心的受害者，從而增加了對個人目標成功攻擊的可能性。

Deepfake 技術的惡意應用涉及未經授權盜用個人的圖像或肖像，這些圖像或肖像可能會在未經個人明確同意的情況下廣泛傳播。

信任和信心的建立取決於一個人辨別真假的能力。在不可能進行這種區分的情況下，所有資訊似乎本質上都是不可靠的。

深度造假技術的進步正在穩步提高其真實性，因此開發可靠的方法來識別這些被操縱的媒體內容變得越來越重要。人工智慧 (AI) 透過部署專門的深度偽造檢測模型提供了潛在的解決方案。雖然這些工具在標記欺詐性影片或圖像方面顯示出希望，但它們並不是絕對可靠的，類似於其他試圖精確定位人工智慧生成文字的演算法。

目前，人類的判斷和辨別能力仍然是區分真實內容和受操縱媒體的關鍵資源。然而，問題是，與為此目的開發的先進演算法相比，人類是否具有同等的檢測深度偽造影像和視訊的能力。

演算法能比人類更好地偵測 Deepfakes 嗎?

Deepfakes 是一個足夠嚴重的威脅，以至於科技巨頭和研究團體正在投入大量資源進行研究和開發。 2019 年，Meta、微軟和亞馬遜等公司在 [ Deepfake 檢測挑戰 ] 期間提供了 1,000,000 美元的獎金。 to-advance-ai/) 以獲得最準確的檢測模型。

性能最高的模型在由可公開存取的影片組成的資料集上表現出 82.56% 的準確率。然而，當接受包含 10,000 個先前未觀察到的影片（稱為「黑盒資料集」）的測試時，同一模型的表現顯著下降，準確率僅為 65.18%。

我們的研究涵蓋了一系列調查，檢視基於人工智慧的深度偽造檢測系統與人類表現的比較。儘管各種研究的結果存在差異，但值得注意的是，總的來說，與這些技術相比，人類在識別深度贗品方面表現出相同或更好的記錄。

PNAS 上發表的一項2021 年研究發現，「普通人類觀察者」的準確率比領先的Deepfake 檢測工具略高。然而，研究也發現，人類參與者和人工智慧模型容易犯下不同類型的錯誤。

有趣的是，[雪梨大學]進行的研究(https://www.sydney.edu.au/news-opinion/news/2022/07/11/your-brain-is-better-at-busting-deepfakes-than-you-.html）發現人類大腦在無意識地識別深度贗品方面比我們有意識的努力更有效。

偵測 Deepfakes 中的視覺線索

深度造假檢測的複雜性需要根據所涉及內容的類型進行不同程度的檢查。 2020 年的一個值得注意的例子是，深度偽造將北韓領導人金正恩描繪成一個正在說話的人物；在這種情況下，檢查嘴型（發音嘴型）和語音（音素）等視覺元素是否存在可能暴露偽造品的差異可能是有益的。

人類專家、普通觀眾和演算法都可以執行這種分析，即使結果有所不同。 麻省理工學院 定義了八個問題來幫助識別深度偽造影片:

為了創造高品質的深度假貨，專注於個人的臉部特徵非常重要，因為他們在這個過程中經常會發生顯著的變化。

在評估臉部特徵時，重要的是要考慮臉頰和前額皮膚的紋理和深度。與頭髮和眼睛顏色等其他特徵相比，皮膚的外觀應與其年齡相關的變化一致。雖然深度換臉技術已經取得了顯著進步，但在比較臉部的某些方面時，仍然可能存在明顯的不一致之處。

分析影像時請密切注意眼睛和眉毛。是否存在任何意外的陰影，這可能表明使用了 Deepfake 技術?雖然 Deepfake 演算法旨在盡可能準確地複製現實世界的物理現象，但它們可能無法總是捕捉給定場景的每一個細微差別。因此，仔細檢查影像的視覺元素非常重要，以便識別任何可能表明存在深度偽造操作的潛在不一致或異常情況。

請注意您所配戴的眼鏡。它們是否會造成任何不適或扭曲?它們的外觀是否顯得過於光滑或暗淡?此外，重要的是要考慮頭部的位置和運動如何影響鏡片上存在的任何反射的強度和方向。儘管 Deepfake 技術在模擬現實世界環境（包括照明動態）方面取得了重大進步，但仍有可能無法準確捕捉某些細微差別，特別是在光相互作用的自然物理方面。

值得注意的是，DeepFakes 技術能夠高精度地添加或去除鬍鬚、鬢角或鬍鬚等臉部毛髮。雖然它可以在這些方面產生令人信服的結果，但透過 DeepFakes 實現的臉部毛髮變換的自然性可能並不總是完全成功。

請注意臉部痣的任何不規則或不對稱，因為它們可能預示著潛在的健康風險。仔細檢查你的痣並確定它們是否是自然的很重要。如果痣看起來不自然或發生了變化，應立即由皮膚科醫生進行評估。定期自我檢查有助於及早發現皮膚癌和其他與異常痣相關的疾病。

請注意相關人員過度或不足眨眼的任何情況，因為這可能表示某些心理狀態或狀況。

請密切注意我說話時嘴唇的動作，因為一些 Deepfake 影片依靠口型同步來實現真實感。評估影片時，請注意嘴唇動作是否顯得自然且與所說內容相符。

專為檢測深度偽造而設計的先進人工智慧系統能夠檢查一系列類似的指標，儘管有效性水平各不相同。數據專家的持續努力包括設計創新技術，包括識別在螢幕上演講的個人的正常面部血流模式。新穎策略的實施或對當前方法的增強可能會導致人工智慧在不久的將來在該領域超越人類的表現。

偵測 Deepfakes 中的音訊線索

由於影片中缺乏視覺指示符並且缺乏檢測聲音和影像之間差異的機會，深度偽造音訊的識別提出了一個獨特的障礙。識別深度贗品的過程主要依賴聽覺檢查，在某些情況下還需要元資料驗證的額外支援。

倫敦大學學院 在2023 年發表的一項研究發現人類可以偵測73% 的時間都是 Deepfake 語音（英語和國語）。與 Deepfake 視訊一樣，人類聽眾通常會直觀地檢測到人工智慧生成的語音中不自然的語音模式，即使他們無法指出哪些地方不正常。

常見的跡象包括:

⭐口齒不清

⭐缺乏表達

⭐背景或乾擾噪音

⭐聲音或言語不一致

⭐聲音缺乏“豐滿度”

⭐過度腳本化的交付

不存在錯誤開始、修改和聲帶清理等缺陷或不規則之處被稱為缺乏缺陷。

同樣，演算法也可以分析相同的深度偽造訊號的語音，但新方法正在使工具更加有效。 USENIX 的研究發現了人工智慧聲道重建中無法模擬自然語音的模式。它總結道，人工智慧語音產生器可以產生與狹窄聲道（大約是吸管大小）相匹配的音頻，而無需人類語音的自然運動。

Horst Görtz Institute 的早期研究分析了英語和日語的真實音頻和深度偽造音頻，揭示了微妙的內容真實語音和深度偽造語音的較高頻率之間存在差異。

人類觀察者和先進的人工智慧系統都可以辨別聽覺線索和語音模式中的細微差別。對於較高頻率的細微變化，可以想像，人工智慧偵測模型可以達到相應的精度水平，儘管人工智慧產生的欺騙或操縱同樣可以預期同等的改進。

人類和演算法都被 Deepfakes 愚弄，但方式不同

研究表明，人類感知和先進的人工智慧檢測技術在識別深度偽造媒體方面表現出相當的熟練程度。這些系統的功效範圍從大約 50% 到超過 90%，性能結果取決於測試期間採用的特定標準。

從更廣泛的角度來看，人類和人工智慧系統顯然同樣容易受到深度造假的欺騙。然而，我們遭受此類操縱的方式存在本質差異。這種差異可能被證明是我們應​​對深度造假技術帶來的危險時最有力的優勢。人類能力與先進深度偽造檢測器能力的融合有望彌補任何一方的固有缺陷，從而增強整體成果。

例如，麻省理工學院研究發現，人類比人工智慧模式更擅長識別世界領導人和名人的深度偽造品。它還透露，人工智慧模型在處理多人的鏡頭時遇到了困難，儘管它表明這可能是由於演算法在單一揚聲器的鏡頭上進行訓練造成的。

相較之下，上述研究發現，人工智慧在分析品質不合格的影片剪輯時超越了人類的表現，例如模糊、顆粒感和黑暗，這些影片剪輯可能是故意用來誤導人類觀察者的。此外，當代人工智慧檢測技術（例如檢查特定臉部區域內的血流）涉及超越人類能力的評估。

隨著時間的推移，人工智慧系統識別人類無法感知的微妙線索的方法論的進步無疑將增強他們辨別這些指標的能力。然而，同時，這些進步也可能導致人工智慧所採用的欺騙技術更加複雜。因此，該領域未來發展的一個關鍵考慮因素在於，確定旨在揭露深度造假的技術創新是否能夠持續超越日益複雜的深度造假生成能力。

在 Deepfakes 時代以不同的方式看待事物

隨著人工智慧深度造假檢測技術的進步和深度造假媒體品質的提高，透過人工智慧進行欺騙的可能性超過了識別此類操縱的能力，這可能會成為一個令人擔憂的問題，就像人工智慧就像生成文本的情況一樣，目前人類的判斷是最重要的打擊此類捏造行為的主要手段。

個人必須熟悉深度造假影片的指標，以防範潛在的詐騙計畫並降低傳播錯誤訊息的風險。數位通訊的普遍存在需要在驗證線上分享資訊時提高警惕，以免損害我們互動和交流的完整性。