Google PaLM 2 與 OpenAI GPT-4:有什麼不同?
Google 於2023 年5 月10 日在Google I/O 大會上推出了下一代Pathways 語言模型(PaLM 2)。其新的大型語言模型(LLM) 比其前身(PaLM) 有了很大改進，並可能最終準備好挑戰其最大的競爭對手 OpenAI 的 GPT-4。
事實上，Google的進步程度仍然值得深思。 PaLM 2 真的能成為 Google 所設想的關鍵因素嗎?此外，考慮到市場上有大量可比較的功能，PaLM 2 與 OpenAI 的 GPT-4 有什麼不同?
PaLM 2 與 GPT-4:效能概述
PaLM 2 擁有許多與其前身不同的創新功能，包括其多功能性，以更小的格式提供，以滿足比 GPT-4 需要更少計算資源的特定任務。
上述每個維度都有其相應的小型對應物，稱為壁虎、水獺、野牛和獨角獸，其中壁虎代表最嬌小的迭代，其次是水獺、野牛，最後是獨角獸，它們是其中最大的。
谷歌聲稱，與 GPT-4 相比，它在 WinoGrande 和 DROP 中的推理能力都得到了增強，在 ARC-C 中取得了微弱的勝利。此外，PaLM 和 SOTA 相關的所有領域都取得了重大進展。
根據 Google 的 91 頁 PaLM 2 研究論文 [PDF]，PaLM 2 在數學方面也更為出色。然而，Google和 OpenAI 建立測試結果的方式使得直接比較這兩個模型變得困難。谷歌也省略了一些比較，可能是因為 PaLM 2 的表現幾乎不如 GPT-4。
MMLU、HellaSwag 和 ARC-E。結果顯示，GPT-4 在所有情況下都優於 PaLM 2，除了一個案例中它們得分相同。具體來說，在 MMLU 中，GPT-4 獲得了 86.4% 的分數，而 PaLM 2 則達到了 81%。同樣，在考慮 HellaSwag 車型時，GPT-4 的得分高達 95.3%，而 PaLM 2 的表現稍低，為 86.8%。最後，在 ARC-E 模型中，兩個模型都表現出色
PaLM 2 系列中最大的型號是 PaLM 2-L。雖然我們不知道它的確切大小，但我們確實知道它比最大的 PaLM 模型小得多，但使用了更多的訓練計算。 根據Google，PaLM有5400億個參數，所以「明顯更小」應該把PaLM 2 100 億到3000 億個參數。請記住，這些數字只是基於 Google 在 PaLM 2 論文中所述內容的假設。
鑑於如果上述數字落在 1000 億左右或更少，PaLM 2 很可能會比 GPT-3 顯示更少的參數。規模有限的潛在模型可能在某些任務中具有與 GPT-4 競爭並超越 GPT-4 的能力，這一想法確實值得注意。相反，GPT-3.5 最初的性能無與倫比，甚至超過了 PaLM，但 PaLM 2 卻表現出了令人欽佩的捲土重來。
就可用尺寸方面的多功能性而言，PaLM 2 比 GPT-4 具有顯著優勢。這使得該模型的各種版本（例如 Gecko）即使在沒有網路連線的情況下也可以在行動裝置上使用，從而提供 GPT-4 尚未看到的板載人工智慧功能。與 GPT-4 相比，裝置端處理能力進一步增強了 PaLM 2 的可存取性和實用性。
GPT-4 和 PaLM 2 訓練資料的差異
谷歌尚未透露 PaLM 2 使用的訓練資料集的規模，但從他們的研究論文中可以明顯看出，這種新的大型語言模型已經在比其前身更廣泛的資料集上進行了訓練。同樣，打開
為了更深入地理解數學、邏輯和科學概念，Google 在 PaLM 2 的訓練資料集中強調了這些領域。正如他們的研究論文中所述，PaLM 2 的預訓練語料庫包含各種來源，例如網站、文獻、程式語言、數學文字和對話記錄，從而在許多方面對原始模型進行了增強。
考慮到其廣泛的語言能力，涵蓋 100 多種語言框架，PaLM 2 預計將表現出卓越的對話能力，這得益於其增強的上下文理解和無縫翻譯。據稱，培訓期間減少數據的使用可以繞過含有仇恨言論或有害行為的網站，從而減少有害內容的產生。值得注意的是，像 Reddit 這樣的大量基於文本的存儲庫被排除在學習過程之外，從而導致了以更高程度的禮儀和文明為特徵的結果。
就 GPT-4 的訓練資料而言，OpenAI 告訴我們，它使用公開資料及其許可的資料來訓練模型。 GPT-4 的研究頁面 指出，「資料是一個網路規模的資料語料庫，包括數學問題的正確和錯誤解決方案、弱推理和強推理、自我推理、-矛盾而又一致的陳述，代表了各種各樣的意識形態和想法。”
透過利用強化學習並結合人工輸入，OpenAI 改進了 GPT-4 的效能，以確保其產生的反應與給定查詢背後的預期目的更加一致。此過程有助於過濾掉系統產生的任何無關或不相關的輸出，最終為使用者的查詢提供更準確和令人滿意的答案。
值得注意的是，每個模型使用的特定訓練資料仍然未知；然而，可以推斷，他們各自訓練的預期目的有很大差異。只有當兩種模型都部署在實際操作環境中時，這種差異的最終結果才會變得明顯。
鑑於 GPT-4 使用了大量的訓練數據，它能夠比其前輩更有效地掌握語言的微妙之處，從而產生卓越的輸出品質。儘管如此，如此廣泛的使用需要對模型施加嚴格的限制，以防止任何不良行為，這不適用於谷歌，因為他們決定從訓練過程中排除有害內容。
PaLM 2 和 GPT-4 聊天機器人和服務
利用每種語言模型各自的聊天機器人，使用者可以透過兩個單獨的入口網站存取這兩種語言。然而，GPT-4的存取僅限於其付費服務ChatGPT Plus的訂閱者，而那些不願意付費的人仍然可以與GPT-3互動。另一方面，PaLM 2 的 Bard 免費提供，可在全球 180 多個國家/地區使用。
雖然 GPT-4 確實可以免費訪問，但人們應該記住，微軟的 Bing AI Chat 利用了這項技術，每個人都可以免費存取。事實上，它與必應搜尋 (Bing Search) 相鄰，位置便利，必應搜尋 (Bing Search) 是Google在同一領域的著名競爭對手。
在最近的 2023 年 Google I/O 迭代期間，據透露，PaLM 2 的重大進步和生成式 AI 的融入將顯著增強 Google Workspace 生態系統內的整體用戶體驗。這種創新的整合擴展到了這家科技巨頭提供的多種服務，例如 Google 文件、表格、幻燈片、Gmail 等。此外，值得注意的是，Google已證實，PaLM 2 目前已無縫融入其產品組合中超過 25 個不同的應用程序，包括流行的行動作業系統 Android 和影片共享平台 YouTube。
微軟已將人工智慧功能納入其 Microsoft Office 應用程式套件以及眾多服務中。目前，用戶有機會見證兩家公司提供的人工智慧技術之間的競爭，並爭奪該領域的主導地位。
由於其早期發布以及為避免其前身所經歷的失誤而付出的努力，GPT-4 已成為第三方開發人員、新創公司和尋求在內部整合高級人工智慧解決方案的人中占主導地位的大型語言模型(LLM)。他們的服務。為了說明這一點，我整理了一系列使用 GPT-4 的應用程序，您可以在方便時查看。
需要注意的是，雖然開發者可能會嘗試或採用PaLM 2，但Google需要努力在這方面與OpenAI競爭。 PaLM 2 相對於 GPT-4 的優勢之一是其作為開源平台的可用性，與專有的付費 API 相比，這可能會導致更廣泛的採用。
綜合考慮，目前，在研究方面，PaLM 2 驅動的 Bard 似乎是更好的選擇，因為它更擅長回答帶有相關信息的問題，並訪問互聯網上有關任何特定主題的最新信息。 根據巴德於2023 年9 月19 日發布的最新更新，巴德現在正在使用其“迄今為止最強大的模型”，支持另外40 種語言、深度編碼協助、就特定主題提出不同觀點的能力以及整體品質和準確性的改進。
雖然可以使用 Google 等外部搜尋引擎交叉引用巴德的回复，但與基於 GPT-4 的 ChatGPT 或 Microsoft 的 Bing Chat 相比，該系統在快速生成回複方面仍然落後於競爭對手。
PaLM 2 可以挑戰 GPT-4 嗎?
PaLM 2 是一個相對較新的進步，尚未證明其與 GPT-4 競爭的能力。儘管如此，基於Google雄心勃勃的計劃和強有力的推廣力度，有跡象表明PaLM 2可能會對GPT-4構成重大挑戰。此外，Google正在積極開發名為 Gemini 的多模態 AI 模型，這給 OpenAI 帶來了進一步的壓力，迫使他們加快步伐。
雖然 GPT-4 仍然很強大，但 PaLM 2 由於使用了多個較小的模型而擁有顯著的優勢。值得注意的是，PaLM 2 的 Gecko 組件運作效率極高，即使在離線狀態下也可以在行動裝置上運作。因此，這種多功能性使 PaLM 2 能夠滿足更廣泛的設備和應用程式的需求，這些設備和應用程式在存取 GPT-4 時可能會遇到挑戰。
人工智慧競賽正在升溫
PaLM2的推出加劇了人工智慧開發者之間的競爭，有些人認為它是挑戰GPT的有力競爭者。此外，據報道，Google正在準備另一個名為 Gemini 的多模式人工智慧模型，進一步表明其致力於推進該領域的承諾。