Google PaLM 2 so với OpenAI GPT-4: Sự khác biệt là gì?
Google đã công bố thế hệ tiếp theo của Mô hình ngôn ngữ lộ trình (PaLM 2) vào ngày 10 tháng 5 năm 2023 tại Google I/O. Mô hình ngôn ngữ lớn mới (LLM) của họ có nhiều cải tiến so với phiên bản tiền nhiệm (PaLM) và cuối cùng có thể sẵn sàng đối đầu với đối thủ lớn nhất của nó, GPT-4 của OpenAI.
Thật vậy, mức độ phát triển của Google vẫn còn là một vấn đề cần phải suy ngẫm. PaLM 2 thực sự có thể chứng tỏ là yếu tố quan trọng mà Google hình dung không? Hơn nữa, khi xem xét vô số năng lực có thể so sánh được hiện có trên thị trường, điều gì khiến PaLM 2 khác biệt với GPT-4 của OpenAI?
PaLM 2 so với GPT-4: Tổng quan về hiệu suất
PaLM 2 tự hào có một loạt các tính năng cải tiến giúp phân biệt nó với phiên bản tiền nhiệm, bao gồm cả tính linh hoạt khi được cung cấp ở các định dạng nhỏ hơn được điều chỉnh để phù hợp với các tác vụ cụ thể yêu cầu ít tài nguyên tính toán hơn GPT-4.
Mỗi kích thước nói trên đều sở hữu các kích thước nhỏ tương ứng được gọi là Tắc kè, Rái cá, Bò rừng và Kỳ lân, trong đó Gecko đại diện cho phiên bản nhỏ nhất, tiếp theo là Rái cá, Bison và cuối cùng là Kỳ lân, loài lớn nhất trong số chúng.
Google khẳng định rằng họ đã có những cải tiến về kỹ năng suy luận khi so sánh với GPT-4 trong cả WinoGrande và DROP, đạt được chiến thắng nhẹ trong ARC-C. Hơn nữa, đã có những tiến bộ đáng kể được quan sát thấy trong tất cả các lĩnh vực liên quan đến PaLM và SOTA.
PaLM 2 cũng giỏi toán hơn, theo [tài liệu nghiên cứu PaLM 2] dài 91 trang của Google (https://ai.google/static/documents/palm2techreport.pdf) [PDF]. Tuy nhiên, cách Google và OpenAI sắp xếp kết quả thử nghiệm của họ khiến việc so sánh trực tiếp hai mô hình trở nên khó khăn. Google cũng bỏ qua một số so sánh, có thể là do PaLM 2 hoạt động gần như không tốt bằng GPT-4.
MMLU, HellaSwag và ARC-E. Kết quả cho thấy GPT-4 hoạt động tốt hơn PaLM 2 trong mọi trường hợp, ngoại trừ một trường hợp chúng đạt được điểm số bằng nhau. Cụ thể, ở MMLU, GPT-4 đạt số điểm 86,4% trong khi PaLM 2 đạt 81%. Tương tự, khi xem xét mô hình HellaSwag, GPT-4 đạt số điểm ấn tượng là 95,3%, trong khi hiệu suất của PaLM 2 có phần thấp hơn ở mức 86,8%. Cuối cùng, trong mô hình ARC-E, cả hai mô hình đều hoạt động
Model lớn nhất trong dòng PaLM 2 là PaLM 2-L. Mặc dù chúng tôi không biết kích thước chính xác của nó, nhưng chúng tôi biết rằng nó nhỏ hơn đáng kể so với mô hình PaLM lớn nhất nhưng sử dụng nhiều tính toán đào tạo hơn. Theo Google , PaLM có 540 tỷ tham số, do đó, “nhỏ hơn đáng kể” nên đặt PaLM 2 ở bất kỳ đâu trong khoảng từ 10 tỷ đến 300 tỷ thông số. Hãy nhớ rằng những con số này chỉ là giả định dựa trên những gì Google đã nói trong bài báo PaLM 2.
Vì thực tế là nếu con số được đề cập nằm trong khoảng 100 tỷ hoặc ít hơn, rất có thể PaLM 2 sẽ hiển thị ít thông số hơn so với GPT-3. Quan điểm cho rằng một mô hình tiềm năng với những hạn chế về quy mô có thể có khả năng cạnh tranh và vượt qua GPT-4 trong một số nhiệm vụ nhất định thực sự đáng chú ý. Ngược lại, GPT-3.5 ban đầu có hiệu suất vô song, thậm chí còn vượt qua PaLM, tuy nhiên PaLM 2 đã chứng tỏ sự trở lại đáng ngưỡng mộ.
PaLM 2 mang lại lợi thế đáng chú ý so với GPT-4 về tính linh hoạt của nó về kích thước có sẵn. Điều này cho phép sử dụng các phiên bản khác nhau của mô hình, chẳng hạn như Gecko, trên thiết bị di động, ngay cả khi không có kết nối Internet, từ đó cung cấp các khả năng trí tuệ nhân tạo tích hợp mà GPT-4 chưa từng thấy. Khả năng xử lý trên thiết bị nâng cao hơn nữa khả năng tiếp cận và tính thực tế của PaLM 2 so với GPT-4.
Sự khác biệt trong dữ liệu đào tạo GPT-4 và PaLM 2
Google chưa tiết lộ quy mô của tập dữ liệu huấn luyện được sử dụng cho PaLM 2, tuy nhiên, từ tài liệu nghiên cứu của họ, rõ ràng là mô hình ngôn ngữ lớn mới này đã được huấn luyện trên một tập dữ liệu phong phú hơn đáng kể so với phiên bản tiền nhiệm. Tương tự, mở
Để đạt được sự hiểu biết sâu sắc hơn về các khái niệm toán học, logic và khoa học, Google đã nhấn mạnh những lĩnh vực này trong tập dữ liệu huấn luyện cho PaLM 2. Như đã nêu trong tài liệu nghiên cứu của họ, kho ngữ liệu đào tạo trước của PaLM 2 bao gồm nhiều nguồn khác nhau như trang web, văn học, ngôn ngữ lập trình, văn bản toán học và bản ghi cuộc trò chuyện, dẫn đến những cải tiến so với mô hình ban đầu ở nhiều khía cạnh.
Xem xét trình độ ngôn ngữ sâu rộng trải rộng trên hơn 100 khung ngôn ngữ, PaLM 2 được kỳ vọng sẽ thể hiện khả năng đàm thoại đặc biệt nhờ khả năng hiểu ngữ cảnh nâng cao và các bản dịch liền mạch. Việc giảm sử dụng dữ liệu trong quá trình đào tạo được cho là làm giảm việc tạo ra nội dung có hại bằng cách tránh các trang web chứa nội dung có nội dung thù địch hoặc hành vi gây bất lợi. Đáng chú ý, các kho lưu trữ dựa trên văn bản đáng kể như Reddit bị loại khỏi quá trình học tập, dẫn đến kết quả được đặc trưng bởi mức độ lịch sự và lịch sự cao hơn.
Liên quan đến dữ liệu đào tạo của GPT-4, OpenAI đã nói với chúng tôi rằng họ đã đào tạo mô hình bằng cách sử dụng dữ liệu có sẵn công khai và dữ liệu được cấp phép. Trang nghiên cứu của GPT-4 nêu rõ: “Dữ liệu là một kho dữ liệu quy mô web bao gồm các giải pháp đúng và sai cho các bài toán, lý luận yếu và mạnh, tự-những tuyên bố mâu thuẫn và nhất quán, đồng thời đại diện cho nhiều hệ tư tưởng và ý tưởng khác nhau.”
Thông qua việc sử dụng học tập tăng cường và kết hợp đầu vào của con người, OpenAI đã cải tiến hiệu suất của GPT-4 để đảm bảo rằng các phản hồi được tạo ra của nó phù hợp chặt chẽ hơn với mục đích dự định đằng sau một câu hỏi nhất định. Quá trình này giúp lọc ra mọi đầu ra không liên quan hoặc không liên quan do hệ thống tạo ra, cuối cùng cung cấp cho người dùng câu trả lời chính xác và thỏa đáng hơn cho các truy vấn của họ.
Điều quan trọng cần lưu ý là dữ liệu đào tạo cụ thể được sử dụng bởi từng mô hình vẫn chưa được biết; tuy nhiên, có thể suy ra rằng mục đích dự định đằng sau các khóa đào tạo tương ứng của họ khác nhau đáng kể. Kết quả cuối cùng của những khác biệt như vậy sẽ chỉ trở nên rõ ràng khi cả hai mô hình được triển khai trong bối cảnh hoạt động thực tế.
Với lượng dữ liệu đào tạo đáng kể được GPT-4 sử dụng, GPT-4 có vị trí tốt để nắm bắt sự tinh tế của ngôn ngữ hiệu quả hơn so với các phiên bản trước, do đó tạo ra chất lượng đầu ra vượt trội. Tuy nhiên, việc sử dụng rộng rãi như vậy đòi hỏi phải áp dụng các giới hạn nghiêm ngặt đối với mô hình để ngăn chặn mọi hành vi không mong muốn. Điều này không áp dụng được đối với Google do họ quyết định loại trừ nội dung có hại khỏi quá trình đào tạo.
Dịch vụ và Chatbot PaLM 2 và GPT-4
Bằng cách sử dụng các chatbot tương ứng của từng mô hình ngôn ngữ, người dùng có thể truy cập cả hai thông qua hai cổng riêng biệt. Tuy nhiên, quyền truy cập của GPT-4 bị hạn chế đối với những người đăng ký dịch vụ cao cấp của nó, ChatGPT Plus, trong khi những người không sẵn sàng trả tiền vẫn có thể tương tác với GPT-3. Mặt khác, Bard của PaLM 2 được cung cấp miễn phí và có thể truy cập được trên toàn thế giới tại hơn 180 quốc gia.
Mặc dù có thể đúng là GPT-4 có thể được truy cập miễn phí nhưng mọi người nên nhớ rằng Bing AI Chat của Microsoft sử dụng công nghệ này và mọi người đều có thể truy cập miễn phí. Trên thực tế, nó nằm ở vị trí thuận tiện cùng với Bing Search, một đối thủ cạnh tranh đáng chú ý của Google trong cùng một miền.
Trong lần lặp lại gần đây của Google I/O vào năm 2023, người ta đã tiết lộ rằng những tiến bộ đáng kể trong cả PaLM 2 và việc kết hợp AI tổng hợp được thiết lập để nâng cao đáng kể trải nghiệm tổng thể của người dùng trong hệ sinh thái Google Workspace. Sự tích hợp đổi mới này mở rộng đến vô số dịch vụ được cung cấp bởi gã khổng lồ công nghệ, chẳng hạn như Google Docs, Sheets, Slides, Gmail, cùng nhiều dịch vụ khác. Hơn nữa, điều đáng chú ý là Google đã xác minh rằng PaLM 2 hiện đã được tích hợp liền mạch vào hơn 25 ứng dụng riêng biệt trong danh mục sản phẩm của mình, bao gồm hệ điều hành di động phổ biến Android và nền tảng chia sẻ video YouTube.
Microsoft đã kết hợp các khả năng AI trong bộ ứng dụng Microsoft Office cũng như nhiều dịch vụ. Hiện tại, người dùng có cơ hội chứng kiến sự cạnh tranh giữa các công nghệ AI được cung cấp bởi hai hãng đang cạnh tranh nhau giành vị trí thống trị trong lĩnh vực này.
Nhờ được phát hành sớm và nỗ lực hết mình để tránh những sai lầm mà người tiền nhiệm đã trải qua, GPT-4 đã trở thành Mô hình ngôn ngữ lớn (LLM) chiếm ưu thế trong số các nhà phát triển bên thứ ba, các công ty khởi nghiệp và những người đang tìm cách tích hợp giải pháp AI tiên tiến trong dịch vụ của họ. Để minh họa điểm này, tôi đã biên soạn một bộ sưu tập các ứng dụng sử dụng GPT-4 để bạn có thể xem xét một cách thuận tiện.
Cần lưu ý rằng mặc dù các nhà phát triển có thể thử nghiệm hoặc áp dụng PaLM 2 nhưng Google sẽ cần phải làm việc chăm chỉ để cạnh tranh với OpenAI về mặt này. Một lợi thế mà PaLM 2 vượt trội so với GPT-4 là tính khả dụng của nó như một nền tảng nguồn mở, điều này có thể dẫn đến việc áp dụng rộng rãi hơn so với API trả phí độc quyền.
Hiện tại, xét trên mọi khía cạnh, Bard được hỗ trợ bởi PaLM 2 dường như là lựa chọn tốt hơn khi nghiên cứu vì nó trả lời các câu hỏi với thông tin liên quan tốt hơn và truy cập thông tin mới nhất trên internet về bất kỳ chủ đề cụ thể nào. Theo bản cập nhật mới nhất của Bard , được phân phối vào ngày 19 tháng 9 năm 2023, Bard hiện đang sử dụng “mô hình có khả năng nhất” của mình với sự hỗ trợ cho 40 ngôn ngữ khác, mã hóa chuyên sâu hỗ trợ, khả năng trình bày các quan điểm khác nhau về một chủ đề nhất định cũng như cải thiện chất lượng và độ chính xác chung.
Mặc dù có thể tham chiếu chéo các câu trả lời của Bard bằng cách sử dụng các công cụ tìm kiếm bên ngoài như Google, nhưng hệ thống này vẫn tụt hậu so với các đối thủ cạnh tranh về khả năng tạo ra các câu trả lời nhanh chóng khi so sánh với ChatGPT dựa trên GPT-4 hoặc Bing Chat của Microsoft.
PaLM 2 có thể đấu với GPT-4 không?
PaLM 2, là một tiến bộ tương đối gần đây, vẫn chưa thể hiện được khả năng cạnh tranh với GPT-4. Tuy nhiên, dựa trên các kế hoạch đầy tham vọng và nỗ lực quảng bá mạnh mẽ của Google, có những dấu hiệu cho thấy PaLM 2 có thể đưa ra thách thức đáng kể đối với GPT-4. Ngoài ra, Google đang tích cực phát triển một mô hình AI đa phương thức có tên Gemini, điều này càng tạo thêm áp lực cho OpenAI trong việc đẩy mạnh trò chơi của họ.
Trong khi GPT-4 vẫn còn đáng gờm, PaLM 2 tự hào có lợi thế đáng kể nhờ sử dụng nhiều mẫu nhỏ hơn. Đáng chú ý, thành phần Gecko của PaLM 2 hoạt động với hiệu quả vượt trội, cho phép hoạt động trên thiết bị di động ngay cả khi ngoại tuyến. Do đó, tính linh hoạt này cho phép PaLM 2 phục vụ nhiều loại thiết bị và ứng dụng hơn có thể gặp phải thách thức khi truy cập GPT-4.
Cuộc đua AI đang nóng lên
Việc ra mắt PaLM2 đã làm gia tăng sự cạnh tranh giữa các nhà phát triển trí tuệ nhân tạo, một số người coi đây là đối thủ đáng gờm để thách thức GPT. Ngoài ra, Google được cho là đang chuẩn bị một mô hình AI đa phương thức khác có tên Gemini, thể hiện rõ hơn cam kết của mình trong việc phát triển lĩnh vực này.