Google ra mắt Gemma, mô hình xử lý ngôn ngữ với mã nguồn mở đánh bại Mistral 7B và Llama-2

Tháng Chín 05 07:30 2024

Một bước tiến đáng kể trong lĩnh vực natural language processing – NLP (tạm dịch là xử lý ngôn ngữ tự nhiên), việc Google ra mắt Gemma, một mô hình xử lý ngôn ngữ mở được thiết kế gọn nhẹ, mạnh mẽ, và cho phép nhiều người dùng truy cập cùng lúc. Những mô hình Gemma tuy nhỏ hơn so với các mô hình tương tự nhưng lại đạt được hiệu suất vượt trội hơn khi thực hiện nhiều tác vụ khác nhau, khiến chúng trở nên lí tưởng hơn so với những ứng dụng có khả năng hạn chế. Bên cạnh đó, Gemma còn ưu tiên sự an toàn và trách nhiệm khi sử dụng, để đảm bảo tiềm năng của mô hình sẽ mang lại lợi ích.

Bản phát hành này đánh dấu một cột mốc quan trọng trong sứ mệnh phát triển của Google là làm cho công nghệ trí tuệ nhân tạo tiên tiến trở nên phổ biến. Bằng cách cung cấp những mô hình mạnh mẽ này một cách công khai, Google giúp các nhà nghiên cứu, nhà phát triển và doanh nghiệp khám phá được những khả năng mới trong xử lý ngôn ngữ tự nhiên.

Gemma là gì?

Gemma là một nhóm các mô hình ngôn ngữ mở được xây dựng trong cùng một nghiên cứu và công nghệ đằng sau các mô hình Gemini của Google. Gemma có 2 kích cỡ, 7B và 2B, mỗi mô hình đều đi kèm với các biến thể được đào tạo trước và điều chỉnh theo hướng dẫn. Những mô hình được huấn luyện trước có thể xử lý nhiều nhiệm vụ khác nhau, trong khi đó những mô hình được điều chỉnh theo hướng dẫn lại vượt trội trong các lĩnh vực cụ thể như trả lời câu hỏi hay tóm tắt văn bản.

Một số thông tin quan trọng cần biết về Gemma

– Google cung cấp hai kích thước trọng lượng của mô hình: Gemma 2B và Gemma 7B. Mỗi kích thước đều đi kèm các biến thể được đào tạo trước và điều chỉnh theo hướng dẫn.

– Responsible Generative AI Toolkit là một nguồn tài nguyên mới để cung cấp hướng dẫn và những công cụ cần thiết để phát triển các ứng dụng AI an toàn hơn bằng cách sử dụng Gemma.

– Google cung cấp các công cụ cho suy luận và tinh chỉnh có giám sát (SFT) trên các framework chính như JAX, PyTorch và TensorFlow thông qua Keras 3.0 cơ bản.

– Để tạo điều kiện cho việc sử dụng Gemma một cách dễ dàng, Colab và Kaggle notebooks sẵn có được hỗ trợ, đồng thời tích hợp thêm một số công cụ phổ biến như Hugging Face, MaxText, NVIDIA NeMo, và TensorRT-LLM.

– Các mô hình Gemma được đào tạo trước và được điều chỉnh theo hướng dẫn có thể triển khai trên nhiều nền tảng khác nhau, bao gồm laptop, máy trạm, Google Cloud, Vertex AI và Google Kubernetes Engine (GKE).

– Tối ưu hoá thông qua nhiều nền tảng phần cứng AI để đảm bảo hiệu suất tối đa, bao gồm NVIDIA GPUs và Google Cloud TPUs.

– Các điều khoản sử dụng cho phép các tổ chức thuộc mọi quy mô sử dụng và phân phối thương mại một cách có trách nhiệm.

Đọc thêm: PriomptiPy: A Game-Changing Python Library For Prioritized Prompting

Sức mạnh vượt trội của Gemma: Kích thước và hiệu suất

Ưu điểm chính của Gemma nằm ở kích thước của nó. So sánh với các mô hình ngôn ngữ tiên tiến khác, mô hình Gemma nhỏ hơn đáng kể, giúp triển khai và thực thi dễ dàng trên một loạt lớn các thiết bị. Điều này đặc biệt quý giá đối với các ứng dụng có hạn chế tài nguyên, như các thiết bị biên hoặc điện thoại di động.

Gemma đạt được hiệu suất vượt trội so với kích thước của nó

Mặc dù có kích thước nhỏ gọn, tuy nhiên các mô hình Gemma vẫn mang lại hiệu suất ấn tượng khi thực hiện nhiều tác vụ khác nhau. Một ví dụ cụ thể là mô hình 7B đạt 63,75 điểm trên bảng xếp hạng LLM, một chỉ số đánh giá hiệu suất trên các nhiệm vụ NLP đa dạng. Mô hình 2B đạt điểm ấn tượng là 46.51 trên cùng bảng xếp hạng.

Thêm nữa, mô hình Gemma sẽ mang lại hiệu quả xuất sắc trong những tác vụ như:

– Trò chuyện

– Tạo văn bản

– Trả lời câu hỏi

– Tóm tắt văn bản

– Dịch máy

An toàn và trách nhiệm khi sử dụng

Việc phát triển Gemma ưu tiên an toàn và việc sử dụng có trách nhiệm. Google đã thực hiện một số biện pháp để đảm bảo tính đạo đức của nó:

Đọc thêm: NExT-GPT: A Groundbreaking Multimodal AI System for Any-to-Any Generation

– Loại bỏ nội dung có hại từ dữ liệu đào tạo

– Triển khai các biện pháp bảo vệ chống việc sử dụng sai mục đích

– Cung cấp hướng dẫn về việc sử dụng có trách nhiệm

Tương lai của Gemma

Việc phát hành Gemma chỉ là sự bắt đầu. Google cam kết tiếp tục phát triển và cải thiện các mô hình Gemma, làm cho chúng trở nên dễ truy cập hơn đối với người dùng. Tương lai đầy hứa hẹn cho ứng dụng Gemma trong các lĩnh vực khác nhau, từ các chatbot và trợ lý ảo đến dịch máy (machine translation) và tóm tắt văn bản.

Với kích thước nhỏ gọn, hiệu suất ấn tượng và tập trung vào an toàn và việc sử dụng có trách nhiệm, Gemma có tiềm năng làm thay đổi lĩnh vực NLP. Bằng cách cho phép truy cập vào công nghệ mạnh mẽ này, Google giúp các nhà nghiên cứu, nhà phát triển và doanh nghiệp khám phá một thế giới của các khả năng mới.

Nguồn hình ảnh: Official Gemma Blog

Để xem các tin bài khác về “Gemma”, hãy nhấn vào đây.

 

Nguồn: TimesofAi.tech

Bình luận hay chia sẻ thông tin