Cùng nhau phát triển: Mô hình ngôn ngữ mở Gemma của công ty Google được tối ưu hóa để chạy trên bộ xử lý đồ họa GPU (Graphics Processing Unit) của tập đoàn NVIDIA.

Các mô hình ngôn ngữ mở mới của công ty Google được thư viện mã nguồn mở TensorRT – LLM tăng tốc trên các nền tảng NVIDIA AI – bao gồm card đồ họa máy tính cá nhân (PC) RTX AI.

Tập đoàn NVIDIA phối hợp cùng công ty Google, ra mắt các tính năng tối ưu hóa trên tất cả các nền tảng trí tuệ nhân tạo của NVIDIA cho các mô hình Gemma – mô hình ngôn ngữ mở loại nhẹ 2 tỷ tham số và 7 tỷ tham số hiện đại nhất của Google có thể chạy ở mọi nơi, giảm chi phí và tăng tốc độ đổi mới hoạt động cho các trường hợp sử dụng cụ thể theo tên miền.

Các nhóm nghiên cứu từ các công ty đã hợp tác chặt chẽ với nhau để tăng tốc hiệu suất của mô hình ngôn ngữ mở Gemma – được xây dựng từ cùng một dự án nghiên cứu và công nghệ  để tạo ra mô hình Gemini – với thư viện mã nguồn mở NVIDIA TensorRT – LLM, giúp tối ưu hóa suy luận mô hình ngôn ngữ lớn, khi chạy trên bộ xử lý đồ họa GPU NVIDIA trong trung tâm dữ liệu, trên đám mây và cục bộ trên các máy trạm có bộ xử lý đồ họa NVIDIA RTX hoặc máy tính cá nhân có bộ xử lý đồ họa GeForce RTX.

Điều này mang đến cơ hội cho các nhà phát triển sử dụng mạng lưới gồm hơn một trăm triệu bộ xử lý đồ họa NVIDIA RTX được tích hợp trong các máy tính cá nhân có công nghệ trí tuệ nhân tạo hiệu suất cao trên thế giới.

Các nhà phát triển công nghệ cũng có thể chạy mô hình Gemma thông qua bộ xử lý GPU NVIDIA trên đám mây, bao gồm cả các phiên bản A3 của Google Cloud dựa trên GPU H100 Tensor Core và sắp tới là GPU H200 Tensor Core của tập đoàn NVIDIA, 141GB bộ nhớ HBM3e với tốc độ 4,8 terabyte mỗi giây mà công ty Google sẽ triển khai trong năm 2024.

Ngoài ra, các nhà phát triển doanh nghiệp có thể tận dụng hệ sinh thái công cụ phong phú của tập đoàn NVIDIA, bao gồm bộ ứng dụng dành cho doanh nghiệp NVIDIA AI Enterprise với framework NeMo và TensorRT – LLM để tùy chỉnh mô hình Gemma và triển khai mô hình được tối ưu hóa trong ứng dụng sản xuất của họ.

Có thể tìm hiểu thêm về cách thư viện mã nguồn mở TensorRT – LLM tăng cường khả năng suy luận cho mô hình Gemma, từ thông tin do nhà phát triển cung cấp. Điều này bao gồm một số model checkpoints của Gemma và phiên bản mô hình kích thước nhỏ FP8, tất cả đều được tối ưu hóa với TensorRT – LLM.

Có thể trải nghiệm mô hình Gemma 2B và Gemma 7B trực tiếp từ trình duyệt trên nền tảng NVIDIA AI Playground.

Mô hình Gemma và Chat with RTX
Sắp tới đây, một công cụ hỗ trợ cho mô hình Gemma sẽ được ra mắt chính là Chat with RTX, một bản demo công nghệ của tập đoàn NVIDIA sử dụng phần mềm TensorRT – LLM và thế hệ tăng cường truy xuất nhằm cung cấp cho người dùng công nghệ trí tuệ nhân tạo tổng hợp trên PC hệ điều hành Windows cục bộ được hỗ trợ card đồ họa RTX.

Bằng cách sử dụng công cụ Chat with RTX, người dùng có khả năng tùy chỉnh chatbot theo sở thích của riêng họ bằng cách tích hợp dữ liệu được lưu trữ cục bộ từ card đồ họa PC RTX với mô hình ngôn ngữ lớn.

Công cụ Chat with RTX mang lại lợi ích khi sử dụng mô hình cục bộ để xử lý, mang lại kết quả đầu ra nhanh chóng và duy trì tính bảo mật bằng cách lưu giữ dữ liệu người dùng trên thiết bị. Không giống như mô hình ngôn ngữ lớn (LLM – Large Language Models)* trên đám mây, Chat with RTX cho phép người dùng xử lý dữ liệu nhạy cảm trên máy PC cục bộ mà không cần chia sẻ dữ liệu đó với bên thứ ba hoặc yêu cầu kết nối Internet.
(*) Mô hình ngôn ngữ lớn: là một loại thuật toán trí tuệ nhân tạo sử dụng các kỹ thuật học sâu và tập dữ liệu lớn để hiểu, tóm tắt, tạo và dự đoán nội dung mới.

Để xem các tin bài khác về “Mô hình ngôn ngữ mở”, vui lòng nhấn vào đây.

 

Nguồn: NVIDIA

Lưu ý: 

Để xem và khai thác hiệu quả nội dung của video clip nói trên (từ YouTube/ một dịch vụ của Google), Quý vị có thể thực hiện các bước sau:
1. Nếu tốc độ internet nhanh, có thể mở chế độ xem toàn màn hình bằng cách nhấn vào khung [ ] tại góc phải (phía dưới góc phải của video)
2. Chọn chế độ hình ảnh tốt nhất của đoạn video, hãy click vào hình bánh xe răng cưa và chọn chất lượng cao hơn (hoặc HD) theo ý muốn
3. Để hiển thị nội dung phụ đề, nhấn vào nút biểu tượng phụ đề [cc]. Một số video không có chức năng này sẽ không có biểu tượng phụ đề.
4. Quý vị có thể nghe hiểu tiếng Anh và có nhu cầu chia sẻ thông tin đến cộng đồng, hãy hỗ trợ techMAG biên dịch nội dung video và gửi cho chúng tôi để có cơ hội đăng thông tin lên technologyMag.net