Google ra mắt Gemini 3.8 Live và 3.5 Transcribe cho ứng dụng giọng nói

Google đã bổ sung các mô hình âm thanh mới vào Gemini API và Google AI Studio, gồm Gemini 3.8 Live, Gemini 3.8 Live Extended Thinking và Gemini 3.5 Transcribe, nhằm mở rộng bộ công cụ cho các sản phẩm ưu tiên giọng nói theo thời gian thực.

Gemini 3.8 Live và 3.8 Live Extended Thinking

Gemini 3.8 Live là bước cải tiến của dòng mô hình speech-to-speech (giọng nói sang giọng nói) gốc, có khả năng thực hiện tác vụ trong khi vẫn duy trì hội thoại. Với các yêu cầu phức tạp, phiên bản 3.8 Live Extended Thinking cung cấp khả năng suy luận sâu hơn và đứng đầu bảng xếp hạng Speech-to-Speech của Artificial Analysis.

Các tính năng chính gồm:

• Gọi hàm không đồng bộ: thực hiện các lệnh gọi API và công cụ ở chế độ nền trong khi vẫn truyền phát âm thanh phản hồi cho người dùng.
• Ngữ cảnh hình ảnh: neo hội thoại vào đầu vào hình ảnh trực tiếp, giúp agent hiểu điều người dùng nói và nhìn thấy.
• Độ chính xác ký tự chữ và số: phân tích chính xác mã xác nhận, số yêu cầu bồi thường và dữ liệu kỹ thuật.
• Hỗ trợ đa ngôn ngữ: phục vụ khán giả toàn cầu với độ phủ hơn 97 ngôn ngữ và giọng điệu nhất quán.
• Cập nhật nội dung từng bước: kết hợp âm thanh thời gian thực với dữ liệu có cấu trúc để trả về phản hồi phù hợp ngữ cảnh.

Gemini 3.8 Live Extended Thinking cũng hỗ trợ cấu hình khả năng suy luận để xử lý các tác vụ nhiều bước phức tạp ở chế độ nền, trong khi vẫn phản hồi hoặc thuật lại tiến trình trong cuộc hội thoại chính. Theo Google, các mô hình này là bước tiến so với dòng live trước đó và là lựa chọn thay thế gọn hơn cho kiến trúc cascaded (nối tiếp nhiều mô-đun).

Giá và kênh tích hợp

Gemini 3.8 Live và 3.8 Live Extended Thinking có sẵn qua Live API. Mức giá là 0,005 USD/phút cho đầu vào âm thanh và 0,018 USD/phút cho đầu ra âm thanh. Nhà phát triển cũng có thể truy cập mô hình qua các đối tác tích hợp Live API gồm Agora, Fishjam, LiveKit, LangChain, Pipecat, Vercel và Vision Agents, những đơn vị xử lý hạ tầng truyền phát media cho triển khai thực tế.

Gemini 3.5 Transcribe

Ra mắt hồi tháng trước, Gemini 3.5 Transcribe là mô hình chuyển giọng nói thành văn bản chuyên dụng với độ trễ thấp. Mô hình đạt tỷ lệ lỗi từ (Word Error Rate – WER, chỉ số đo mức sai lệch giữa văn bản nhận dạng và văn bản gốc) trung bình 4,0% ở dạng streaming và 2,6% ở dạng không streaming, hỗ trợ hơn 85 ngôn ngữ.

Các tính năng đáng chú ý:

• Tự động chuyển mã ngôn ngữ: xử lý việc chuyển đổi ngôn ngữ trong câu hoặc giữa các câu mà không cần cấu hình thủ công.
• Định hướng từ vựng tùy chỉnh: hướng nhận dạng giọng nói tới thuật ngữ chuyên ngành, từ hiếm, tên công ty và danh từ riêng bằng danh sách custom_vocabulary tối đa 1.000 thuật ngữ.
• Chế độ phiên âm thông minh: tạo bản phiên âm đã biên tập, dễ đọc với định dạng có cấu trúc, tự sửa lỗi và loại bỏ từ đệm.

Mô hình phù hợp cho các tác vụ như phụ đề dưới một giây, tổng đài viên và phân tích âm thanh thời gian thực. Qua Interactions API, người dùng có thể phiên âm tệp âm thanh dài tới 1 giờ kèm mốc thời gian có cấu trúc và gán nhãn người nói.

Bộ công cụ âm thanh đầy đủ

Nhà phát triển có thể dùng thử các mô hình tại ai.studio/live, sao chép ứng dụng mẫu từ GitHub hoặc trang bị cho agent kỹ năng Live API. Bộ công cụ còn có Gemini 3.5 Live Translate (dịch giọng nói sang giọng nói hơn 70 ngôn ngữ), Gemini 3.1 Flash TTS (tạo giọng nói có thể cấu hình) và Lyria 3.5 (tạo nhạc cấp sản xuất), tất cả đều có trong Gemini API.

Nguồn tham khảo: Build real-time voice applications with Gemini 3.8 Live and 3.5 Transcribe.

TH (phapluatxahoi.kinhtedothi.vn)