Bỏ qua menu

Trang thông tin điện tử tổng hợp

RSS

Google đưa Tool Retrieval vào Gemini API, giúp agent tiết kiệm token

Google đưa Tool Retrieval vào Gemini API, giúp agent tiết kiệm token

Google vừa công bố Tool Retrieval, tính năng mới đang ở dạng xem trước trong Interactions API của Gemini API. Điểm cốt lõi: thay vì nhồi toàn bộ thư viện công cụ vào mỗi lần gọi, agent sẽ giữ thư viện ở trạng thái chờ và chỉ nạp phần schema tham số của công cụ nào thực sự cần cho tác vụ hiện tại.

Vấn đề mà tính năng này nhắm tới khá cụ thể. Khi một agent kết nối với hàng chục, thậm chí hàng trăm công cụ, việc gửi toàn bộ schema tham số trong mọi request sẽ nhanh chóng đội chi phí lên. Số token đầu vào tăng vọt, độ trễ tăng theo, và độ chính xác khi chọn công cụ giảm dần khi danh sách ứng viên dài ra.

Cách Tool Retrieval hoạt động

Để bật tính năng, lập trình viên thêm một công cụ tool_search vào request và đặt defer_loading: true cho những công cụ muốn giữ lại phía sau. Mô hình vẫn nhìn thấy tên và mô tả của mọi công cụ bị hoãn nạp, nên vẫn biết trong thư viện có gì, nhưng phần schema tham số thì không nằm trong ngữ cảnh.

Khi cần dùng một công cụ, mô hình gọi tên nó, API nạp schema đầy đủ, rồi mô hình thực thi hàm, tất cả diễn ra trong cùng một request. Google cho biết không có chỉ mục nào phải tự xây hay tự vận hành: Gemini chạy phần tìm kiếm trên máy chủ, nên thay đổi phía mã nguồn chỉ gồm một công cụ mới và một cờ đánh dấu trên những công cụ muốn hoãn.

Toàn bộ quá trình hiện ra trong interaction.steps, gồm ba bước: lệnh tìm công cụ, kết quả trả về schema, và lệnh gọi hàm thực tế. Nhờ vậy khi cần gỡ lỗi vì tên hay mô tả công cụ viết chưa chuẩn, lập trình viên nhìn được mô hình đã cân nhắc những công cụ nào. Sau đó luồng xử lý quay về đúng chuẩn gọi hàm quen thuộc: mã của bạn chạy nghiệp vụ rồi gửi trả kết quả.

Google đưa Tool Retrieval vào Gemini API, giúp agent tiết kiệm token

Những điểm đáng chú ý cho lập trình viên

  • Bật bằng cách thêm công cụ tool_search và đặt defer_loading: true trên các công cụ muốn hoãn nạp.
  • Mô hình vẫn thấy tên và mô tả của mọi công cụ, chỉ schema tham số bị giữ lại ngoài ngữ cảnh.
  • Không cần xây hay vận hành chỉ mục, Gemini lo phần tìm kiếm trên máy chủ.
  • Hoạt động tốt với prefix caching: schema hoãn nạp không nằm ở đầu prompt nên phần đệm cache giữ nguyên giữa các lượt.
  • Hỗ trợ cả máy chủ MCP từ xa: đặt defer_loading: true trên một công cụ mcp_server là mọi công cụ của máy chủ đó được nạp theo nhu cầu.
  • Tương thích Gemini 3.6 trở lên, gồm toàn bộ dòng Gemini 4, trong Interactions API.

Một chi tiết thực dụng: nên giữ những công cụ dùng thường xuyên ở trạng thái nạp sẵn, chỉ hoãn phần đuôi dài ít khi chạm tới. Cách chia này giúp tận dụng lợi ích mà không phải trả thêm một vòng gọi hàm cho những công cụ xuất hiện liên tục.

Chế độ tìm kiếm phía máy khách

Với ai đang tự duy trì kho công cụ riêng, chỉ mục embedding hoặc bộ lọc quyền theo từng người dùng, Tool Retrieval có thêm lựa chọn chạy phía máy khách. Lập trình viên khai báo tool_search với "execution": "client" và tự định nghĩa tham số tìm kiếm.

Đánh đổi là mỗi lần tìm sẽ tốn thêm một vòng gọi mạng, vì ứng dụng của bạn phải chạy tra cứu. Bù lại, công cụ không cần khai báo trước, nên có thể đưa công cụ mới vào giữa cuộc hội thoại khi người dùng kết nối một tích hợp nào đó. Đây là điểm hữu ích cho các nền tảng cho phép người dùng gắn thêm dịch vụ bên ngoài ngay trong lúc trò chuyện với agent.

Chi phí và cách tính token

Tool Retrieval không bị tính phí riêng. Token đầu vào và đầu ra vẫn tính theo mức giá chuẩn của mô hình bạn gọi. Việc bật tool_search cộng thêm một khối token đầu vào cố định, nhỏ. Mỗi schema mà mô hình nạp sẽ được tính như token đầu vào cho phần còn lại của cuộc hội thoại, giống hệt một công cụ khai báo sẵn từ đầu.

Nói cách khác, bạn chỉ thực sự tiết kiệm khi số schema không bao giờ nạp nhiều hơn số schema có nạp. Với những thư viện lớn, đây thường là trường hợp phổ biến. Google khuyến nghị đo lại trên chính lưu lượng của mình thay vì tin vào con số chung, bởi mức tiết kiệm phụ thuộc vào cách agent chọn công cụ trong từng tác vụ.

Điểm cần lưu ý là tính năng mới ở dạng xem trước, và điều kiện đi kèm khá rõ: phải dùng Gemini 3.6 trở lên trong Interactions API. Ai đang chạy agent với thư viện công cụ cỡ vài chục hàm trở lên nên thử đo mức tiết kiệm token trên lưu lượng thật, đồng thời kiểm tra lại tên và mô tả công cụ, vì đây chính là thứ mô hình dựa vào để quyết định gọi công cụ nào.

Nguồn tham khảo: Introducing Tool Retrieval in the Gemini API.

Bài viết được biên soạn với sự hỗ trợ của AI dựa trên nguồn dẫn ở trên.

TH (phapluatxahoi.kinhtedothi.vn)

Hình ảnh Tòa soạn Trang Công Nghệ

Tòa soạn Trang Công Nghệ

Tin công nghệ được tổng hợp và đối chiếu với nguồn dẫn, có sử dụng công cụ AI trong quá trình biên soạn.

Đọc nhiều nhất
iPhone 18 Pro Max giảm giá, còn nên mua iPhone 17 Pro Max?
Google Search nâng cấp toàn cầu với Gemini 4 Hydrogen
Polestar 4 nhận P4.3.0: Android 15, V2L và chìa khóa số Android
Galaxy A18 4G bán tại Singapore với chip MediaTek thay vì Exynos
Đọc nhiều nhất
iPhone 18 Pro Max giảm giá, còn nên mua iPhone 17 Pro Max?
Google Search nâng cấp toàn cầu với Gemini 4 Hydrogen
Polestar 4 nhận P4.3.0: Android 15, V2L và chìa khóa số Android
Galaxy A18 4G bán tại Singapore với chip MediaTek thay vì Exynos

Xem gì ?