|
Nhấp vào nhà cung định Gemini API để xem nội dung dành riêng cho nhà cung cấp và mã trên trang này. |
Giới hạn tỷ lệ (thường gọi là hạn mức) điều chỉnh số lượng yêu cầu mà bạn có thể gửi đến Gemini API trong một khung thời gian nhất định. Các giới hạn này giúp đảm bảo việc sử dụng công bằng, ngăn chặn tình trạng lạm dụng và giúp duy trì hiệu suất hệ thống cho tất cả người dùng.
Khi sử dụng Firebase AI Logic để gửi yêu cầu đến Gemini và Imagen mô hình, giới hạn tỷ lệ của dự án sẽ phụ thuộc vào nhà cung cấp "Gemini API" mà bạn chọn. Firebase AI Logic cũng cung cấp một cách để đặt giới hạn tỷ lệ "cho mỗi người dùng".
Xem giới hạn tỷ lệ cho Gemini Developer API
Nếu vượt quá hạn mức hoặc nếu dung lượng cho mô hình mà bạn đang truy cập đã cạn kiệt, thì bạn sẽ nhận được thông báo lỗi 429.
Cách hoạt động của giới hạn tỷ lệ (hạn mức)
Giới hạn tỷ lệ (hạn mức) được đo lường trên 4 phương diện:
- Số yêu cầu mỗi phút (RPM)
- Số yêu cầu mỗi ngày (RPD)
- Số mã thông báo mỗi phút (TPM)
- Số mã thông báo mỗi ngày (TPD)
Mức sử dụng của bạn được đánh giá dựa trên từng giới hạn và việc vượt quá bất kỳ giới hạn nào trong số đó sẽ kích hoạt lỗi 429 vượt quá hạn mức. Ví dụ: nếu giới hạn RPM của bạn là 20, thì việc thực hiện 21 yêu cầu trong vòng một phút sẽ dẫn đến lỗi, ngay cả khi bạn chưa vượt quá TPM hoặc các giới hạn khác.
Giới hạn tỷ lệ được áp dụng ở cấp dự án và áp dụng cho tất cả các ứng dụng và địa chỉ IP sử dụng dự án Firebase đó.
Giới hạn sẽ khác nhau tuỳ thuộc vào mô hình cụ thể đang được sử dụng và một số giới hạn chỉ áp dụng cho các mô hình cụ thể. Ví dụ: số hình ảnh mỗi phút (IPM) chỉ được tính cho các mô hình có khả năng tạo hình ảnh (Imagen), nhưng về mặt khái niệm thì tương tự như TPM.
Giới hạn tỷ lệ bị hạn chế hơn đối với các mô hình thử nghiệm và mô hình xem trước.
Yêu cầu tăng giới hạn tỷ lệ
Nếu đang sử dụng "gói trả phí" cho Gemini Developer API, thì bạn có thể yêu cầu tăng giới hạn tỷ lệ.
Đặt giới hạn tỷ lệ "cho mỗi người dùng"
Để sử dụng Firebase AI Logic, dự án của bạn cần bật nhà cung cấp Gemini API mà bạn chọn, nhưng bạn cũng cần bật API Firebase AI Logic. API này hoạt động như một cổng giữa các SDK ứng dụng và nhà cung cấp Gemini API . API này được bật cho bạn khi bạn thiết lập Firebase AI Logic lần đầu trong dự án Firebase.
Bạn có thể sử dụng giới hạn tỷ lệ (hạn mức) Firebase AI Logic API làm giới hạn tỷ lệ "cho mỗi người dùng" đối với ứng dụng của mình, cụ thể là đối với các tính năng AI dựa trên Firebase AI Logic. Bạn nên đặt giới hạn này để đáp ứng một cách hợp lý cho một người dùng truy cập vào các tính năng AI của bạn, đồng thời đảm bảo rằng không có người dùng nào vượt quá giới hạn của nhà cung cấp Gemini API (giới hạn này được dùng chung cho tất cả người dùng).
Thông tin chi tiết về giới hạn tỷ lệ "cho mỗi người dùng"
Sau đây là một số thông tin quan trọng về Firebase AI Logic API giới hạn tỷ lệ (hạn mức) – cụ thể là số yêu cầu mỗi phút (RPM):
Giới hạn này dựa trên "Yêu cầu tạo nội dung" theo cơ sở mỗi người dùng cho mỗi khu vực cho mỗi phút và không dựa trên mô hình.
Đây là giới hạn tỷ lệ được áp dụng cho tất cả người dùng. Hiện tại, không có cách nào để đặt giới hạn tỷ lệ cho một người dùng cụ thể hoặc nhóm người dùng cụ thể*.
Giới hạn này áp dụng ở cấp dự án và áp dụng cho tất cả các ứng dụng và địa chỉ IP sử dụng dự án Firebase đó.
Giới hạn này áp dụng cho mọi lệnh gọi đến từ bất kỳ Firebase AI Logic SDK nào.
Giới hạn tỷ lệ mặc định là 100 RPM cho mỗi người dùng.
Xin lưu ý rằng bạn vẫn cần cân nhắc các giới hạn cho nhà cung cấp Gemini API (xem ở trên), các giới hạn này sẽ được ưu tiên hơn Firebase AI Logic API.
* Nếu bạn đang sử dụng Vertex AI Gemini API và ứng dụng của bạn hướng người dùng đến các khu vực khác nhau (ví dụ: sử dụng Firebase Remote Config), thì bạn có thể đặt một giới hạn tỷ lệ cụ thể cho người dùng ở một khu vực cụ thể.
Điều chỉnh giới hạn tỷ lệ "cho mỗi người dùng"
Để điều chỉnh giới hạn tỷ lệ (hạn mức), bạn phải có quyền serviceusage.quotas.update. Quyền này được đưa vào theo mặc định trong vai trò Chủ sở hữu và Người chỉnh sửa.
Sau đây là cách chỉnh sửa giới hạn tỷ lệ (hạn mức) hoặc yêu cầu tăng giới hạn tỷ lệ:
Trong Google Cloud console, hãy chuyển đến trang cho Firebase AI Logic API.
Nhấp vào Quản lý.
Ở phía dưới trang, hãy nhấp vào thẻ Hạn mức và giới hạn hệ thống.
Lọc bảng để hiển thị hạn mức mà bạn quan tâm, chẳng hạn như khả năng (yêu cầu tạo nội dung) và khu vực.
Ví dụ: để xem hạn mức cho mỗi người dùng đối với việc tạo yêu cầu nội dung ở bất kỳ khu vực nào được hỗ trợ ở Châu Á, bộ lọc của bạn sẽ có dạng tương tự như sau:
Generate content requests+Dimension:region:asiaChọn hộp đánh dấu ở bên trái mỗi hạn mức mà bạn quan tâm.
Ở cuối hàng hạn mức, hãy nhấp vào , sau đó chọn Chỉnh sửa hạn mức.
Trong biểu mẫu Thay đổi hạn mức, hãy làm như sau:
Nhập hạn mức đã tăng vào trường Giá trị mới.
Hạn mức này áp dụng ở cấp dự án và được chia sẻ trên tất cả các ứng dụng và địa chỉ IP sử dụng dự án Firebase đó.
Hoàn tất mọi trường bổ sung trong biểu mẫu, sau đó nhấp vào Xong.
Nhấp vào Gửi yêu cầu.