Chuyển đến nội dung chính

Bài đăng

Hiển thị các bài đăng có nhãn Tối ưu chi phí

Chi phí mỗi request: con số mà hầu hết feature AI không bao giờ tính

Đội nào ship feature AI cũng biết hóa đơn API hàng tháng của mình. Gần như không đội nào biết một request đơn lẻ tốn bao nhiêu. Đó là hai con số khác nhau, và chỉ con số thứ hai mới hành động được. Hóa đơn là một tổng. Nó không nói cho bạn biết tổng đó lớn vì mỗi request đắt, hay vì số request nhiều hơn nhiều so với dự tính. Hai vấn đề này có cách sửa ngược nhau — một cái là vấn đề kiến trúc, một cái là vấn đề đóng gói sản phẩm — nên đội chỉ có mỗi cái tổng thường phản ứng y hệt nhau trong cả hai trường hợp: ai đó bỏ một tuần cắt gọt system prompt. Như bạn sẽ thấy bên dưới, đó thường là đòn bẩy nhỏ nhất hiện có, và là đòn bẩy đầu tiên mọi người với tay tới. Hóa đơn còn là một con số duy nhất cho một tài khoản có thể đang phục vụ sáu feature. Nếu summarization rẻ còn workflow agentic mới thì đắt, hóa đơn gộp chúng thành một con số vô nghĩa và con số đó cứ tăng. Bài này dựng con số còn thiếu đó từ đầu: một hành động người dùng tốn bao nhiêu, từ đầu đến cuối, tính cả mọi hệ số nằm giữa...

Dùng AI mà không đốt tiền: free tier, caching và định tuyến model

Phần lớn mọi người cắt hóa đơn AI bằng cách đổi sang model rẻ hơn. Đó là đòn bẩy nhỏ nhất trong đám, và thường là đòn bẩy trả giá đắt nhất bằng chất lượng. Hóa đơn được quyết định bởi ba thứ, theo đúng thứ tự này: Thứ bạn đang trả tiền dù nó vốn miễn phí. Vài nhà cung cấp cho hạn mức thật, không cần thẻ. Thứ bạn trả tiền hai lần. Cùng một system prompt 20.000 token, gửi lại nguyên giá ở mỗi request. Thứ bạn trả giá frontier trong khi nó không cần. Phân loại, trích xuất, đổi tên, định dạng. Sửa theo đúng thứ tự đó. Cái đầu là tiền cho không, cái thứ hai thường giảm 5–10 lần trên cùng một model, và chỉ sau đó việc chọn model mới đáng bàn. Dưới đây là giá trị thật của từng cái ngay lúc này, với số liệu lấy từ tài liệu chính chủ chứ không phải từ trí nhớ. Tier 0: hôm nay cái gì thật sự miễn phí Free tier là thật, và rộng hơn phần lớn mọi người tưởng. Nhưng con số quan trọng không phải cái tổng theo ngày mà ai cũng đem đi khoe — mà là con số theo phút , vì đó mới là thứ chặn bạn...