Chuyển đến nội dung chính

Bài đăng

Hiển thị các bài đăng có nhãn Công cụ lập trình

Chạy model ngay trên máy mình: bốn trường hợp local thật sự thắng API

Có hai câu trả lời rất tự tin cho câu hỏi “tôi có nên chạy model ở local không”, và cả hai đều sai. Một phe bảo model local giờ đủ tốt rồi, trả tiền cho API là phí. Phe kia bảo thứ gì nhét vừa cái laptop thì cũng chỉ là đồ chơi, đừng phí buổi tối. Câu trả lời có ích là: “local hay API” vốn không phải câu hỏi về model. Nó là câu hỏi về một workload cụ thể, và xoay quanh bốn thuộc tính của workload đó — dữ liệu có được phép rời khỏi máy không, mỗi tháng bạn đẩy qua bao nhiêu token, có mạng hay không, và một vòng round trip ăn mất bao nhiêu phần trong ngân sách độ trễ. Nếu không thuộc tính nào trong bốn cái đó ràng buộc bạn, gần như chắc chắn API là lựa chọn đúng, và lý do trung thực là năng lực: với reasoning thật sự khó, model frontier bạn đi thuê vẫn thắng model đã quantise bạn sở hữu. Bài này nói phần nhượng bộ trước, rồi tới bốn trường hợp mà local không phải là sự thỏa hiệp mà là đáp án đúng, rồi tới phần cơ chế: làm sao biết model có vừa bộ nhớ không trước khi tải 40 GB, quantisa...

Dùng AI mà không đốt tiền: free tier, caching và định tuyến model

Phần lớn mọi người cắt hóa đơn AI bằng cách đổi sang model rẻ hơn. Đó là đòn bẩy nhỏ nhất trong đám, và thường là đòn bẩy trả giá đắt nhất bằng chất lượng. Hóa đơn được quyết định bởi ba thứ, theo đúng thứ tự này: Thứ bạn đang trả tiền dù nó vốn miễn phí. Vài nhà cung cấp cho hạn mức thật, không cần thẻ. Thứ bạn trả tiền hai lần. Cùng một system prompt 20.000 token, gửi lại nguyên giá ở mỗi request. Thứ bạn trả giá frontier trong khi nó không cần. Phân loại, trích xuất, đổi tên, định dạng. Sửa theo đúng thứ tự đó. Cái đầu là tiền cho không, cái thứ hai thường giảm 5–10 lần trên cùng một model, và chỉ sau đó việc chọn model mới đáng bàn. Dưới đây là giá trị thật của từng cái ngay lúc này, với số liệu lấy từ tài liệu chính chủ chứ không phải từ trí nhớ. Tier 0: hôm nay cái gì thật sự miễn phí Free tier là thật, và rộng hơn phần lớn mọi người tưởng. Nhưng con số quan trọng không phải cái tổng theo ngày mà ai cũng đem đi khoe — mà là con số theo phút , vì đó mới là thứ chặn bạn...

AI coding agent miễn phí: dùng model free của OpenCode sao cho khỏi hối hận

Rào cản để thử một AI coding agent trước đây là một cái API key và một cái thẻ tín dụng. OpenCode gỡ cả hai: gateway Zen của nó cho bạn chọn model hosted và dùng ngay, không mất tiền, không cần key. Nghĩa là lý do cuối cùng để chưa học cách làm việc với agentic coding đã biến mất. Nhưng cũng nghĩa là sắp có rất nhiều người chĩa một model miễn phí vào repo riêng tư mà chưa kịp nghĩ chuyện đó kéo theo cái gì. Cả hai điều đều đáng coi trọng. Dưới đây là tier free thật sự tốt cho việc gì, nó lấy của bạn cái gì bằng một loại tiền tệ không phải tiền, và cách sắp xếp công việc để bạn không phải trả tiền cho một model frontier chỉ để đổi tên biến. ”Miễn phí” ở đây nghĩa là gì Có ba thứ khác nhau bị gộp chung dưới một chữ, và giới hạn của chúng khác nhau: Công cụ thì miễn phí. Bản thân OpenCode là mã nguồn mở. Không giới hạn ở phía client, không license theo ghế, không đo đếm. Cắm API key riêng của bạn từ bất kỳ nhà cung cấp nào thì nó hoạt động như mọi agent harness khác. Model hosted ...