Hola, I’m Hieu, a Software Engineer

Có hai câu trả lời rất tự tin cho câu hỏi “tôi có nên chạy model ở local không”, và cả hai đều sai. Một phe bảo model local giờ đủ tốt rồi, trả tiền cho API là phí. Phe kia bảo thứ gì nhét vừa cái laptop thì cũng chỉ là đồ chơi, đừng phí buổi tối. Câu trả lời có ích là: “local hay API” vốn không phải câu hỏi về model. Nó là câu hỏi về một workload cụ thể, và xoay quanh bốn thuộc tính của workload đó — dữ liệu có được phép rời khỏi máy không, mỗi tháng bạn đẩy qua bao nhiêu token, có mạng hay không, và một vòng round trip ăn mất bao nhiêu phần trong ngân sách độ trễ. Nếu không thuộc tính nào trong bốn cái đó ràng buộc bạn, gần như chắc chắn API là lựa chọn đúng, và lý do trung thực là năng lực: với reasoning thật sự khó, model frontier bạn đi thuê vẫn thắng model đã quantise bạn sở hữu. Bài này nói phần nhượng bộ trước, rồi tới bốn trường hợp mà local không phải là sự thỏa hiệp mà là đáp án đúng, rồi tới phần cơ chế: làm sao biết model có vừa bộ nhớ không trước khi tải 40 GB, quantisa...

There are two confident answers to “should I run a model locally,” and both are wrong. One says local models are now good enough that paying for an API is a waste. The other says anything you can fit on a laptop is a toy and you should stop wasting your evening. The useful answer is that “local versus API” isn’t a question about models at all. It’s a question about a specific workload, and it turns on four properties of that workload: whether the data is allowed to leave the machine, how many tokens a month you push through, whether there is a network, and how much of your latency budget a round trip eats. If none of those four is binding, the API is almost certainly the right call, and the honest reason is capability — on genuinely hard reasoning, a frontier model you rent still beats a quantised model you own. What follows is the concession first, then the four cases where local is not a compromise but the correct answer, then the mechanics: how to work out whether a model fits in ...