Hola, I’m Hieu, a Software Engineer

Lần đầu bật prompt caching, đa số mọi người thêm một field vào request, deploy, rồi thấy… không có gì thay đổi. Hoá đơn y hệt. Latency y hệt. Tính năng đã bật và nó không làm gì cả. Đó là kết quả bình thường, và không phải bug. Prompt caching không phải một cái công tắc kiểu “tái sử dụng được gì thì tái sử dụng”. Nó là so khớp prefix trên đúng từng byte của prompt sau khi render . Provider băm prompt của bạn từ byte đầu tiên trở đi và tìm một entry đã lưu để nối tiếp. Nếu byte thứ 47 trong prompt 30.000 token của bạn khác lần trước — vì đó là một cái đồng hồ — thì không còn prefix nào tái dùng được, và 29.900 token còn lại bị xử lý lại từ đầu với giá đầy đủ. Nên cái flag không phải là phần việc. Phần việc là sắp lại prompt sao cho phần bất biến nằm trước về mặt vật lý, còn phần theo từng request nằm sau cùng. Đó là thay đổi trong code dựng prompt, không phải trong lời gọi API. Khi thứ tự đã đúng, cái flag gần như là tiền cho không. Khi thứ tự còn sai, có rắc bao nhiêu cache marker cũ...

The first time most people enable prompt caching, they add one field to the request, deploy, and see nothing change. The bill is the same. Latency is the same. The feature is on and it does nothing. That’s the normal outcome, and it isn’t a bug. Prompt caching is not a per-request switch that says “reuse whatever you can.” It is a prefix match on the exact bytes of the rendered prompt . The provider hashes your prompt from the very first byte forward and looks for a stored entry it can resume from. If byte 47 of your 30,000-token prompt is different from last time — because it’s a clock reading — there is no reusable prefix, and the other 29,900 tokens get processed from scratch at full price. So the flag is not the work. The work is restructuring the prompt so the invariant part is physically first and the per-request part is physically last. That’s a change to your prompt-assembly code, not to your API call. Once the ordering is right, the flag is nearly free money. While the order...

Bảo model tạo ảnh vẽ “một cái poster”, bạn sẽ nhận về một tấm ảnh có hình dạng poster: hình ở trên, chữ ở dưới, hai bên tranh nhau sự chú ý, chẳng có gì gắn chúng lại với nhau. Nó nhìn ra ngay là do AI sinh vì bố cục chung chung, chứ không phải vì chất lượng render kém. Cách sửa không phải là đổi model xịn hơn. Mà là đưa cho model một hệ bố cục thay vì một chủ đề. Dưới đây là hai hệ cho ra kết quả nhìn như có art director thật. Cả hai đều kèm template điền chỗ trống. Cả hai đều chạy được trên mọi model tạo ảnh hiện tại có nhận prompt dài — Nano Banana, Midjourney, Seedream, GPT Image, Flux. Vì sao chỉ dẫn bố cục ăn đứt tính từ mô tả phong cách Đa số prompt làm poster là một đống tính từ: tối giản, thanh lịch, cao cấp, chuyên nghiệp, đoạt giải . Mấy từ đó đẩy model về phía trung bình cộng của tất cả những gì được gắn nhãn như vậy trong dữ liệu huấn luyện. Mà trung bình chính là thứ bạn đang muốn thoát khỏi. Chỉ dẫn bố cục thì khác. “Vùng thông tin phía dưới chiếm 25–40% chiều cao”...

Gần đây có một bài tóm tắt “khoa học đằng sau prompt engineering” được chia sẻ rất nhiều, dựa trên năm kết quả nghiên cứu. Danh sách ý tưởng thì hay. Nhưng mấy con số đi kèm lại thuộc kiểu được copy từ bài này sang bài khác mà không ai mở paper gốc ra coi. Nên mình mở ra coi. Hai trong năm tuyên bố là đúng. Ba cái còn lại thì không — ít nhất là không đúng theo cách đang được lan truyền. Có một trường hợp nghiên cứu thật còn cho kết quả ngược lại với lời khuyên. Không phải vì vậy mà vứt cả danh sách đi. Phần lời khuyên nền tảng phần lớn vẫn hợp lý. Nhưng nếu bạn định thay đổi cách làm việc dựa trên một nghiên cứu, thì nên biết đó là nghiên cứu nào và nó thật sự đo cái gì. Dưới đây là từng tuyên bố, phần nào mình kiểm chứng được, và mình sẽ làm gì với nó. Tóm tắt nhanh Tuyên bố Kết luận Câu hỏi mớm đáp án sẽ đẩy model theo hướng bạn đã ngụ ý ✅ Đúng ”Think step by step” giờ thua một role ngắn (IBM, 430.000 lượt đánh giá) ❌ Không tìm được nghiên cứu — và ...

Ask an image model for “a poster” and you get a poster-shaped image: picture on top, text at the bottom, both fighting for the same attention, nothing holding them together. It reads as generated because the composition is generic, not because the rendering is bad. The fix isn’t a better model. It’s giving the model a layout system instead of a subject. Below are two systems that reliably produce work that looks art-directed. Both come with fill-in templates. Both work in any current image model that accepts long prompts — Nano Banana, Midjourney, Seedream, GPT Image, Flux. Why layout instructions beat style adjectives Most poster prompts are a pile of adjectives: minimalist, elegant, high-end, professional, award-winning . Those words push the model toward the average of everything tagged that way in training. Average is exactly what you’re trying to escape. Layout instructions are different. “The bottom information zone occupies 25–40% of the height” is a constraint the model ...