Hola, I’m Hieu, a Software Engineer

Gần đây có một bài tóm tắt “khoa học đằng sau prompt engineering” được chia sẻ rất nhiều, dựa trên năm kết quả nghiên cứu. Danh sách ý tưởng thì hay. Nhưng mấy con số đi kèm lại thuộc kiểu được copy từ bài này sang bài khác mà không ai mở paper gốc ra coi. Nên mình mở ra coi. Hai trong năm tuyên bố là đúng. Ba cái còn lại thì không — ít nhất là không đúng theo cách đang được lan truyền. Có một trường hợp nghiên cứu thật còn cho kết quả ngược lại với lời khuyên. Không phải vì vậy mà vứt cả danh sách đi. Phần lời khuyên nền tảng phần lớn vẫn hợp lý. Nhưng nếu bạn định thay đổi cách làm việc dựa trên một nghiên cứu, thì nên biết đó là nghiên cứu nào và nó thật sự đo cái gì. Dưới đây là từng tuyên bố, phần nào mình kiểm chứng được, và mình sẽ làm gì với nó. Tóm tắt nhanh Tuyên bố Kết luận Câu hỏi mớm đáp án sẽ đẩy model theo hướng bạn đã ngụ ý ✅ Đúng ”Think step by step” giờ thua một role ngắn (IBM, 430.000 lượt đánh giá) ❌ Không tìm được nghiên cứu — và ...

A summary of “the science behind prompt engineering” has been going around, built on five research findings. It is a good list of ideas. But the numbers attached to them are the kind that get copied from post to post without anyone opening the paper, so I opened the papers. Two of the five claims check out. Three do not — at least not in the form they are being repeated. In one case the real research points in the opposite direction from the advice. That is not a reason to throw the list away. The underlying advice is mostly sound. But if you are going to change how you work based on a study, it is worth knowing which study, and what it actually measured. Here is each claim, what I could verify, and what I would actually do about it. Quick summary Claim Verdict Leading questions push models toward the answer you implied ✅ Confirmed ”Think step by step” now loses to a short role prompt (IBM, 430,000 evaluations) ❌ Study not found — and persona research...