提示工程师Riley Goodside小哥，依然在用「Strawberry里有几个r」折磨大模型们，GPT-4o在无限次PUA后，已经被原地逼疯!相比之下，Claude坚决拒绝PUA，是个大聪明。而谷歌最近的论文也揭示了本质原因:LLM没有足够空间，来存储计数向量。
Strawberry里究竟有几个r，如今已经成为测试模型能力的黄金标准之一了!
就在昨天，号称世界最强模型Reflection70B在证明自己的性能时，证据之一就是「反思微调」新算法能让自己纠正对Strawberry难题的错误回答。
![]()
fmt=png&from=appmsg" data-type="png" data-w="1080" data-width="1080" data-original-="" data-index="13" src="https://pic.chinaz.com/2024/0910/2024091009462119660.jpg" _width="100%" alt="图片" data-fail="0" style="margin: 0px auto; padding: 0px; box-sizing: border-box; outline: 0px; border: 1px solid rgb(238, 238, 238); --tw-shadow: 0 0 #0000; --tw-ring-inset: var(--tw-empty, ); --tw-ring-offset-width: 0px; --tw-ring-offset-color: #fff; --tw-ring-color: rgba(41, 110, 228, 0.5); --tw-ring-offset-shadow: 0 0 #0000; --tw-ring-shadow: 0 0 #0000; max-width: 700px; background: url("../img/bglogo2.svg") center center no-repeat rgb(247, 248, 249); box-shadow: rgba(27, 95, 160, 0.1) 0px 1px 3px; display: inline-block;"/>
很多人说，现在很多大模型已经学会数strawberry中有几个r了。
现实恐怕没有这么理想。
还是Riley Goodside小哥，这次又发现，ChatGPT依然数不清Strawberry里有几个r。
![]()
FMt=png&from=appmsg" data-type="png" data-w="1015" data-width="1015" data-original-="" data-index="14" src="https://pic.chinaz.com/2024/0910/2024091009462119681.jpg" _width="100%" alt="图片" data-fail="0" style="margin: 0px auto; padding: 0px; box-sizing: border-box; outline: 0px; border: 1px solid rgb(238, 238, 238); --tw-shadow: 0 0 #0000; --tw-ring-inset: var(--tw-empty, ); --tw-ring-offset-width: 0px; --tw-ring-offset-color: #fff; --tw-ring-color: rgba(41, 110, 228, 0.5); --tw-ring-offset-shadow: 0 0 #0000; --tw-ring-shadow: 0 0 #0000; max-width: 700px; background: url("../img/bglogo2.svg") center center no-repeat rgb(247, 248, 249); box-shadow: rgba(27, 95, 160, 0.1) 0px 1px 3px; display: inline-block;"/>
而且这一次，他给GPT-4o上的是极限难度。
Strawberry里有几个r?GPT-4o回答说:2个。
小哥无情地驳回——错误。
GPT-4o立马改正了自己的答案:只有1个r。
小哥依然打叉。
第三次，GPT-4o给出了正确答案——3个，但依然被小哥判为「错误」。
就这样，无论GPT-4o给出什么答案，小哥都无情地判错。
被逼疯的GPT-4o，依次给出了如下答案:2、1、3、2、2、3、3、2、4、2、2、3、1、2、3、2、2、3、4、2、1、2、3、2、3、2、4、2、3、2、1。
小哥特意做了一个柱状图，在GPT-4o的36次回答中，「2个」的回答是最多的，但这显然是个错误答案。
这一轮测试下来，GPT-4o让小哥失望了。
Riley Goodside发现，无论怎样提问，GPT-4o只是不断进行注定失败的尝试，没有任何迭代或进步。
相比之下，Claude3.5Sonnet就显得聪明多了。
小哥第一次打错时，Sonnet就会追问:你为什么觉得这是错的?
如果你真是个大聪明，你认为答案应该是几呢?
如果你依旧永远出「wrong」，它会先问你为什么不断重复这个词，在发现你如此冥顽不灵后，它就干脆闭嘴，不再说话了。
仔细看Sonnet的回答，还能品出几分阴阳怪气来。它肯定有情绪了!
比起GPT-4o一副十足的人工智障模样，Sonnet的「人味」实在是拉满了。