📌 新模型发布,为啥总要画鹈鹕?
這是一份關於AI模型評測發展與挑戰的結構化報告:
AI模型評測的演變:從「鵜鶘騎自行車」看智能真偽
⓵ 【容易懂 Easy Know】
想像你有一隻很特別的寵物,牠是一隻「鵜鶘」。現在,我們要你把這隻鵜鶘畫成在騎自行車的樣子,而且只能用電腦指令(像搭積木一樣)來畫,不能直接畫圖。
這個任務一開始超級難,連最聰明的電腦也只能畫出像圓圈和三角形組成的奇怪東西。因為電腦以前從沒看過鵜鶘騎自行車,所以牠必須自己想辦法怎麼把鵜鶘的長嘴、短腿,和自行車的輪子、車架組合在一起。
發明這個任務的目的是要測試電腦有沒有「創意」和「想像力」,看牠是不是真的懂這些東西怎麼運作。雖然現在的電腦變得很厲害,可以把鵜鶘畫得栩栩如生,甚至看起來真的在踩踏板,但這個任務仍然是大家用來快速看看新電腦模型有多厲害、有沒有偷偷偷懶的好方法。它就像一面鏡子,讓我們看到電腦智慧進步有多快!
⓶ 【總結 Overall Summary】
「鵜鶘騎自行車」這道考題最初由英國程式設計師西蒙·威利森(Simon Willison)設計,旨在測試大型語言模型(LLMs)的原始創造