Setiap hari Minggu, pembawa acara NPR akan Shortz, guru teka-teki silang New York Times, dapat menanyai ribuan pendengar di segmen yang sudah berjalan lama yang disebut Teka -teki hari Minggu. Saat ditulis agar dapat dipecahkan tanpa juga Banyak hal sebelumnya, para brainteaser biasanya menantang bahkan bagi para kontestan yang terampil.
Itu sebabnya beberapa ahli berpikir mereka adalah cara yang menjanjikan untuk menguji batas kemampuan pemecahan masalah AI.
Di sebuah studi terbarutim peneliti yang berasal dari Wellesley College, Oberlin College, University of Texas di Austin, Northeastern University, Charles University, dan Startup Cursor menciptakan tolok ukur AI menggunakan teka -teki dari episode teka -teki Minggu. Tim mengatakan tes mereka mengungkap wawasan mengejutkan, seperti model penalaran – Openai’s O1, antara lain – kadang -kadang “menyerah” dan memberikan jawaban yang mereka tahu tidak benar.
“Kami ingin mengembangkan tolok ukur dengan masalah yang dapat dipahami manusia dengan hanya pengetahuan umum,” Arjun Guha, seorang anggota fakultas ilmu komputer di Northeastern dan salah satu penulis bersama dalam penelitian ini, mengatakan kepada TechCrunch.
Industri AI sedang dalam sedikit kebingungan saat ini. Sebagian besar tes yang biasa digunakan untuk mengevaluasi model AI menyelidiki keterampilan, seperti kompetensi pada pertanyaan matematika dan sains tingkat PhD, yang tidak relevan dengan pengguna rata-rata. Sementara itu, banyak tolok ukur – bahkan tolok ukur yang dirilis relatif baru -baru ini – dengan cepat mendekati titik saturasi.
Keuntungan dari permainan kuis radio publik seperti teka -teki hari Minggu adalah bahwa ia tidak menguji pengetahuan esoterik, dan tantangannya diutarakan sedemikian rupa sehingga model tidak dapat memanfaatkan “memori hancur” untuk menyelesaikannya, jelas Guha.
“Saya pikir apa yang membuat masalah ini sulit adalah bahwa sangat sulit untuk membuat kemajuan yang berarti pada suatu masalah sampai Anda menyelesaikannya – saat itulah semuanya diklik bersama sekaligus,” kata Guha. “Itu membutuhkan kombinasi wawasan dan proses eliminasi.”
Tidak ada tolok ukur yang sempurna, tentu saja. Teka -teki hari Minggu adalah pusat dan bahasa Inggris saja. Dan karena kuis tersedia di depan umum, ada kemungkinan bahwa model yang dilatih pada mereka dapat “menipu” dalam arti tertentu, meskipun Guha mengatakan dia belum melihat bukti tentang hal ini.
“Pertanyaan baru dirilis setiap minggu, dan kami dapat mengharapkan pertanyaan terbaru benar -benar tidak terlihat,” tambahnya. “Kami bermaksud untuk menjaga benchmark tetap segar dan melacak bagaimana kinerja model berubah dari waktu ke waktu.”
Pada tolok ukur para peneliti, yang terdiri dari sekitar 600 teka -teki teka -teki hari Minggu, model penalaran seperti O1 dan Deepseek R1 jauh mengungguli yang lainnya. Model penalaran benar-benar memeriksa diri mereka sendiri sebelum memberikan hasil, yang membantu mereka Hindari beberapa jebakan Itu biasanya trip up model AI. Pertukarannya adalah bahwa model penalaran membutuhkan waktu sedikit lebih lama untuk sampai pada solusi-biasanya detik hingga menit lebih lama.
Setidaknya satu model, Deepseek’s R1, memberikan solusi yang diketahui salah untuk beberapa pertanyaan teka -teki hari Minggu. R1 akan menyatakan kata demi kata “Saya menyerah,” diikuti dengan jawaban yang salah yang dipilih secara acak – perilaku yang dapat dihubungkan oleh manusia ini.
Model -model membuat pilihan aneh lainnya, seperti memberikan jawaban yang salah hanya untuk segera menariknya, berusaha untuk menggoda yang lebih baik, dan gagal lagi. Mereka juga terjebak “berpikir” selamanya dan memberikan penjelasan yang tidak masuk akal untuk jawaban, atau mereka tiba di jawaban yang benar segera tetapi kemudian terus mempertimbangkan jawaban alternatif tanpa alasan yang jelas.
“Pada masalah keras, R1 benar -benar mengatakan bahwa itu menjadi ‘frustrasi,'” kata Guha. “Lucu melihat bagaimana seorang model meniru apa yang bisa dikatakan manusia. Masih harus dilihat bagaimana ‘frustrasi’ dalam penalaran dapat mempengaruhi kualitas hasil model. “
Model berkinerja terbaik saat ini pada tolok ukur adalah O1 dengan skor 59%, diikuti oleh yang baru dirilis O3-Mini ditetapkan ke “upaya penalaran” yang tinggi (47%). (R1 mencetak 35%.) Sebagai langkah berikutnya, para peneliti berencana untuk memperluas pengujian mereka ke model penalaran tambahan, yang mereka harapkan akan membantu mengidentifikasi area di mana model ini mungkin ditingkatkan.
“Anda tidak membutuhkan PhD untuk menjadi ahli dalam penalaran, jadi harus dimungkinkan untuk merancang tolok ukur penalaran yang tidak memerlukan pengetahuan tingkat PhD,” kata Guha. “Benchmark dengan akses yang lebih luas memungkinkan serangkaian peneliti yang lebih luas untuk memahami dan menganalisis hasilnya, yang pada gilirannya dapat menyebabkan solusi yang lebih baik di masa depan. Selain itu, karena model canggih semakin banyak digunakan dalam pengaturan yang mempengaruhi semua orang, kami percaya semua orang harus dapat mengintuisi apa model ini-dan tidak-mampu. ”
ADVERTISEMENT:
Hai, sobat pencinta slot! Pernah denger semboyan “slot demo”? Kalau belum, bersiaplah jatuh hati dengan program ini. raja slot adalah mesin slot yang selalu kasih kemenangan. Ya, slot-slot ini bisa dibilang sebagai jagoannya buat membawa come back cuan. any way, cemana sih caranya jumpain raja lot yang tepat? Santuy Bro, kita bahas tenang saja di sini
Gaming terbaik saat sekarang hanya satu berada Indonesia hanya di yang memberikan return on Investment terbesar
SEGERA hanya di :
Informasi mengenai KING SLOT, Segera Daftar Bersama king selot terbaik dan terpercaya no satu di Indonesia. Boleh mendaftar melalui sini king slot serta memberikan hasil kembali yang paling tinggi saat sekarang ini hanyalah KING SLOT atau Raja slot paling gacor, gilak dan gaco saat sekarang di Indonesia melalui program return tinggi di kingselot serta pg king slot
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
situs slot terbaru
situs slot terbaru permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
slot terbaru
slot terbaru permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
adipatislot88 permainan paling top dan garansi imbal balik hasil besar bersama adipatislot88.org
akartoto88 permainan paling top dan garansi imbal balik hasil besar bersama akartoto88.biz
allototo88 permainan paling top dan garansi imbal balik hasil besar bersama allototo88.com
alototo88 permainan paling top dan garansi imbal balik hasil besar bersama alototo88.com
an77 permainan paling top dan garansi imbal balik hasil besar bersama an77.biz
an88 permainan paling top dan garansi imbal balik hasil besar bersama an88.net
grandhyatt88 permainan paling top dan garansi imbal balik hasil besar bersama grandhyatt88.com
awan88 permainan paling top dan garansi imbal balik hasil besar bersama awan88.org
banteng88 permainan paling top dan garansi imbal balik hasil besar bersama banteng88.biz
banteng96 permainan paling top dan garansi imbal balik hasil besar bersama banteng96.com
bibir66 permainan paling top dan garansi imbal balik hasil besar bersama bibir66.com
bibir88 permainan paling top dan garansi imbal balik hasil besar bersama bibir88.biz
bocor888 permainan paling top dan garansi imbal balik hasil besar bersama bocor888.biz
boswin888 permainan paling top dan garansi imbal balik hasil besar bersama boswin888.asia
canda88 permainan paling top dan garansi imbal balik hasil besar bersama canda88.org
candatoto permainan paling top dan garansi imbal balik hasil besar bersama candatoto.net
cinta888 permainan paling top dan garansi imbal balik hasil besar bersama cinta888.biz
dalang88 permainan paling top dan garansi imbal balik hasil besar bersama dalang88.info
dalang96 permainan paling top dan garansi imbal balik hasil besar bersama dalang96.org
dinojp88 permainan paling top dan garansi imbal balik hasil besar bersama dinojp88.com
dragon22 permainan paling top dan garansi imbal balik hasil besar bersama dragon22.asia
eyangslot88 permainan paling top dan garansi imbal balik hasil besar bersama eyangslot88.biz
f77bet permainan paling top dan garansi imbal balik hasil besar bersama f77bet.net
f88bet permainan paling top dan garansi imbal balik hasil besar bersama f88bet.asia
haha88 permainan paling top dan garansi imbal balik hasil besar bersama haha88.asia
heroslot888 permainan paling top dan garansi imbal balik hasil besar bersama heroslot888.info
hiwin88 permainan paling top dan garansi imbal balik hasil besar bersama hiwin88.org
hoki222 permainan paling top dan garansi imbal balik hasil besar bersama hoki222.biz
hot99 permainan paling top dan garansi imbal balik hasil besar bersama hot99.info
hotliga88 permainan paling top dan garansi imbal balik hasil besar bersama hotliga88.com
hut88 permainan paling top dan garansi imbal balik hasil besar bersama hut88.info
inajp88 permainan paling top dan garansi imbal balik hasil besar bersama inajp88.net
istanaslot88 permainan paling top dan garansi imbal balik hasil besar bersama istanaslot88.biz
jawatogel88 permainan paling top dan garansi imbal balik hasil besar bersama jawatogel88.com
jayatogel88 permainan paling top dan garansi imbal balik hasil besar bersama jayatogel88.info
jengkol88 permainan paling top dan garansi imbal balik hasil besar bersama jengkol88.info
jeniustoto88 permainan paling top dan garansi imbal balik hasil besar bersama jeniustoto88.org
kakakslot888 permainan paling top dan garansi imbal balik hasil besar bersama kakakslot888.net
kakaslot88 permainan paling top dan garansi imbal balik hasil besar bersama kakaslot88.biz
keltoto88 permainan paling top dan garansi imbal balik hasil besar bersama keltoto88.com
kera33 permainan paling top dan garansi imbal balik hasil besar bersama kera33.com
kera88 permainan paling top dan garansi imbal balik hasil besar bersama kera88.biz
keraktelor permainan paling top dan garansi imbal balik hasil besar bersama keraktelor.org
kuliner88 permainan paling top dan garansi imbal balik hasil besar bersama kuliner88.org
lengkatoto88 permainan paling top dan garansi imbal balik hasil besar bersama lengkatoto88.com
lexitoto88 permainan paling top dan garansi imbal balik hasil besar bersama lexitoto88.net
mahkotajitu88 permainan paling top dan garansi imbal balik hasil besar bersama mahkotajitu88.com
maincuan88 permainan paling top dan garansi imbal balik hasil besar bersama maincuan88.com
menangbet88 permainan paling top dan garansi imbal balik hasil besar bersama menangbet88.asia
menutogel88 permainan paling top dan garansi imbal balik hasil besar bersama menutogel88.com
merdeka88 permainan paling top dan garansi imbal balik hasil besar bersama merdeka88.biz
merdekatoto88 permainan paling top dan garansi imbal balik hasil besar bersama merdekatoto88.info
metrototo permainan paling top dan garansi imbal balik hasil besar bersama metrototo.biz
miegacoan permainan paling top dan garansi imbal balik hasil besar bersama miegacoan.biz
ml88 permainan paling top dan garansi imbal balik hasil besar bersama ml88.net
monas777 permainan paling top dan garansi imbal balik hasil besar bersama monas777.info
monas88 permainan paling top dan garansi imbal balik hasil besar bersama monas88.biz
moris88 permainan paling top dan garansi imbal balik hasil besar bersama moris88.org
nastartoto88 permainan paling top dan garansi imbal balik hasil besar bersama nastartoto88.com
newslot888 permainan paling top dan garansi imbal balik hasil besar bersama newslot888.biz
ngopibet88 permainan paling top dan garansi imbal balik hasil besar bersama ngopibet88.org
omset88 permainan paling top dan garansi imbal balik hasil besar bersama omset88.com
pajaktoto88 permainan paling top dan garansi imbal balik hasil besar bersama pajaktoto88.biz
pc77 permainan paling top dan garansi imbal balik hasil besar bersama pc77.net
pc88 permainan paling top dan garansi imbal balik hasil besar bersama pc88.biz
pin88 permainan paling top dan garansi imbal balik hasil besar bersama pin88.asia
pintoto permainan paling top dan garansi imbal balik hasil besar bersama pintoto.info
pmg888 permainan paling top dan garansi imbal balik hasil besar bersama pmg888.biz
pohon88 permainan paling top dan garansi imbal balik hasil besar bersama pohon88.biz
pulsa77 permainan paling top dan garansi imbal balik hasil besar bersama pulsa77.biz
pulsa88 permainan paling top dan garansi imbal balik hasil besar bersama pulsa88.biz
puma888 permainan paling top dan garansi imbal balik hasil besar bersama puma888.info
pusakajitu88 permainan paling top dan garansi imbal balik hasil besar bersama pusakajitu88.com
qqhok88 permainan paling top dan garansi imbal balik hasil besar bersama qqhok88.org
rapi88 permainan paling top dan garansi imbal balik hasil besar bersama rapi88.info
rt88 permainan paling top dan garansi imbal balik hasil besar bersama rt88.info
rupiahtoto88 permainan paling top dan garansi imbal balik hasil besar bersama rupiahtoto88.asia
s88bet permainan paling top dan garansi imbal balik hasil besar bersama s88bet.org
serba88 permainan paling top dan garansi imbal balik hasil besar bersama serba88.biz
sibukslot88 permainan paling top dan garansi imbal balik hasil besar bersama sibukslot88.com
sinardunia888 permainan paling top dan garansi imbal balik hasil besar bersama sinardunia888.com
sinartogel88 permainan paling top dan garansi imbal balik hasil besar bersama sinartogel88.biz
sloki888 permainan paling top dan garansi imbal balik hasil besar bersama sloki888.info
slotplay88 permainan paling top dan garansi imbal balik hasil besar bersama slotplay88.biz
sp77 permainan paling top dan garansi imbal balik hasil besar bersama sp77.biz
sp88 permainan paling top dan garansi imbal balik hasil besar bersama sp88.org
sparta888 permainan paling top dan garansi imbal balik hasil besar bersama sparta888.co
sukaslot888 permainan paling top dan garansi imbal balik hasil besar bersama sukaslot888.info
sule999 permainan paling top dan garansi imbal balik hasil besar bersama sule999.net
sultanjp88 permainan paling top dan garansi imbal balik hasil besar bersama sultanjp88.com
teluk88 permainan paling top dan garansi imbal balik hasil besar bersama teluk88.biz
teluk88 permainan paling top dan garansi imbal balik hasil besar bersama teluk88.info
tikitoto88 permainan paling top dan garansi imbal balik hasil besar bersama tikitoto88.org
togelsumo88 permainan paling top dan garansi imbal balik hasil besar bersama togelsumo88.com
ultra77 permainan paling top dan garansi imbal balik hasil besar bersama ultra77.biz
userslot88 permainan paling top dan garansi imbal balik hasil besar bersama userslot88.biz
uya88 permainan paling top dan garansi imbal balik hasil besar bersama uya88.biz
uyatoto permainan paling top dan garansi imbal balik hasil besar bersama uyatoto.com
vegasslot777 permainan paling top dan garansi imbal balik hasil besar bersama vegasslot777.asia
vegasslot88 permainan paling top dan garansi imbal balik hasil besar bersama vegasslot88.asia
wajik88 permainan paling top dan garansi imbal balik hasil besar bersama wajik88.asia