Apple - The Illusion of Thinking
Apple ha appena rilasciato un paper di ricerca dal titolo abbastanza critico sui sistemi LLM: The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity
In questo paper si evidenzia come le ultime generazioni di modelli linguistici abbiano introdotto modelli di ragionamento avanzato (LRMs), in grado di generare processi di pensiero dettagliati prima di fornire risposte ma come questi, sebbene questi modelli mostrino prestazioni migliorate in benchmark di ragionamento, la loro capacità chiave, non sono ancora chiari i loro limiti e la loro scalabilità.
Le valutazioni attuali si concentrano principalmente su benchmark matematici e di coding ma spesso ignorano la struttura e la qualità dei processi di ragionamento.
In questo paper si evidenzia come le ultime generazioni di modelli linguistici abbiano introdotto modelli di ragionamento avanzato (LRMs), in grado di generare processi di pensiero dettagliati prima di fornire risposte ma come questi, sebbene questi modelli mostrino prestazioni migliorate in benchmark di ragionamento, la loro capacità chiave, non sono ancora chiari i loro limiti e la loro scalabilità.
Le valutazioni attuali si concentrano principalmente su benchmark matematici e di coding ma spesso ignorano la struttura e la qualità dei processi di ragionamento.
