Виявилося, що нейромережа GPT-3 розв'язує логічні задачі і міркує краще за старшокурсників американського університету. При цьому вона спотикається на найпростіших дитячих завданнях.
Про це йдеться в статті, опублікованій у журналі Nature Human Behaviour.
Стикаючись із новим завданням, люди часто знаходять рішення без попереднього тренування, порівнюючи рішення вже знайомих аналогічних завдань, і поширюючи їхню логіку на нову проблему. Цей спосіб умовиводів лежить в основі людської свідомості та креативності, вважається, що в тваринному світі він притаманний тільки людям.
Вчені з Каліфорнійського університету в Лос-Анжелесі (UCLA) під керівництвом Тейлора Вебба вирішили оцінити здатність до умовиводів за аналогією нейромережі GPT-3 від компанії OpenAI.
Вони змусили нейромережу розв’язувати логічні задачі на кшталт тих, що складає так звана Шкала прогресивних матриць Рейвена, яка використовується для діагностики інтелектуальних здібностей людини. Її унікальність полягає в тому, що матриці із завданнями інтерпретуються людьми однаково, незалежно від рівня освіти – наприклад, випробовуваному треба припустити, яка фігура повинна стояти в порожній клітині, на основі того, які фігури стоять у попередніх.
Щоб GPT-3 міг “бачити” графічні завдання, вчені перевели їх у текстовий формат, це ж допомагало гарантувати чистоту експерименту на випадок, якщо нейромережа могла бачити ці картинки раніше. Після того, як нейромережа відповіла на завдання, їх попросили вирішити 40 старшокурсників UCLA.
“Дивно, але GPT-3 показав себе не гірше за людей, але й припускався таких самих помилок”, – розповіли вчені. GPT-3 розв’язав вірно 80% завдань, що значно більше, ніж студенти, які дали правильні відповіді в 60% завдань. Крім того, вчені змусили нейромережу розв’язати кілька завдань тесту SAT – стандартизованого тесту для прийому до вищих навчальних закладів США. Порівняння результатів показало, що нейромережа справляється із завданнями краще, ніж випускники в середньому.
Однак бот не зміг виконати прості логічні завдання, що вимагають розуміння властивостей фізичного простору. Так, в одному дитячому завданні перед випробовуваним була чашка з кульками, і друга порожня чашка, до якої не дотягнутися. Пропонувалося, використовуючи різні предмети, такі як довга труба, картон і ножиці, перемістити кульки з ближньої чашки в дальню – нейромережа, за словами авторів, генерувала абсурдні відповіді.
“Не важливо, наскільки вражають наші результати, важливо підкреслити, що ця система має серйозні обмеження, – вважає Вебб. – Вона може робити умовиводи за аналогією, але не може робити речі, вельми прості для людей, такі, як використання інструментів для розв’язання фізичної задачі. Коли їй дають такі завдання, які можуть швидко вирішити діти, вона пропонує абсурдні рішення”.