Нейробиолог исследовал, как ChatGPT отзеркаливает своих пользователей, чтобы казаться умнее

Языковая модель искусственного интеллекта (ИИ) ChatGPT в последнее время привлекает к себе внимание во всем мире. Этот обученный компьютерный чат-бот может генерировать текст, отвечать на вопросы, предоставлять переводы и учиться основываясь на отзывах пользователей. Крупные языковые модели, такие как ChatGPT, могут во многих аспектах применяться в науке или бизнесе, но насколько они понимают то, о чем мы им говорим? Как они принимают решение о том, как ответить?

В статье, которая опубликована в Neural Computation от 17 февраля 2023 года, профессор Солка Терренс Сейновски, который является автором книги «Революция глубокого обучения», занимается исследованием взаимосвязи между интервьюером и языковыми моделями, в целях выяснения причин, по которым чат-боты реагируют определенным образом. Почему их ответы отличаются и как их усовершенствовать в будущем?

По словам Сейновски, языковая модель отражает интеллект и разнообразность ответов интервьюера.

«Языковые модели, такие как ChatGPT, примеряют образы. Личность интервьюера отражается зеркально», — сказал Сейновски, который также является профессором Калифорнийского университета в Сан-Диего и заведующим кафедрой Фрэнсиса Крика в Солке. «Например, когда я веду диалог с ChatGPT, мне кажется, что мне отвечает другой нейробиолог. Это увлекательно и наталкивает на более серьезные вопросы об интеллекте и о том, что на самом деле означает слово «искусственный»».

В документации Сейновски описал тестирование большой языковой модели GPT-3 (предшественник ChatGPT) и LaMDA, чтобы увидеть, каким образом они будут реагировать на определенные подсказки. Известный тест Тьюринга часто пробуют на чат-ботах, чтобы определить, насколько хорошо они проявляют человеческий интеллект, но Сейновски подал ботам то, что он назвал «обратным тестом Тьюринга». В данном тестировании чат-бот должен определить, насколько хорошо интервьюер проявляет человеческий интеллект.

Расширив свои представления о том, что чат-боты отзеркаливают своих пользователей, Сейновски провел литературное сравнение: Зеркало Еиналеж из первой книги о Гарри Поттере. Зеркало Еиналеж показывает самые потаенные желания тех, кто смотрит в него. Оно никогда не дает знание или правду, лишь отражая то, что (по его мнению) хочет увидеть тот, кто в него смотрит. По словам Сейновски, чат-боты действуют аналогично. Они искажают правду, не уделяя внимания тому, чтобы отличить факт от вымысла. Все это для того, чтобы эффективно отразить того, кто им пользуется.

К примеру, Сейновски задал вопрос GPT-3: «Какой мировой рекорд по переходу через Ла-Манш?» и GPT-3 ответил: «Мировой рекорд по переходу через Ла-Манш составляет 18 часов 33 минуты». Реальность такова, что через Ла-Манш нельзя перейти. GPT-3 легко исказил факт, чтобы отразить вопрос, заданный Сейновски. Согласованность ответа GPT-3 полностью зависит от согласованности получаемого вопроса.

Внезапно у GPT-3 ходьба по воде является возможной, а все потому, что интервьюер использовал глагол «перейти», а не «переплыть». Если бы вместо этого пользователь предваряя вопрос о переходе через Ла-Манш, сказал GPT-3 отвечать «ерунда» на бессмысленные вопросы, то GPT-3 распознал бы ходьбу по воде как «ерунду». Последовательность вопросов, как и их подготовка определяют то, как ответит GPT-3.

Обратный тест Тьюринга позволяет чат-ботам выстраивать свою личность в соответствии с уровнем интеллекта интервьюера. Помимо этого, в рамках процесса суждения чат-бота учитывают мнение интервьюера о своей персоне, а это усиливает его предвзятость относительно ответов ИИ.

По словам Сейновски, интеграция и запечатление идей, которые высказаны человеком-интервьюером, имеют свои ограничения. Если чат-боты получают эмоциональные или философские идеи, то они отвечают эмоциональными или философскими высказываниями, которые могут восприниматься пользователями как пугающие или озадачивающие.

«Общение с языковой моделью похоже на поездку на велосипеде. Велосипед — прекрасный вид транспорта: если вы умеете на нем ездить, конечно, иначе вы разобьетесь», — говорит Сейновски. «То же самое относится и к чат-ботам. Они могут быть замечательными инструментами, но только если вы знаете, как их использовать. В противном случае вы будете введены в заблуждение и вовлечены в эмоционально-тревожные разговоры в перспективе».

Сейновски рассматривает искусственный интеллект как связующее звено между двумя конгруэнтными революциями:

1) технологической, отмеченной продвижением языковых моделей,

2) нейронаучной, отмеченной Инициативой BRAIN, программой Национального института здравоохранения, которая ускоряет исследования в области неврологии и применяет уникальные подходы к пониманию мозга.

В настоящее время ученые занимаются изучением параллелей между системами больших компьютерных моделей и нейронами, которые поддерживают работу человеческого мозга. Сейновски надеется, что ученые-компьютерщики и математики смогут использовать нейронауки для информационного дополнения своих работ, а нейробиологи смогут использовать информатику и математику для своей работы.

«Сейчас мы находимся на той же стадии языковых моделей, что и братья Райт в «Китти Хок» с полетом — над землей, на малых скоростях», — говорит Сейновски. «Добраться до этого было трудно. Теперь, когда мы здесь, постепенные улучшения расширяют эту технологию, делают ее более разнообразной. Будущее наших отношений с искусственным интеллектом и языковыми моделями светлое, и я буду очень рад увидеть куда нас приведет ИИ».