PNAS: ни один из ИИ на базе LLM не считывает грамматических ошибок
Исследование, проведенное испанскими учеными из Universitat Rovira i Virgili и Universitat de Barcelona, выявило интересные различия между самыми совершенными системами искусственного интеллекта (ИИ) на базе больших языковых моделей (LLM) и человеческим восприятием грамматики.
Согласно сообщению на портале PNAS, ученые протестировали три ведущие языковые модели, включая ChatGPT, предоставив им стандартное задание: выявить грамматически правильные предложения и выявить ошибки в других. Такое же задание было предложено группе участников.
В ходе эксперимента участники легко выявили грамматические ошибки, в то время как ИИ предоставил множество неверных ответов. Фактически, искусственный интеллект признал все предложения как правильные.
Ученые заключили, что на данный момент ИИ не способен адекватно оценивать грамматику текстов, даже если в его программе предусмотрены соответствующие правила. Человек, с другой стороны, мгновенно и без труда обнаруживает тривиальные грамматические ошибки, что подчеркивает различия в понимании языка между нейронными сетями и человеком. Эти результаты призывают к дальнейшему исследованию и совершенствованию языковых моделей в области искусственного интеллекта.
Обсудим?
Смотрите также:
