Инженеры OpenAI хотят отучить ChatGPT врать
Компания OpenAI объявила о своем новом подходе к обучению моделей ИИ, направленном на борьбу с их "галлюцинациями". Исследование проводится в период, когда вопросы о распространении ложной информации, порожденной системами ИИ, становятся особенно актуальными, особенно в свете бума генеративного ИИ и приближающихся президентских выборов в США в 2024 году.
"Галлюцинации" в ИИ возникают, когда модели, такие как ChatGPT от OpenAI или Bard от Google, выдумывают информацию, выдавая ее за факты. Например, в промо-видео Google для Bard, выпущенном в феврале, чат-бот делает неправдивое утверждение о космическом телескопе Джеймса Уэбба. Более недавно ChatGPT внесла "фальшивые" сведения в документ с делом в федеральном суде Нью-Йорка, и адвокаты, связанные с этим случаем, могут понести наказание.
Потенциальная новая стратегия OpenAI для борьбы с поддельной информацией заключается в обучении ИИ-моделей для поощрения каждого индивидуального правильного шага логического рассуждения при получении ответа, а не только за правильное окончательное заключение. Этот подход называется "процесс-наблюдение" в отличие от "результат-наблюдения" и, по мнению исследователей, может привести к более понятному ИИ, поскольку стратегия побуждает модели следовать более человекоподобной цепочке "мыслей".
OpenAI также выпустила сопроводительный набор данных из 800 000 меток, использованных для обучения упомянутой в исследовательской статье модели.
Однако Бен Уинтерс, старший советник Electronic Privacy Information Center и руководитель проекта AI и прав человека, выразил скептицизм, заявив, что хотел бы изучить полный набор данных и соответствующие примеры.
По словам Суреша Венкатасубраманиана, директора центра по ответственности за технологии в Брауновском университете, эти исследования скорее представляют собой предварительные наблюдения, чем что-то более серьезное.
OpenAI пока не ответила на запрос о том, когда компания планирует внедрить новую стратегию в ChatGPT и другие продукты.
Обсудим?
Смотрите также:
