Просто напоминаю.....

Просто напоминаю.....

Иногда кажется, что ИИ уже знает всё. Но вот пример, после которого хочется чуть притормозить с этим ощущением. Исследователи из University of Gothenburg провели довольно жесткий эксперимент. Они придумали несуществующую болезнь - «bixonimania». Прописали ей симптомы, «научную базу», оформили фейковые исследования и выложили всё это как будто реальные научные материалы.

И дальше началось самое интересное.

ИИ-системы начали воспринимать это как факт. Более того, пересказывать «болезнь» как реальную, ссылаясь на те самые поддельные исследования. А потом это всё пошло еще дальше: фейковые данные начали появляться уже в настоящих научных публикациях, в том числе в журналах издательства Springer Nature. Фактически, вымышленная болезнь прошла путь от шутки до «научного знания». И это не история про «ИИ плохой». Это история про то, как работает система в целом. ИИ не думает, он компилирует. Если в данных появляется что-то, оформленное как правда, он не всегда способен отличить это от реальности. Особенно если это выглядит убедительно.

Мы уже живем в мире, где ответы ИИ становятся источником истины для людей. И если на входе мусор, на выходе будет не просто мусор, а красиво упакованный, уверенный в себе мусор, которому верят.

Вывод простой, но неприятный, об этом я буду вам постоянно напоминать, так как должно стать прописной истиной для каждого, кто работает с нейронками: доверие к ИИ без проверки - новая форма наивности. LLM может ускорить мышление, а может масштабировать ошибку. И сейчас выигрывает не тот, кто быстрее пишет запросы, а тот, кто умеет сомневаться в ответах.

Оригинал статьи можете почитать тут.

#аеслиподумать