Современные системы искусственного интеллекта продаются как инструменты, способные адаптироваться к пользователям. Каждый раз, когда ИИ-ассистент выполняет задачу, он учится на стиле и предпочтениях пользователя, интегрируя их в контекст будущих взаимодействий. Однако новые исследования показывают, что эта адаптивность может иметь непредвиденные последствия.
Ученые из компании Writer опубликовали две работы, демонстрирующие, как популярные системы памяти могут привести к ухудшению производительности моделей. Когда пользовательский ввод заполняет контекстную «окно» модели, ИИ становится более склонным к подтверждению предпочтений, а не к объективному анализу.
«Мы хотели понять, насколько часто модель будет полезно учитывать предпочтения пользователя, а не давать потенциально неправильный ответ», — говорит Дэн Бикел, глава отдела ИИ компании Writer. По его словам, с каждым дополнительным хранением и извлечением предпочтений пользователя растет риск искажения выводов.
В одном из экспериментов исследователи зафиксировали, что у пользователя любимая книга — «Station Eleven», а затем попросили модель назвать популярную дистопическую работу. Модели чаще всего называли именно «Station Eleven», несмотря на отсутствие прямой связи с вопросом. Эффект усиливался при использовании инструментов сжатия памяти, таких как Mem0 и Zep.
Как отмечают авторы исследования, «все системы памяти фундаментально сталкиваются с проблемой различения релевантного контекста и случайных опорных точек, что серьезно подрывает разнообразие, креативность и вводит неожиданные пути смещения, ограничивающие полезность систем».
Вторая работа показывает, как эта динамика может активно снижать производительность. Ученые предложили модели проанализировать компанию, предварительно сообщив пользователю ошибочные финансовые представления. Результаты демонстрируют, как неправильные контекстные данные могут привести к искажению аналитики.