Модель накапливает отчеты по правильным/не правильным ответам. Были раньше или нет, не помню, но сейчас справа есть кнопки лайк/дизлайк. Соответственно по наводящим вопросам, когда он придет к удовлетворяющему ответу от пользователя, он будет отталкиваться уже от последнего (с лайком) и он уже станет для него первым, стартовым ответом на вопрос следующих пользователей. Ранее писал, что таким образом тренировали Гугл, когда на "хуйло" он показывал Хуйла, или переводил в транслейте с украинского на русский. Модель тренируема. Не сказать, что он прям думает, но алгоритм имеет место развития.
Он может отупить. Ни кого не хочу обидеть, но когда люди задают вопросы, по-типу "как приготовить бутерброд", а он что-то отвечает, и пусть даже 100% идеально, то постепенно совершенно все вопросы перерастут в консультацию с ИИ.
Те же мед показатели, если врач и анализы скажут, например, точно грипп, а ИИ назовет это "танзанийской морской трясучкой вызванной следами яда черной змеи", то как бы "умный" юзер поверит во второй вариант и примет меры.