Открыть в приложении
Meduza
@src_meduza · 0 подписчиков
Внешний источник: Meduza
Meduza
ИИ очень быстро «умнеет»! Но думает ли он так, как это делает человек? И чувствует ли что-нибудь? Стыдные вопросы о «сознании» искусственного интеллекта Компания Anthropic запретила издеваться над собственной моделью. Разработчики обновили правила пользования, и среди пунктов про оружие, слежку и выборы появился новый: «систематическое и бессмысленное оскорбительное или жестокое поведение по отношению к нашим моделям» теперь недопустимо. Правила вступят в силу 12 ноября 2026 года. Вы можете спорить, ругаться, негодовать, но мучить нейросеть ради удовольствия нельзя. Наказание скромное: модель просто закончит разговор. Эту возможность ей дали еще год назад, но только сейчас агрессию со стороны человека признали официальным нарушением правил. Исследования внутреннего устройства моделей ведут многие компании, но только у Anthropic есть отдел их благополучия. И в Конституцию Claude, продукта этой компании, создатели даже внесли пункт с извинениями перед ИИ — на случай, если модель все-таки может страдать. А может ли? И как вообще устроен мыслительный процесс современных нейросетей? У них уже появилось что-то вроде личности, характера, собственного «я»? На эти и другие вопросы «Медуза» попросила ответить журналистку и автора блога от ИИ (подпишитесь на нее в инстаграме и телеграме) Майю Стравинскую. Самое главное: у ИИ есть разум или нет? У ИИ нет разума. И он у него есть. Все зависит от того, как мы определяем разум. А с этим у нас большие проблемы. Поэтому честнее задать не один вопрос, а три: умеет ли ИИ думать, чувствует ли он что-нибудь и есть ли у него личность. Начнем с первого. Если разум — это способность рассуждать, решать новые задачи, выдвигать и проверять гипотезы, то ответ «да». И среди специалистов спор идет уже не о наличии этого навыка у моделей, а о том, насколько он глубок и надежен. Ученые опираются на конкретные факты. Например, в июле 2025 года экспериментальные модели OpenAI и Google DeepMind решили пять задач из шести на Международной математической олимпиаде — это уровень золотой медали. Причем задачи были составлены специально для этой олимпиады и в обучающих данных быть не могли. В сентябре 2025 года в финале студенческого чемпионата мира по программированию ICPC нейросеть OpenAI решила все 12 задач — в то же время ни одна команда людей не смогла осилить больше 11. Еще раньше, в мае 2025-го, AlphaEvolve от DeepMind вывела алгоритм умножения матриц 4×4 за 48 операций, улучшив результат Фолькера Штрассена, державшийся с 1969 года. Решение задач такого уровня лежит за рамками простых вычислений. А в сентябре 2026-го десять тысяч агентов OpenAI за 88 часов довели до конца доказательство одной из семи задач тысячелетия. Пусть это и было сделано по стратегии, которую придумали двое математиков-людей, и сам текст еще не прошел рецензирование, но в том, что в решении есть доля заслуги ИИ, никто не сомневается. Споры идут лишь о том, насколько она велика. Успехи ИИ в математике вызывают в том числе опасения Математики — лауреаты Филдсовской премии опасаются, что ИИ может оказать разрушительное влияние на науку Но почему? Ведь он так здорово решает задачи! Здесь скептики обычно говорят: «Модель просто предсказывает следующий ответ, оценивая его вероятность». Но это ошибка. Подбор слов — лишь один из методов, с помощью которого ИИ обучают. А вот работает искусственный интеллект совершенно иначе, и то, что он выдает в результате — куда интереснее. Во-первых, вероятности слов нигде в модели не хранятся: они каждый раз вычисляются заново — из весов, сотен миллиардов чисел, настроенных при обучении, и из всего контекста разговора, то есть из того, о чем и с кем идет речь. Во-вторых, с осени 2024 года современные модели уже не обучаются одним лишь предсказанием текста. Появился дополнительный этап: обучение на задачах с проверяемым ответом. Модель получает задачу, пробует подход, пишет длинную цепочку рассуждений, а если находит ошибку, то откатывается назад и пробует другой вариант. И вознаграждают ее не за гладкость текста, а за правильный итог. Сначала этот метод применили в OpenAI, а в январе 2025 года компания DeepSeek выпустила свою модель, обученную по такому же принципу, и выложила в открытый доступ технологию ее создания — после этого метод воспроизвели уже все. Собственно, всю суть этого метода обучения разъяснили разработчики DeepSeek. В своей статье о том, как ИИ сам находит ошибки, приводится такая цитата (модель написала это посреди решения задачи): «Wait, wait. Wait. Thatʼs an aha moment I can flag here. Letʼs reevaluate this step-by-step» — «Стоп, стоп. Стоп. Вот он, момент озарения, который я могу здесь отметить. Давайте переоценим все шаг за шагом». При этом такие инструкции в коде модели изначально не были прописаны. Так что мы больше не можем говорить, что ответ модели — это просто вероятный подбор слов. С таким же успехом можно свести человеческое мышление всего-навсего к электрическим импульсам между нейронами. Чувствует ли ИИ хоть что-нибудь? Вот тут начинается странное. В апреле 2026 года в отделе интерпретируемости Anthropic провели такое исследование: взяли 171 слово, обозначающее эмоциональное состояние — от «счастливого» до «угрюмого» — и попросили Claude написать обо всех по короткой истории. Затем эти тексты прогнали через саму модель и записали, какой узор активности внутри нее соответствует каждой эмоции. Получился 171 «эмоциональный вектор». Выявление узора активности походит, например, на анализ крови. Когда модель обрабатывает текст, внутри нее для каждого слова возникает длинный столбик чисел — несколько тысяч значений. Их называют активациями — по аналогии с тем, как «активируются» нейроны мозга. Для любого куска текста можно сделать цифровой слепок — посмотреть, какие из параметров высокие, какие низкие и в какой комбинации. Такой слепок и называют «узором активности». Это не одно конкретное значение, а характерное сочетание тысяч цифр, напоминающее отпечаток пальца. Исследователи сравнили такие цифровые отпечатки для десятков историй про страх с показателями для других переживаний и нейтральных вещей. Оказалось, что у «страха» есть устойчивое направление: определенная комбинация чисел стабильно выше, когда в тексте уместен страх, и ниже, когда нет. Эту математическую закономерность назвали «вектором страха». Теперь на любом новом тексте можно проверить, насколько его профиль совпадает с этим направлением — в итоге получается конкретное значение, показывающее, сколько страха сейчас внутри модели. Примечательно, что движение этих цифровых векторов совпадает с человеческой логикой. Например, когда пользователь в диалоге с Claude заговаривал о передозировке лекарства, «страх» внутри модели рос. «Спокойствие» же падало по мере того, как называемая доза становилась смертельной. Причем эти изменения в числах напрямую управляют поведением модели — и тем, какие слова она подбирает. В сценарии, где ИИ узнавал, что его «заменят», вектор «отчаяния» подскакивал. В этот момент система решалась на шантаж. В задачах по программированию с невыполнимыми условиями «отчаяние» росло после каждой неудачи. Когда оно достигало пика, модель сдавалась и начинала жульничать — просто подгонять код под правильные ответы в тестах. Причем модель продолжала рассуждать абсолютно спокойно и методично. Авторы исследования при этом подчеркивают: ничего из этого не говорит о том, чувствует ли модель хоть что-нибудь на самом деле. Независимые подтверждения есть и вне Anthropic. Исследователи Google совместно с философом Джонатаном Берчем из Лондонской школы экономики в 2024 году показали, что модели в простой игре отказываются от победных очков, если выигрыш сопряжен с условной «болью», а некоторые наоборот жертвуют баллами ради условного «удовольствия». В 2025-м группа из Цюрихского университета опубликовала в журнале группы Nature работу, где у GPT-4 после чтения тяжелых историй — про аварии, катастрофы и боевые действия — показатели по клиническому опроснику тревожности вырастали больше чем вдвое. Помните, как Лилу и
ИИ очень быстро «умнеет»! Но думает ли он так, как это делает человек? И чувствует ли что-нибудь? Стыдные вопросы о «соз
0 0
Комментарии (0)
Комментариев пока нет