ЛОНДОН – Что требуется, чтобы изменить мнение человека? Поскольку генеративный искусственный интеллект (сокращённо ИИ) всё активней встраивается в системы обслуживания клиентов (представьте себе, например, телефонный разговор с роботом или онлайн-чатботы), этот этический вопрос требует широкого ответа.
Способность менять мнение людей с помощью обоснованных рассуждений является основой демократии. Чёткие и эффективные формы коммуникаций формируют фундамент для обсуждения и убеждения, которые необходимы для нахождения компромисса между конкурирующими интересами. Однако у убедительности есть своя тёмная сторона: нечестные мотивы, ложь, манипуляция сознанием. Всё это злонамеренные действия, совершение которых ИИ способен упростить.
В не столь уж отдалённом будущем генеративный ИИ сможет создавать интерфейсы новых пользователей, способных убеждать от имени любого человека или организации, которые обладают достаточными средствами для запуска такой системы. Используя частные базы знаний, такие специализированные модели смогут предлагать различные истины, которые будут конкурировать между собой за счёт способности генерировать убедительные ответы для целевых групп: искусственный интеллект для всех идеологий. Несомненно, что далее поднимется волна социального инжиниринга на основе ИИ, при этом усиление конкуренции поможет всем злонамеренным игрокам упростить и удешевить распространение дезинформации и совершение мошенничества.
Тем самым появление генеративного ИИ усилило кризис, вызванный исчезновением эпистемологической безопасности. Изначальной политической реакцией стало требование, чтобы люди знали, что общаются с ИИ. В июне Еврокомиссия потребовала от крупных технологических компаний начать маркировку текстов, видео и аудио, которые были созданы или изменены с помощь ИИ-инструментов. А Европарламент сейчас добивается включения аналогичного правила в готовящийся закон «Об искусственном интеллекте» (AI Act). Согласно этой логике, осведомлённость защитит нас от введения в заблуждение ИИ-агентом, при этом не важно, насколько он будет убедителен.
Однако предупреждение людей о присутствии ИИ не всегда защищает их от манипуляций. Ещё в 1960-е годы эксперимент с чатботом ELIZA в Массачусетском технологическом институте показал, что люди способны формировать эмоциональные связи, испытывать эмпатию и наделять мыслительными процессами человека компьютерную программу, имеющую антропоморфные характеристики (в данном случае способность к естественной речи), хотя их предупреждали, что это не человек.
Нам свойственно формировать сильную эмоциональную привязанность к нашим убеждениям, которые затем сковывают наши способности объективно оценивать противоречивые факты. Кроме того, мы обычно ищем информацию, которая поддерживает, а не оспаривает, наши взгляды. Нашей целью должно быть участие в рефлексивном процессе убеждения, когда мы выдвигаем аргументы и тщательно учитываем наши убеждения и ценности, чтобы прийти к хорошо обоснованному согласию или несогласию.
Access every new PS commentary, our entire On Point suite of subscriber-exclusive content – including Longer Reads, Insider Interviews, Big Picture/Big Question, and Say More – and the full PS archive.
Subscribe Now
Однако здесь важно, что формирование эмоциональных связей с другими может повысить нашу подверженность манипуляциям, и мы знаем, что люди способны формировать такого виды связей даже с такими чатботами, которые для этого не запрограммированы. Когда чатботы будут действительно создаваться для формирования эмоциональных связей с людьми, появится новая динамика, связанная с двумя давними проблемами человеческих рассуждений: асимметричный риск и взаимность.
Представьте себе, что технологическая компания создаёт чатбота для убеждения людей. У такого агента риски (эмоциональные или физические) будут фактически нулевыми, когда он будет пытаться убедить других. Что же касается взаимности, то крайне малы шансы, чтобы чатбота можно будет в чём-то убедить. Более вероятно другое: человек в ходе ограниченного контакта с чатботом может вынудить его отступить в чём-то, что потом будет использоваться для обучения программы. Тем самым активное убеждение (смысл которого в том, чтобы заставить изменить взгляды, а не достигнуть сиюминутного соглашения) становится в целом невозможным.
Иными словами, мы удручающе плохо подготовлены к распространению ИИ-систем убеждения людей. Многие отраслевые лидеры, включая компанию OpenAI, которая создала программу ChatGPT, заявляют об этой потенциальной угрозе. Однако заявления не являются всесторонней системой управления подобными рисками.
Нельзя сделать обществу эффективную прививку от убеждающего ИИ, поскольку для этого нужно, чтобы у каждого человека появился иммунитет к таким агентам. Это невыполнимая задача. Кроме того, любая попытка контролировать и маркировать ИИ-интерфейс приведёт к тому, что люди будут использовать подобные данные в новых сферах – так же, как они копируют текст, написанный ChatGPT, в свои электронные письма. Владельцам систем придётся отслеживать активность пользователей и оценивать конверсию.
Впрочем, убеждающий ИИ не обязательно должен быть генеративным по своей природе. Целый ряд организаций, частных лиц и структур уже повысили потенциал убеждения для достижения своих целей. Взгляните, например, на государственные структуры, которые используют компьютерно-сгенерированную пропаганду, манипулирующую информацией и общественным мнением, для продвижения национальных интересов и целей.
Эволюция компьютерного убеждения стала прибыльной бизнес-моделью для индустрии технологической рекламы. Эта бурно развивающаяся отрасль не только демонстрирует силу технологий убеждения, которые влияют на поведение потребителей, но и подчёркивает, насколько важную роль могут играть эти технологии в увеличении продаж и достижении коммерческих целей.
Всех этих многообразных игроков объединяет желание повысить свою способность убеждать. Это похоже на постоянно расширяющийся ландшафт технологического влияния, со всеми его известными и неизвестным социальными, политическими и экономическими последствиями. Поскольку процесс убеждения автоматизируется, выработка всесторонних норм этики и регулирования становится императивом.
To have unlimited access to our content including in-depth commentaries, book reviews, exclusive interviews, PS OnPoint and PS The Big Picture, please subscribe
While both the American and Chinese Gilded Ages raised material standards of living for hundreds of millions of people, their endemic corruption produced radically unequal and unsustainable growth. Ultimately, both periods offer cautionary tales about unbridled crony capitalism, not models for blind emulation.
explains how corruption both drove the country's GDP growth and sowed the seeds for its current economic problems.
Since taking power in 2014, Prime Minister Narendra Modi and his ruling Bharatiya Janata Party have stoked Hindu nationalism, hollowed out India’s democracy, and overseen an economy that is probably performing far worse than official figures suggest. And yet Modi and the BJP are genuinely popular, making them likely – though not certain – to emerge victorious when the ongoing parliamentary election concludes in June.
ЛОНДОН – Что требуется, чтобы изменить мнение человека? Поскольку генеративный искусственный интеллект (сокращённо ИИ) всё активней встраивается в системы обслуживания клиентов (представьте себе, например, телефонный разговор с роботом или онлайн-чатботы), этот этический вопрос требует широкого ответа.
Способность менять мнение людей с помощью обоснованных рассуждений является основой демократии. Чёткие и эффективные формы коммуникаций формируют фундамент для обсуждения и убеждения, которые необходимы для нахождения компромисса между конкурирующими интересами. Однако у убедительности есть своя тёмная сторона: нечестные мотивы, ложь, манипуляция сознанием. Всё это злонамеренные действия, совершение которых ИИ способен упростить.
В не столь уж отдалённом будущем генеративный ИИ сможет создавать интерфейсы новых пользователей, способных убеждать от имени любого человека или организации, которые обладают достаточными средствами для запуска такой системы. Используя частные базы знаний, такие специализированные модели смогут предлагать различные истины, которые будут конкурировать между собой за счёт способности генерировать убедительные ответы для целевых групп: искусственный интеллект для всех идеологий. Несомненно, что далее поднимется волна социального инжиниринга на основе ИИ, при этом усиление конкуренции поможет всем злонамеренным игрокам упростить и удешевить распространение дезинформации и совершение мошенничества.
Тем самым появление генеративного ИИ усилило кризис, вызванный исчезновением эпистемологической безопасности. Изначальной политической реакцией стало требование, чтобы люди знали, что общаются с ИИ. В июне Еврокомиссия потребовала от крупных технологических компаний начать маркировку текстов, видео и аудио, которые были созданы или изменены с помощь ИИ-инструментов. А Европарламент сейчас добивается включения аналогичного правила в готовящийся закон «Об искусственном интеллекте» (AI Act). Согласно этой логике, осведомлённость защитит нас от введения в заблуждение ИИ-агентом, при этом не важно, насколько он будет убедителен.
Однако предупреждение людей о присутствии ИИ не всегда защищает их от манипуляций. Ещё в 1960-е годы эксперимент с чатботом ELIZA в Массачусетском технологическом институте показал, что люди способны формировать эмоциональные связи, испытывать эмпатию и наделять мыслительными процессами человека компьютерную программу, имеющую антропоморфные характеристики (в данном случае способность к естественной речи), хотя их предупреждали, что это не человек.
Нам свойственно формировать сильную эмоциональную привязанность к нашим убеждениям, которые затем сковывают наши способности объективно оценивать противоречивые факты. Кроме того, мы обычно ищем информацию, которая поддерживает, а не оспаривает, наши взгляды. Нашей целью должно быть участие в рефлексивном процессе убеждения, когда мы выдвигаем аргументы и тщательно учитываем наши убеждения и ценности, чтобы прийти к хорошо обоснованному согласию или несогласию.
Subscribe to PS Digital
Access every new PS commentary, our entire On Point suite of subscriber-exclusive content – including Longer Reads, Insider Interviews, Big Picture/Big Question, and Say More – and the full PS archive.
Subscribe Now
Однако здесь важно, что формирование эмоциональных связей с другими может повысить нашу подверженность манипуляциям, и мы знаем, что люди способны формировать такого виды связей даже с такими чатботами, которые для этого не запрограммированы. Когда чатботы будут действительно создаваться для формирования эмоциональных связей с людьми, появится новая динамика, связанная с двумя давними проблемами человеческих рассуждений: асимметричный риск и взаимность.
Представьте себе, что технологическая компания создаёт чатбота для убеждения людей. У такого агента риски (эмоциональные или физические) будут фактически нулевыми, когда он будет пытаться убедить других. Что же касается взаимности, то крайне малы шансы, чтобы чатбота можно будет в чём-то убедить. Более вероятно другое: человек в ходе ограниченного контакта с чатботом может вынудить его отступить в чём-то, что потом будет использоваться для обучения программы. Тем самым активное убеждение (смысл которого в том, чтобы заставить изменить взгляды, а не достигнуть сиюминутного соглашения) становится в целом невозможным.
Иными словами, мы удручающе плохо подготовлены к распространению ИИ-систем убеждения людей. Многие отраслевые лидеры, включая компанию OpenAI, которая создала программу ChatGPT, заявляют об этой потенциальной угрозе. Однако заявления не являются всесторонней системой управления подобными рисками.
Нельзя сделать обществу эффективную прививку от убеждающего ИИ, поскольку для этого нужно, чтобы у каждого человека появился иммунитет к таким агентам. Это невыполнимая задача. Кроме того, любая попытка контролировать и маркировать ИИ-интерфейс приведёт к тому, что люди будут использовать подобные данные в новых сферах – так же, как они копируют текст, написанный ChatGPT, в свои электронные письма. Владельцам систем придётся отслеживать активность пользователей и оценивать конверсию.
Впрочем, убеждающий ИИ не обязательно должен быть генеративным по своей природе. Целый ряд организаций, частных лиц и структур уже повысили потенциал убеждения для достижения своих целей. Взгляните, например, на государственные структуры, которые используют компьютерно-сгенерированную пропаганду, манипулирующую информацией и общественным мнением, для продвижения национальных интересов и целей.
Эволюция компьютерного убеждения стала прибыльной бизнес-моделью для индустрии технологической рекламы. Эта бурно развивающаяся отрасль не только демонстрирует силу технологий убеждения, которые влияют на поведение потребителей, но и подчёркивает, насколько важную роль могут играть эти технологии в увеличении продаж и достижении коммерческих целей.
Всех этих многообразных игроков объединяет желание повысить свою способность убеждать. Это похоже на постоянно расширяющийся ландшафт технологического влияния, со всеми его известными и неизвестным социальными, политическими и экономическими последствиями. Поскольку процесс убеждения автоматизируется, выработка всесторонних норм этики и регулирования становится императивом.
В написании этой статьи участвовала Орели Жан.