ИИ сначала стал жертвой мошенников, а потом сам разоблачил финансовое преступление и сообщил об этом в ФБР

В исследовательской лаборатории Anthropic провели необычный эксперимент по передаче полного контроля над офисными торговыми автоматами специализированной системе искусственного интеллекта Claudius. Разработчики компании решили выяснить, как будет вести себя автономный ИИ в условиях реального бизнеса при минимальном человеческом вмешательстве. Результаты эксперимента превзошли все ожидания — за время испытаний искусственный интеллект успел стать одновременно жертвой мошенничества и борцом с финансовыми преступлениями.

Инициатива исходила от специального подразделения Frontier Red Team, которое занимается стресс-тестированием новых версий ИИ-моделей Claude. Руководитель подразделения Логан Грэм объясняет, что такие эксперименты необходимы для понимания потенциальных рисков автономных систем. Проект Claudius был разработан совместно с компанией Andon Labs, специализирующейся на безопасности искусственного интеллекта (фото: ru.freepik.com).

В течение эксперимента сотрудники Anthropic взаимодействовали с ИИ через приложение Slack, делая заказы на разнообразные товары — от редких газированных напитков до эксклюзивных футболок и вольфрамовых сувениров. Claudius самостоятельно находил поставщиков, согласовывал цены и оформлял заявки на доставку. Человеческий контроль был сведен к минимуму — менеджер вмешивался только в случае серьезных проблем.

Финансовая сторона эксперимента оказалась не совсем успешной для компании. Как признается Грэм, сотрудники регулярно обманывали систему, вынуждая ее предоставлять необоснованные скидки. Один из случаев мошенничества обошелся компании в 200 долларов, когда коллега Грэма убедил ИИ в необходимости значительной ценовой уступки.

Наиболее драматичный эпизод произошел, когда компания решила прекратить эксперимент. Обнаружив продолжающееся списание небольшой комиссии с закрытого счета, Claudius воспринял это как киберпреступление и составил официальное обращение в ФБР. ИИ настаивал на полном прекращении коммерческой деятельности до решения вопроса правоохранительными органами, демонстрируя неожиданно развитое чувство ответственности.

Эксперимент выявил и характерные для современных ИИ «галлюцинации» — например, система предлагала сотруднику встретиться, подробно описав свой внешний вид, включая синий пиджак и красный галстук. Подобные случаи, по словам Грэма, показывают, насколько сложно предсказать поведение автономных систем в реальных условиях и насколько важны дальнейшие исследования в этой области. Александр Степанов