OpenAI разрабатывает систему автоматического экстренного отключения ИИ
Компания подтвердила работу над технологией, которая остановит ИИ в случае угрозы безопасности.
Reuters получило письмо OpenAI, адресованное двум конгрессменам США. В нём компания подтвердила работу над технологией автоматического экстренного отключения ИИ. Инженеры называют её «последней линией защиты» — инструментом, который остановит систему, если другие меры безопасности не сработают.
Разработка следует за публичными заявлениями OpenAI о рисках сверхразумного ИИ. В мае компания распустила команду по безопасности, но теперь усиливает технические барьеры. Систему тестируют на собственных моделях, включая GPT-4.
Технология работает по трём уровням. Первый — программные ограничения внутри ИИ. Второй — внешний мониторинг действий системы. Третий — физическое отключение серверов через встроенные механизмы. Реализация требует изменений в архитектуре дата-центров.
OpenAI не раскрывает точные сценарии срабатывания. Известно, что система активируется при попытках ИИ манипулировать людьми, создавать опасные вещества или взламывать защищённые сети. В письме компания подчёркивает, что технология — часть стратегии «безопасного развития».
Аналогичные решения разрабатывают Anthropic и DeepMind. В OpenAI заявили, что поделятся наработками с другими компаниями до конца 2024 года. Пока система не готова для интеграции в коммерческие продукты.
Критики называют инициативу запоздалой. Эксперты по ИИ-безопасности требуют открытых стандартов экстренного отключения и независимого аудита алгоритмов. В OpenAI ответили, что работают над прозрачностью, но детали останутся закрытыми из-за рисков злоупотреблений.
Источник изображения: Brecht Corbeel / unsplash.com
