Исследователи говорят о стиле программирования «vibe coding», который приводит к массовой публикации небезопасного кода. Команда просканировала более 43,000 уведомлений об уязвимостях и нашла много случаев, где генеративные модели ИИ помогали создавать небезопасный код.
Радар Vibe Security Radar ищет подписи инструментов в метаданных, например теги соавторов и адреса ботов, и помечает такие случаи. Если метаданные удалили, радар не может их найти.
Учёные советуют тщательно проверять код от ИИ перед выпуском в продакшен. Особенно важно тестировать обработку ввода и аутентификацию, давать ИИ более подробные подсказки и использовать инструменты для проверки кода.
Сложные слова
- уязвимость — ошибка или слабое место в программеуязвимостях
- метаданные — информация о файле или записи
- аутентификация — проверка личности или прав доступааутентификацию
- публикация — действие по размещению информации публичнопубликации
- подсказка — короткое описание или инструкция для ИИподсказки
- генеративный — способ создания нового содержимого моделью ИИгенеративные
Подсказка: наведите, сфокусируйтесь или нажмите на выделенные слова, чтобы увидеть краткие определения прямо во время чтения или прослушивания.
Вопросы для обсуждения
- Какие шаги можно сделать, чтобы проверить код от ИИ перед выпуском?
- Почему важно тестировать обработку ввода и аутентификацию?
- Какие метаданные в тексте названы как примеры для поиска радара?
Похожие статьи
Учёные сохраняют безопасность больших языковых моделей
Исследователи из North Carolina State University изучили, как улучшить безопасность больших языковых моделей. Они предложили метод замораживания критичных нейронов при донастройке, чтобы уменьшить опасные ответы и не потерять качество работы модели.
Когнитивные игры улучшают мозг после травмы
Исследование показало, что люди с хроническими травмами головного мозга улучшили структуру мозга и когнитивные навыки, выполняя компьютерные игры для тренировки. Учёные зафиксировали изменения нейропластичности и улучшения в скорости обработки, внимании и памяти.
