GPT-Red: self-play for AI robustness
- Что произошло: OpenAI представила GPT-Red — автоматизированную систему для red teaming, которая использует метод самосовершенствования (self-play) для повышения безопасности, согласованности и устойчивости к инъекциям промптов.
- Суть: GPT-Red позволяет автоматически генерировать атакующие промпты и тестировать модель на уязвимости, что ускоряет процесс выявления слабых мест. Система учится на своих ошибках, постепенно улучшая защиту ИИ без участия человека. Это важно, так как делает AI-системы более надёжными перед реальными угрозами.
- Ссылка: (ссылка не указана)