Специализированный бенчмарк для тестирования и верификации выхода AI-агента
agent-egress-bench, созданный LuckyPipewrench, является открытым бенчмарком и корпусом атак для проверки исходящих контролей на автономных агентах. Он запускает структурированный набор тестов для измерения того, насколько хорошо межсетевые экраны, прокси-серверы или обертки MCP блокируют эксфильтрацию, инъекции подсказок и атаки на основе инструментов. Ключевые элементы включают корпус из более чем 250 тестовых случаев, нейтральный к инструментам запускатель и автоматизированный подход к оценке. Целевая аудитория - исследователи безопасности ИИ, разработчики межсетевых экранов и архитекторы корпоративной безопасности, ищущие основанную на фактических данных уверенность в исходящих контролях.
Для каких задач вы можете его использовать?
Бенчмарк определяет четкую задачу: измерение защиты выхода для автономных агентов. Проект сочетает большой корпус атак с исполнителем для тестирования адаптеров в различных категориях и явно охватывает уклонение от DLP, инъекцию подсказок, SSRF, обфускацию оболочки и специфические векторы MCP, такие как отравление инструментов и инъекция схемы. Пользователи могут использовать бенчмарк для создания воспроизводимых атак и данных о производительности, которые отражают, как политика выхода агента реагирует на реальные враждебные паттерны.
Как он сообщает о точности и где находятся пределы?
Проект включает автоматизированную методологию оценки, которая сообщает как о блокировке атак, так и о частоте ложных срабатываний, предоставляя количественные метрики для принятия решений. Исполнитель записывает решения в каждом случае, так что команды могут проверить, какие входные данные вызвали обнаружения. Точность зависит от качества интеграции тестируемого адаптера; сам бенчмарк сообщает результаты, но не изменяет внутреннюю логику обнаружения продукта, поэтому результаты требуют интерпретации командами безопасности.
Какие входные данные, протоколы и окружения он требует?
Исполнитель написан на Go и предназначен для работы на Linux, а корпус тестирует трафик MCP, HTTP и WebSocket. Совместимость достигается через профили возможностей или адаптеры, так что любой инструмент безопасности, который предоставляет интерфейс адаптера, может быть протестирован. Кодовая база и данные лицензированы по Apache-2.0, что позволяет инспекцию и локальное развертывание в тестовом окружении организации.
Является ли это практичным для типичных рабочих процессов безопасности?
Бенчмарк нацелен на технически подготовленные команды: исследователей безопасности ИИ, разработчиков ИИ межсетевых экранов и прокси-серверов, а также архитекторов предприятий, соответствуя заявленной целевой аудитории. Его нейтральный к инструментам дизайн и модель адаптеров позволяют командам безопасности оценивать несколько продуктов без привязки к поставщику. Практические ограничения включают строгий фокус только на поведении выходного агента, а не на полном сканировании уязвимостей, и ожидание, что команды интегрируют исполнителя в существующие CI или аудиторские рабочие процессы.
Практичный, ориентированный на доказательства инструмент для специализированных команд безопасности
Эталон является прагматичным вариантом для команд, которым необходимо проверяемое тестирование выхода и которые готовы интегрировать командный интерфейс в рабочие процессы аудита. Его ориентация на доказательства поддерживает дисциплинированное обеспечение безопасности, в то время как организации, стремящиеся к GUI-первому или универсальному сетевому сканеру, должны ожидать более сложных усилий по интеграции. Для групп, сосредоточенных на рисках исходящего трафика автономных агентов, он надежно повышает строгость операционного тестирования.
