CRAB: Cross-environment Agent Benchmark

По запросу

Описание

CRAB (Cross-environment Agent Benchmark) - это открытый фреймворк, разработанный CAMEL-AI для построения и оценки сред, предназначенных для агентов на базе больших языковых моделей. Он поддерживает создание кросс-платформенных сред, обеспечивая развертывание в in-memory системах, средах с Docker, виртуальных машинах или распределенных физических машинах. CRAB представляет графовый метод детальной оценки и эффективный механизм создания задач и оценщиков, облегчающий всестороннюю оценку производительности агентов в различных условиях.

Целевая аудитория

  • Исследователи ИИ
  • инженеры машинного обучения
  • разработчики ПО
  • специалисты по данным
  • инженеры по автоматизации

Детали

Разработчик
CRAB: Cross-environment Agent Benchmark
Ключевые слова
Агенты языковой моделиИИ-агентИИ-агент storeбенчмаркингкроссплатформенныйГрафовая оценкафреймворк с открытым исходным кодомИИИИ ассистентИИ помощникИИ-агентбиржа ИИ агентовмаркетплейс ИИ агентов