LiteLLM
По запросуОписание
LiteLLM - это open-source инструментарий, который упрощает взаимодействие с более чем 100 большими языковыми моделями (LLM) благодаря унифицированному API в формате OpenAI. Он предоставляет Python SDK и прокси-сервер (LLM Gateway) для управления аутентификацией, балансировкой нагрузки и отслеживанием расходов среди различных провайдеров LLM, включая OpenAI, Azure OpenAI, Vertex AI и Amazon Bedrock. LiteLLM поддерживает функции логики повторных попыток и резервирования, ограничения скорости и интеграции с инструментами логирования, такими как Langfuse и OpenTelemetry. Он разработан для упрощения интеграции множества LLM в приложения с обеспечением согласованных форматов вывода и эффективного управления ресурсами.
Целевая аудитория
- Исследователи ИИ
- разработчики ПО
- специалисты по данным
- инженеры машинного обучения
Детали
- Разработчик
- LiteLLM
- Видео
- Смотреть видео
- Ключевые слова
- фреймворк ИИИнтеграция языковой моделиSDK для PythonИИ-агентИИ-агент storeоткрытый исходный кодпрокси-серверИИИИ ассистентИИ помощникИИ-агентбиржа ИИ агентовмаркетплейс ИИ агентов