BerriAI-litellm es un SDK de Python y un servidor proxy para trabajar con modelos de lenguaje de gran tamaño mediante un único formato de API compatible con OpenAI. Está diseñado para equipos que usan varias plataformas de generación de texto y quieren una interfaz coherente para la integración y las operaciones.
Qué hace
Conecta con más de 100 API de LLM usando un formato de solicitud/respuesta al estilo de OpenAI
Permite llamar a modelos de Bedrock, Azure, OpenAI y VertexAI mediante una sola interfaz
Traduce llamadas específicas de cada proveedor a un formato unificado para reducir la complejidad de la integración
Operaciones y controles
Balanceo de carga entre proveedores configurados
Seguimiento de presupuesto para supervisar el uso y el gasto
Limitación de solicitudes para controlar el tráfico y proteger los recursos
Notas de configuración
Instalas el SDK y configuras el servidor proxy, y luego agregas los proveedores de LLM que necesites. La configuración inicial requiere familiaridad con la configuración de proxy, y la fiabilidad general depende de los proveedores externos de modelos a los que te conectes.
