Mirai es una capa de infraestructura para ejecutar modelos de IA directamente en dispositivos de usuario final. Los desarrolladores integran un SDK para trasladar la inferencia de la nube a CPUs y GPUs locales, manteniendo el control sobre la arquitectura de su modelo.
Inferencia en el dispositivo y privacidad de datos
Mirai se centra en la inferencia local, donde los resultados del modelo se calculan en el portátil, smartphone o escritorio del usuario. Esto ayuda a reducir la latencia, disminuye la dependencia de la conectividad de red y evita enviar datos sensibles a la nube.
Descargar GPU en la nube y escalar de forma eficiente
Al mover parte de la carga de trabajo a los dispositivos cliente, las GPU en la nube pueden reservarse para tareas que realmente requieren escalado centralizado. Este enfoque respalda el crecimiento del producto sin un aumento lineal de los costos de infraestructura.
Herramientas para desarrolladores de productos de IA
Mirai incluye componentes diseñados para acelerar la implementación de la inferencia local:
SDK para integrar la inferencia en el dispositivo en aplicaciones
Biblioteca de modelos
Aplicación para macOS
Documentación e integraciones listas para usar para reducir el retrabajo
