Mirai est une couche d’infrastructure pour exécuter des modèles IA directement sur les appareils des utilisateurs finaux. Les développeurs intègrent un SDK pour déplacer l’inférence du cloud vers les CPU et GPU locaux tout en gardant le contrôle de l’architecture de leur modèle.
Inférence sur appareil et confidentialité des données
Mirai se concentre sur l’inférence locale, où les sorties du modèle sont calculées sur l’ordinateur portable, le smartphone ou le bureau de l’utilisateur. Cela peut aider à réduire la latence, à diminuer la dépendance à la connectivité réseau et à éviter l’envoi de données sensibles vers le cloud.
Décharger les GPU cloud et monter en charge efficacement
En déplaçant une partie de la charge de travail vers les appareils clients, les GPU cloud peuvent être réservés aux tâches qui nécessitent réellement une montée en charge centralisée. Cette approche accompagne la croissance du produit sans augmentation linéaire des coûts d’infrastructure.
Outils pour les développeurs de produits IA
Mirai inclut des composants conçus pour accélérer la mise en œuvre de l’inférence locale :
SDK pour intégrer l’inférence sur appareil dans les applications
Bibliothèque de modèles
Application macOS
Documentation et intégrations prêtes à l’emploi pour réduire les reprises
