Mirai ist eine Infrastruktur-Schicht zum direkten Ausführen von KI-Modellen auf Endgeräten der Nutzer. Entwickler binden ein SDK ein, um Inference von der Cloud auf lokale CPUs und GPUs zu verlagern und gleichzeitig die Kontrolle über die Modellarchitektur zu behalten.
On-device-Inference und Datenschutz
Mirai konzentriert sich auf lokale Inference, bei der Modellausgaben auf dem Laptop, Smartphone oder Desktop des Nutzers berechnet werden. Das kann Latenzen reduzieren, die Abhängigkeit von Netzwerkkonnektivität verringern und verhindern, dass sensible Daten in die Cloud gesendet werden.
Cloud-GPUs entlasten und effizient skalieren
Wenn ein Teil der Workload auf Client-Geräte verlagert wird, können Cloud-GPUs für Aufgaben reserviert werden, die tatsächlich zentrale Skalierung erfordern. Dieser Ansatz unterstützt das Produktwachstum, ohne dass die Infrastrukturkosten linear steigen.
Tools für Entwickler von KI-Produkten
Mirai enthält Komponenten, die die Umsetzung lokaler Inference beschleunigen sollen:
SDK zur Integration von On-device-Inference in Apps
Modellbibliothek
macOS-App
Dokumentation und vorgefertigte Integrationen, um Nacharbeit zu reduzieren
