Chat LLaMA ist ein Satz von LoRA-Gewichten plus eine Desktop-GUI zum Erstellen eines persönlichen, auf LLaMA basierenden Chat-Assistenten, der lokal auf Ihrer GPU läuft. Das Angebot richtet sich an Forschung und praxisnahe Setups, bei denen Datenschutz, Modellkontrolle und Anpassbarkeit wichtig sind.
Lokaler Assistent mit LoRA-Anpassungen
Das Projekt bietet LoRA-Anpassungen, die auf dem Anthropic-HH-Dialogdatensatz trainiert wurden, um einen assistentenähnlicheren Ton und ein konsistenteres mehrstufiges Chatverhalten zu erzeugen. Modellgrößen helfen dabei, Ausgabequalität und Hardware-Anforderungen auszubalancieren:
7B
13B
30B
Anpassung und communitygetriebene Entwicklung
Chat LLaMA wird als Ausgangspunkt positioniert, um Ihren eigenen Assistenten zusammenzustellen und ihn durch Experimente mit Daten und Fine-Tuning weiterzuentwickeln.
Verschiedene Datensätze und Trainingsansätze ausprobieren
Einstellungen an den jeweiligen Anwendungsfall anpassen
Eine auf RLHF basierende LoRA-Version befindet sich laut Angabe in Entwicklung
Community-Support und der Austausch von Datensätzen werden über Discord koordiniert
Wichtiger Hinweis
Die Gewichte des Basismodells (Foundation Model) werden nicht verteilt; die bereitgestellten Materialien sind für Forschungszwecke vorgesehen.
