Jools [Friendica]<p>Wir haben gestern auf einer lokalen Installation mehrere LLMs ausprobiert. Mein Grundgedanke war – da ich immer mal wieder Gemini bzw. Mistral nutze – ob man diese nicht „<i>einfach</i>“ lokal installiert nutzen kann. So bleiben alle Daten bei einem selbst und gehen nicht an Google & Co.</p><p>Damit das LLM vernünftig läuft, benötigt es allerdings entsprechend „starke“ und leistungsfähige Hardware. Mit meiner Grafikkarte NVIDIA GeForce RTX 3070 8GB ist das „<i>schon</i>“ machbar und möglich.</p><p><br>Wir testeten u.a.:</p><p>- DeepSeek R1<br>- TinyDolphin<br>- Mistral<br>- Gemma<br>- Qwen</p><p>in verschiedenen Ausführungen.</p><p><br>Die Ergebnisse waren sehr interessant:</p><p><b>Natürlich</b> kam keines der von uns getesteten LLM auch nur annähernd an die Leistung der aktuellen Gemini / ChatGPT-Modelle heran. Hierfür hätten wir ein besseres LLM herunterladen müssen, dessen Anforderungen aber die Kapazität meiner Hardware um ein Vielfaches übersteigen.</p><p>Die Antworten, die ich von den LLMs bekam, waren teilweise sehr ernüchternd. Zudem waren die Modelle, je größer sie wurden, unfassbar langsam. Also so richtig langsam, nicht nur ein bisschen. Da dauerte ein Satz auch gerne mal 1 Minute.</p><p>Somit fällt Selfhosting in dieser Kategorie für mich vorerst leider flach. 😂</p><p>(Ich wollte es halt mal mit eigenen Augen sehen!)</p><p><br><a href="https://missocial.de/search?tag=KI" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#<span>KI</span></a>, <a href="https://missocial.de/search?tag=AI" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#<span>AI</span></a>, <a href="https://missocial.de/search?tag=LLM" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#<span>LLM</span></a>, <a href="https://missocial.de/search?tag=selfhosted" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#<span>selfhosted</span></a></p>