Ich suche gerade für mich eine geeignete AI Software, die man lokal nutzen und füttern kann , bei Bedarf aber auch auf das World Wide Web zugreifen kann.
Gibt es das oder gibt es Ideen dazu.
Wenn Du etwas lokal betreiben willst nimm Llama3.2, das ist ein kleines, ressourcenschonendes LLM, das für einfache Fragen schnell und effizient Antworten liefert. Je nachdem was Du an VRAM hast kannst Du auch Llama3.3:70b-instruct-q8_0 nehmen, das ist ein großes LLM, das tiefere Analysen ermöglicht, komplexe Antworten bietet und ein umfassendes Wissen bereitstellt, jedoch wesentlich mehr Rechenleistung erfordert. Für das 70b Model brauchst Du rund 70GB VRAM, also 3 Karten mit 24GB parallel geht. Ist aber für zu Hause übertrieben
Auf meiner Karte mit mit 24GB VRAM läuft das das kleine relativ gut, obwohl ich hier ne AMD Karte habe und mich mit der Zwischenschicht ROCm rumärgern muss. Wenn Du eine NV GraKa hast tust Du dir da wesentlich leichter weil die eben CUDA unterstützen. Wenn Du eine AMD Karte hast, dann empfehle ich Dir auf jeden Fall das unter LINUX zu machen, da die WIN Version von ROCm eingeschränkt ist.
Der Vorteil von Llama ist, dass Du hierzu unzählige Anleitungen findest. Wenn Du auch noch fertige Wissensdatenbanken benötigts wirst Du hier bestimmt fündig:
OpenML
Wenn es Dir um Trainingsdatensätze geht findest Du hier eine schöne Zusammenfassung von Quellen:
Offene Datensätze für KI/ML
Du kannst natürlich das ganze auch Mehrstufig aufbauen, also erst lokale KI und dann z.B. ChatGPT. Auch dazu findest Du mehr als genug Anleitungen im Netz. Ich würde Dir aber empfehlen, sofern Du dich neu mit der Materie beschäftigst, erst mal mit dem lokalen anzufangen und das sauber zum laufen zu bringen. Geht relativ einfach wenn man sich für die Materie interessiert.
Ach ja, nur um die Frage gleich vorweg zu beantworten warum ich das auf AMD mache: 1. Ich habe eine pers. Antipathie gegen NV und zweitens weil es billiger ist. Das Leistungsverhältnis zwischen NV und AMD liegt bei ca 1:1,5, das Preisverhältnis liegt aber aber bei 1:2. Das heißt wenn ich mir zwei 7900XTX kaufe habe ich trotz ROCm 50% Mehr Leistung fürs gleiche Geld (1000€ für eine XTX und 2000€ für eine 4090). Du brauchst halt auch die Voraussetzungen dass Du zwei GraKas in deinem PC betreiben kannst.
Und ja, das ist keine Anwendung für einen PC, aber das rumprobieren macht trotzdem Spaß, es funktioniert und ich muss damit ja nicht mein Geld verdienen. In der Arbeit habe ich andere Plattformen zur Verfügung die ich mir aber privat nicht leisten will.
) es gerade mit GPT4all (von NomicAI, code ist quelloffen gelegt) und einer kleineren Distill von DeepSeekR1 für sowas ähnliches. 
geizhals.de
Ich habe ja keine Daten von mir rein gegeben. Nur die Fragestellungen an sich. Jetzt kann ChatGpt anhand meiner Fragensellungen gewisse Rückschlüsse ziehen -mehr jedoch nicht.
Selbst in der IT-Branche.
