AI Assistent Game-Server Integration (ohne LLM)

  • Hallo meine lieben Brotfische,


    lange ist es her.


    Neulich war ich auf einem Server, die hatten kein Tutorial und keine Erklärungen.

    Dann hat man sich selbst durch die Menüs gekämpft, nur um dann Befehle zu finden, wo es hieß, den kannst du ohne xyz nicht nutzen. Findest du am Schwarzmarkt.

    Glaubt ihr, ich habe diesen Schwarzmarkt gefunden? -Nein

    Gab es ein Navi? -Nein

    Wusste irgendwer wo das war? -Nein


    Das fand ich sehr nervig.

    Und wie cool wäre es, wenn jeder Server einen AI-Assistenten völlig kostenlos und ohne GPU hätte?


    Da will ich euch heute mal einen Ansatz vorstellen.

    Vielleicht noch kurz zur Erklärung, wieso ich kein LLM nutzen mag. Natürlich wäre der Output dann besser, allerdings ist es dann auch massiv langsamer, teurer, aufwändiger und anfälliger für falsche Infos (Stichwort Halluzination).


    Die Theorie


    Implementierung


    FAQ

    • Ja, das läuft auf Linux oder Windows.
    • Nein, man brauch keine GPU.
    • Der Python-Web-Server soll nur lokal verfügbar sein! (Auch aus Sicherheitsgründen!)
    • Eine Anfrage braucht ungefähr ~35ms
    • Wichtig ist URLEncode zu nutzen bei der HTTP Anfrage!
    • Wenn man Quatsch eingibt, bekommt man Quatsch zurück oder eben, dass nichts in der DB gefunden wurde.
    • Wieso kein LLM? Wurde oben erklärt.
    • Werden meine Änderungen sofort übernommen, wenn ich sie in der data.txt ergänze? Nein, da das unnötig wäre immer on the fly für alle Zeilen den Vektor zu berechnen. Man muss dann kurz alles Neustarten. Aber das sollte ja auch in 5 Sekunden erledigt sein. Alternativ kann man hier ansetzen eine Schnittstelle noch zu implementieren, die den Datenvektor erweitert bzw das direkt in einer .db ablegt. Dafür eignet sich chroma gut.


    Bei Fragen wendet euch gerne an ChatGPT und wenn der nicht weiterkommt, dann gerne an mich :)


    Hoffe es inspiriert vielleicht den Ein oder Anderen hier im Forum sowas zu implementieren, fände ich mega stark! :thumbup:


    In diesem Sinn, bei Anregungen, gerne einen Kommentar, falls euch der Beitrag gefallen hat, gerne einen Daumen nach oben ^^

    ast2ufdyxkb1.png


    Leute, lernt scripten und versucht mal lieber etwas selber zu schreiben, als es aus einem GF zu kopieren. :S

    3 Mal editiert, zuletzt von Kaliber ()

  • Kaliber

    Hat das Thema in den Papierkorb verschoben.
  • seegras

    Hat das Thema freigeschaltet.