AI Assistent Game-Server Integration (ohne LLM)

  • Hallo meine lieben Brotfische,


    lange ist es her.


    Neulich war ich auf einem Server, die hatten kein Tutorial und keine Erklärungen.

    Dann hat man sich selbst durch die Menüs gekämpft, nur um dann Befehle zu finden, wo es hieß, den kannst du ohne xyz nicht nutzen. Findest du am Schwarzmarkt.

    Glaubt ihr, ich habe diesen Schwarzmarkt gefunden? -Nein

    Gab es ein Navi? -Nein

    Wusste irgendwer wo das war? -Nein


    Das fand ich sehr nervig.

    Und wie cool wäre es, wenn jeder Server einen AI-Assistenten völlig kostenlos und ohne GPU hätte?


    Da will ich euch heute mal einen Ansatz vorstellen.

    Vielleicht noch kurz zur Erklärung, wieso ich kein LLM nutzen mag. Natürlich wäre der Output dann besser, allerdings ist es dann auch massiv langsamer, teurer, aufwändiger und anfälliger für falsche Infos (Stichwort Halluzination).


    Die Theorie


    Implementierung


    FAQ

    • Ja, das läuft auf Linux oder Windows.
    • Nein, man brauch keine GPU.
    • Der Python-Web-Server soll nur lokal verfügbar sein! (Auch aus Sicherheitsgründen!)
    • Eine Anfrage braucht ungefähr ~35ms
    • Wichtig ist URLEncode zu nutzen bei der HTTP Anfrage!
    • Wenn man Quatsch eingibt, bekommt man Quatsch zurück oder eben, dass nichts in der DB gefunden wurde.
    • Wieso kein LLM? Wurde oben erklärt.
    • Werden meine Änderungen sofort übernommen, wenn ich sie in der data.txt ergänze? Nein, da das unnötig wäre immer on the fly für alle Zeilen den Vektor zu berechnen. Man muss dann kurz alles Neustarten. Aber das sollte ja auch in 5 Sekunden erledigt sein. Alternativ kann man hier ansetzen eine Schnittstelle noch zu implementieren, die den Datenvektor erweitert bzw das direkt in einer .db ablegt. Dafür eignet sich chroma gut.


    Bei Fragen wendet euch gerne an ChatGPT und wenn der nicht weiterkommt, dann gerne an mich :)


    Hoffe es inspiriert vielleicht den Ein oder Anderen hier im Forum sowas zu implementieren, fände ich mega stark! :thumbup:


    In diesem Sinn, bei Anregungen, gerne einen Kommentar, falls euch der Beitrag gefallen hat, gerne einen Daumen nach oben ^^

    ast2ufdyxkb1.png


    Leute, lernt scripten und versucht mal lieber etwas selber zu schreiben, als es aus einem GF zu kopieren. :S

    3 Mal editiert, zuletzt von Kaliber ()

  • Kaliber

    Hat das Thema in den Papierkorb verschoben.
  • seegras

    Hat das Thema freigeschaltet.
  • Also ich habe das nicht verstanden.

    Deswegen habe ich Kaliber gefragt.

    Weil er den Rang "Erleuchter" hat, hat er mich erleuchtet.


    Für alle, die hier kein Like da lassen, weil sie es nicht raffen...


    Der nummeriert die Wörter und aber auch die Sätze mehrdimensional und bildet so zusammenhänge.

    Wenn du nun einen Input gibst, kann er diesen auch mehrdimensional nummerieren.

    Anhand dieser Skala, kann er nun bei einer gewissen Übereinstimmung das ganze ausgeben lassen.


    Ist also eine richtig clevere Lösung, die kaum Brot frisst aber wahrscheinlich in 90% der Fälle gut helfen kann.

    Was vielleicht noch eine tolle Ergänzung wäre: Du schmeißt einfach gleich das ganze pwn Script rein, er ignoriert alles aus pwn und liest die Kommentare zu den Befehlen.

    Oder bin ich jetzt falsch nummeriert?

  • Was vielleicht noch eine tolle Ergänzung wäre: Du schmeißt einfach gleich das ganze pwn Script rein, er ignoriert alles aus pwn und liest die Kommentare zu den Befehlen.

    Oder bin ich jetzt falsch nummeriert?

    Mit Hilfe von LLMs kann man sowas ja easy machen, damit die Daten am Ende schön clean sind.


    Geht wie beschrieben, nicht zwingend nur um Befehle, sondern auch Erklärungen o.ä.

    ast2ufdyxkb1.png


    Leute, lernt scripten und versucht mal lieber etwas selber zu schreiben, als es aus einem GF zu kopieren. :S

    Einmal editiert, zuletzt von Kaliber ()