48 replies to this topic

[Mythos]

Hallo zusammen,

es wird wiedermal Zeit für ein kleines Softwareprojekt, und da ich derzeit Spass am Pokern habe wirds eine Poker-KI. Gleichmal vorweg: Ich nutze es wie immer auch für andere Lernzwecke, in dem Fall um C# zu lernen.

Ursprünglich wollte ich einen Blog dazu schreiben (kommt vielleicht noch), aber erstmal würd ich gern die Thematik mit euch diskutieren.

Geplant ist also eine KI zu schreiben die in erster Instanz mal korrekt Pokerspielen kann (inkl. dem ganzen Framework rundherum) und dann natürlich auch halbwegs gut spielt.

Vor allem der Teil mit dem "gut spielen" wird vermutlich eine Herausforderung... deswegen die Frage: Hat jemand von euch schon Erfahrungen mit PokerKI/Bots? Also im Sinne von "selber geschrieben oder entwickelt". Im Endeffekt werde ich das ganze Ding auch so bauen das man unterschiedliche Strategien gegeneinander antreten lassen kann, ich freu mich also auch über Anregungen was Pokerstrategien angeht.

Wenn das Game fertig ist, stell ichs natürlich auch gerne hier zur Verfügung, wird aber aufgrund meines vollen Kalenders noch ein bissl dauern.

[siscop]

Willst du die Karten und die Spieler getrennt oder gemeinsam betrachten?
IMHO wäre eine getrennte betrachtungsweise einfacher.

Punkte die man beachten sollte

Spiele die Karten
Karteninterepretation
- in jeder Phase (vor/nach Flop usw)
- Wahrscheinlichkeitsberechnung in jeder Phase
-

Position zum Button oder BigBlind
- Verhalten der Spieler vor dir
- Welche Position hast du
-

Spiele den Spieler
Spieler
- Risikobereitschaft (konservativ vs aggressiv)
- rebuy/add
- knockout
- wie hoch erhöht er in welcher Position
-

Soll es ein autobot oder hud werden?
Ich selber habe keine Erfahrung bei der Entwicklung dieser Software → halte aber den Lernfaktor bei so etwas mitzuwirken für sehr hoch.

[Mythos]

Da ich selber auch noch keine Erfahrung damit hab, will ich simpel starten und ggf. die Komplexität erhöhen.

Deine Liste könnte eine gute Unterteilung der Komplexitätslevel sein:
- Phase 1: Eine Strategie die rein aufgrund der Karten entscheidet (wie stehen die eigenen Wahrscheinlichkeiten gegen die der anderen)
- Phase 2: Zusätzliche Einbeziehung der Position und Tischsituation (Höhe des Pot, Anzahl Spieler etc.)
- Phase 3: Entwickeln einer "Einschätzung" der Gegner und anpassen der Strategie je nachdem wer im Spiel ist und sich wie verhält.

Was im Endeffekt rauskommen soll: Erstes Ziel ist eine Standalone Applikation die den Ablauf grafisch darstellt, sozusagen der Pokerroom. Eingebettet darin kann dann jedem Player eine Strategie zugewiesen werden.
Je nachdem wie sich das Projekt bis dahin entwickelt sollte man daraus dann alle möglichkeiten haben:
- Herauslösen einer erfolgreichen Strategieimplementierung in einen autobot
- Verwenden der App im Adminmode (manuelle Eingabe aller Aktionen etc.) für die Unterstützung im manuellen Spiel. (ich glaub das wär ein HUD oder? Sprich anzeige der eigenen Wahrscheinlichkeiten, ggf. inkl. Empfehlungen der Strategie)
- Verwenden der App als Trainingsraum für das eigene Pokerspiel. (Schlägt man den Bot kann man es Nutzen um die Strategie zu verbessern, verliert man kann man damit die eigene Strategie verbessern ;)

Ich freu mich auf jeden Fall über Beteiligung, derzeit bin ich dabei das Regelwerk bzw. die Berechnung der Wahrscheinlichkeiten zu implementieren.

[siscop]

Eine kleine Hilfestellung wenn man die Karten spielen will (Phase1 und teilweise auch Phase2)

http://de.pokerstrat...egy/bss/1535/1/

http://resources.pok...trategie_en.pdf

EDIT: Warum frisst er nicht den Link zur PDF File? Beim editieren sehe ich es noch aber beim abschicken wird er nicht angezeigt

[Quickbeam2k1]

willst du eigentlich no limit, fixed limit oder pot limit simulieren?

[Mythos]

Ja das SHC von pokerstrategy liegt neben mir ;) Sofern algorithmisch umsetzbar werd ich natürlich versuchen viele solcher "Standardstrategien" zu implementieren und gegeneinander antreten zu lassen.

willst du eigentlich no limit, fixed limit oder pot limit simulieren?

Zu Beginn sicher fixed da am einfachsten.

Im Moment kämpf ich mich gerade eher durch das vollständige Berechnen der Wahrscheinlichkeiten/Möglichkeiten. Ist doch etwas komplexer als gedacht.

[systemtrader]

Hab mal eben 10 Sekunden geschaut vieleicht hilft es dir ein weing.

 

http://www.thema-pok...elbst-berechnen

http://www.pokerwahr...lichkeiten.net/

 

LG ST

[Mythos]

Thx, das berechnen der W! selbst ist eh nicht so das Problem. Ich merk nur gerade das die Liste der nötigen Wahrscheinlichkeiten deutlich länger ist als gedacht. Zusätzlich hab ich gedacht das es etwas einfacher wird eine schöne Softwarestruktur für die Berechnung zu finden... aber mei, dafür macht man ja solche Projekte

[Quickbeam2k1]

Was ja auch etwas unterschiedlich ist: Im TV wird dann ja direkt die richtige Gewinnwahrscheinlichkeit ausgerechnet. Das ganze unter der Kenntnis aller Handkarten. Das wird ja eine KI nicht leisten können. Dann hängt auch sehr viel von der Spieler Anzahl ab. In diesem Buch http://www.amazon.de...matics of poker steht vermutlich am meisten zur komletten Mathematik hinter fixed limit hold'em drinnen. Vielleicht hilft das ja bei der Vereinfachung bzw Strukturierung der Software

[Mythos]

Volle Information über die gegnerischen Handkarten würde das Spiel natürlich einfacher machen :D
Aber man kann ja auch schon von den Tischkarten und dem Wissen über die eigenen Handkarten etwas über die W! der Gegner aussagen.

(Um zu sehen wieviele Mitleser wirklich Interesse dran haben, gibts den Rest erstmal hidden)

Hidden Content
You'll be able to see the hidden content once you reply to this topic.

[RAiNWORM]

Volle Information über die gegnerischen Handkarten würde das Spiel natürlich einfacher machen :D

Sowas lässt sich ja ohne Probleme in das Framework optional integrieren.

Spannend wird es, wenn die KIs gegeneinander antreten. Weiß jemand, wie gut die Bots bei den Online-Casinos sind (ich spiele kein Onlinepoker)?

[Mythos]

Sowas lässt sich ja ohne Probleme in das Framework optional integrieren.

stimmt, macht es nur nicht realistischer ...

Spannend wird es, wenn die KIs gegeneinander antreten. Weiß jemand, wie gut die Bots bei den Online-Casinos sind (ich spiele kein Onlinepoker)?

Leider keine Ahnung. Aber wenn das Framework und die Strategien stehen werd ich sie sicher gegeneinander trainieren lassen.

Wenns soweit ist, stell ich auch gern das Framework für fremde Strategien zur Verfügung, also wenn sich jemand was überlegen will kann er jetzt noch beim Design der Strategieschnittstellen mitwirken.

[CashorNothing]

Ich habe mich damit auch schon beschäftigt. 

 

State of the Art in Deutschland: TU Darmstadt http://www.ke.tu-dar...r-als-ki-domane . Dort findest du auch jede Menge Paper, Bachelorarbeiten etc.

 

Testen kannst du deinen Bot bei http://www.computerp...ompetition.org/

[conglom-o]

Coole Idee, Mythos. Werde es aufmerksam verfolgen. Evtl. gibt es nachher auch eine Version wo ich die Karten selber zuordnen kann. Dann nehme ich bei der nächsten Pokerrunde den Laptop mit und lasse ihn meine Entscheidungen treffen. So kann ich dann mehr trinken .

[Mythos]

Soda, Wochenende is wieder da und weiter gehts ;)

Ich bin inzwischen soweit, das ich in der Console die berechneten Wahrscheinlichkeiten sehe. Jetzt is die Frage ob die stimmen...

Kennt jemand eine Software/Liste für sowas? Also eine vollständige Liste mit Antworten auf Fragen wie "Wenn ich JackDiamonds und FourOfClubs habe, wie hoch ist die W! das ich nach den nächsten 5 Karten ein Pair/TwoPair/FullHouse/Flush... habe?"
Wie gesagt theoretisch berechnet is es, nur keine Ahnung obs stimmt...

Damit das Ganze möglichst schnell auch lustig und den "Mitmachfaktor" kriegt, werd ich jetzt mal kurz die Strategieimplementierung sein lassen und mich aufs Framework konzentrieren. Sprich den virtuellen Pokerroom, Spielerverwaltung, Setzrunden etc.

Die erste Erkenntnis aus der bisherigen Arbeit/Recherche: Ich glaub mein Ansatz is etwas abweichend von den meisten anderen. Da bei "den Anderen" auch die erfolgreichsten PokerBots dabei sind, bin ich mir nicht sicher ob das ein gutes Zeichen ist...
Und es gibt viel viel mehr Hände als gedacht. Also die 12 Typen (HighCard, Pair, ... , StraightFlush) sind ja nur die grobe Einteilung. Beim Showdown zählt dann ja noch der konkrete Wert der Karten. Ein Flush mit Ass als Topkarte is mehr Wert als einer mit 8 als Top, und deutlich weniger als einer mit 6 als Top :D Sprich die Liste mit den möglichen Händen und ihren W! ist ein paar tausend Einträge lang...

Aber solche Projekte macht man ja um zu lernen, also ran ans Werk.

Aja, @conglom-o: Wenn der "Adminmode" gut genug wird, gibts dann sicher eine Appversion davon, Laptop beim Pokern fällt ja doch auf.

[Vola]

 Laptop beim Pokern fällt ja doch auf.

Bei seiner Statur verschwindet das 17 Zöller in den Handflächen

[conglom-o]

Bei seiner Statur verschwindet das 17 Zöller in den Handflächen

 

So sieht es nämlich aus - in der einen Hand den Laptop, in der anderen die Karten. Und wenn mir jemand dumm kommt, sag ich halt, dass ich meine Pokergewinne direkt an der Börse wieder verzocke !

[Kleinerbroker]

Gibt doch jetzt diese feinen Brillen mit denen man sich unterhalten kann . Sind auch todschick . Die Linke meine ich natürlich , die Rechte würde doch eher auffallen  . Mußt dann halt langsam und deutlich reden , aber dann sollte das funzen . Weißt , irgendwo einen Rechner laufen haben, mit der Cam das eigene Blatt und den Tisch scannen, dann warten, dann den Rechner einen Farbcode einblenden lassen , Grün für hohe Wahrscheinlichkeiten , Rot "Finger wech und Passe" . Und das Verrückte ist ..... das es wohl mit dieser Brille durchaus realisierbar sein kann , soweit ich das bislang alles verstanden habe . KB

[Mythos]

Und das Verrückte ist ..... das es wohl mit dieser Brille durchaus realisierbar sein kann , soweit ich das bislang alles verstanden habe . KB

Wenn die ImageRecognition nicht massiv Akku ziehen würde und das Teil sowieso knapp mit Akkulaufzeit wär, ja.
Mit der aktuellen Technologie müsste man vermutlich ein bekanntes Set von Karten nehmen die auch gut unterscheidbar sind damit die Erkennung funktioniert.

Aber in den Casinos sind die Glasholes eh schon verboten...

[Mythos]

Bin endlich mal wieder was weitergekommen und gleich auf massive "Probleme" gestoßen:

Die Berechnung der Wahrscheinlichkeiten ist doch nicht ganz so straight forward wie gedacht. Bisher hab ich gedacht ich berechne die W! für jede Hand einzeln. Geht auch recht gut, aber dadurch kommen natürlich Überschneidungen zustande.
Im Moment ist die W! für zB ein PairAce die W! für das Event "Am Ende sind mindestens 2 meiner 7 Karten Asse". Ist ja in gewisser Weise richtig, wenn ich bereits 2 Asse habe soll die W! ja 100% sein und nicht was kleineres weil es ja sein könnte das es ein Drilling etc. wird.
Aber damit sind die berechneten W! für die einzelnen Hände nicht mehr unabhängig. Sprich ich kann sie nicht einfach zusammenzählen. Denn wenn zB 30% für ein PairAce und 30% für ein PairKing, dann gibt es einen kleinen Prozentsatz mit dem beides gleichzeitig eintritt also 2 Asse UND 2 Könige. Die W! für "PairAce oder PairKing" wäre also W(PairAce) + W(PairKing) - W(PairAce & PairKing). Bei den zwei noch einfach, aber wenn ich für den "Adminmode" die W! für ein (beliebiges) Pair anzeigen will, wirds recht komplex. Vor allem weil bei den 7 Karten ja auch 3 Paare sein können.
Bei Händen mit 5 Karten ist das Problem nicht ganz so schlimm, aber dank 5 aus 7 immer noch vorhanden.

Soll heißen: jemand eine Idee damit die Anzeige der W! etwas Sinn macht?

Für die Strategien hatte ich vor den Erwartungswert zu verwenden. Mit diesen W! ist die Berechnung des Erwartungswerts natürlich auch nicht mehr möglich, aber man kann eine gewichtete Summe mit Anlehnung an den Erwartungswert verwenden. Hier sollte es trotzdem funktionieren. Es bleibt natürlich die Frage welchen Wert man den einzelnen Händen zuweist...

Bei der Implementierung des Frameworks bin ich dafür einiges weitergekommen. Ich kann schon ein normales Game durchspielen. Die GUI ist noch sehr rudimentär aber zumindest die Technik dahinter funzt mal. Noch ist es nur nicht wirklich interessant für Tester, deswegen gibts noch keine Version online.