Une telle situation sera stable si tout individu a plus de chance de survivre en gardant sa stratégie qu’en la changeant (en mutant). Reprenons maintenant le Dilemme du prisonnier donné dans le Tab. 9.1↑).

Etant donnée la composition de la population, les individus porteurs des deux types de stratégies possibles ont les utilités espérées suivantes : $$\begin{align*} & \begin{array}{cc} s=N: & U\left(N\right)=\alpha u\left(N,N\right)+\left(1-\alpha\right)u\left(N,D\right)=4\alpha-1\end{array}\\ & \begin{array}{cc} s=D: & U\left(D\right)=\alpha u\left(D,N\right)+\left(1-\alpha\right)u\left(D,D\right)=4\alpha\\ & 4\alpha>4\alpha-1\Rightarrow U\left(D\right)>U\left(N\right) \end{array} \end{align*}$$

$$4\alpha>4\alpha-1,\forall\alpha\Rightarrow U\left(D\right)>U\left(N\right)$$

On observe alors que les individus avec la stratégie $N$ seront tentés de muter vers la stratégie $D,$ tandis que ceux qui jouent la stratégie $D$ ne vont pas changer. Cela nous conduira alors à terme à l’invasion totale de la population par la stratégie $D~:$ tout le monde jouera la stratégie $D$ . Par conséquent $s_{i}=D,$ $\forall i$ est une situation stable. C’est l’idée de base du concept de stabilité évolutionnaire de Maynard Smith.

Si nous reconsidérons le dilemme du prisonnier, la discussion ci-dessus implique que le seul équilibre évolutionnairement stable de ce jeu en stratégies pures est $\left(D,D\right)$ car cette distribution ne peut être envahie par des mutants jouant $N$ . Donc dans ce cas la stabilité évolutionnaire correspond à l’équilibre de Nash.

En fait, il est facile de montrer que tout équilibre évolutionnairement stable est aussi un équilibre de Nash↓, mais tout équilibre de Nash n’est pas nécessairement évolutionnairement stable contrairement à ce que laisse supposer l’exemple du dilemme du prisonnier (seuls les équilibres de Nash stricts le sont). Au delà du dilemme du prisonnier, il faut aussi noter qu’aucune stratégie faiblement dominée ne peut être évolutionnairement stable. L’exemple du dilemme du prisonnier montre aussi que la stabilité évolutionnaire n’implique pas nécessairement l’optimalité parétienne puisque le résultat $\left(N,N\right)$ n’est pas évolutionnairement stable : la dynamique d’évolution ne conduit pas nécessairement à un optimum social.

Nous revenons maintenant sur la question des règles de comportement que nous avons mis de coté jusqu’à maintenant.