[SON] [AUDIO_VIDE] Bonjour. Nous avons enfin, maintenant, tous les moyens pour énoncer et démontrer les théorèmes de loi des grands nombres, et c'est le but de cette séance quatre du cours cinq. Je vous rappelle donc que notre but est, étant donnée une suite de variables aléatoires Xi, que nous allons supposer indépendantes, étudier les comportements, le comportement de la suite des moyennes empiriques, que j'ai notée Mn, Mn étant égal à X1 plus X2 etc., plus Xn sur n. Donc nous avons vu plusieurs notions de convergences, et on va avoir deux types de résultat. On aura, ce qu'on appelle la loi faible des grands nombres, qui va concerner une convergence en probabilité, et une convergence en moyenne de la suite Mn, vous verrez que, en tous cas sous des hypothèses d'existence de variances pour ces variables aléatoires, nous verrons que la preuve est très simple, mais elle va nous donner un résultat assez peu informatif, on a vu que les convergences en probabilité ou en moyenne, ça nous donnait une information sur le contrôle d'erreurs, sur la probabilité que l'écart de la suite Mn à sa limite, soit grand ou petit. Et il y aura un autre type de résultat, qu'on appelle la loi forte des grands nombres, qui va consister à montrer la convergence presque sûre, de la suite de variables aléatoires Mn, j'ai pas encore dit vers quoi on converge, mais on a vu que la convergence presque sûre était plus forte que la convergence en probabilité, on a vu que pour montrer ces convergences presque sûres, on utilisait des arguments plus subtiles, on a beaucoup utilisé le théorème de Borel-Cantelli, on va le réutiliser aujourd'hui et euh, donc preuve beaucoup plus délicate, et rappelez-vous la convergence presque sûre, c'est presque une convergence ponctuelle, au sens de l'analyse, donc on donne une information oméga par oméga. Donc tous ces théorèmes que l'on va regarder, nous allons les démontrer dans un cadre, je ré insiste, où les variables aléatoires Xi sont indépendantes. Je vous rappelle qu'elles modélisent des résultats successifs, d'une expérience aléatoire que l'on répète dans les mêmes conditions avec, et de manière indépendante, ces expériences les unes des autres, donc ça a un sens de modéliser les Xi, ainsi qu'en mettant des variables aléatoires indépendantes. Donc pour mémoire, je vous ai rappelé en bleu la définition de l'indépendance d'une suite de variables aléatoires, là on dira qu'elle est indépendante, si pour toute famille finie, on met bien petit n, les variables, donc toute famille finie de variables aléatoires X1, X2, Xn, est indépendante. Donc premièrement, loi faible des grands nombres. Donc, on se donne une telle suite Xn de variables aléatoires, donc, des variables aléatoires indépendantes, de même loi, et intégrables. Donc on peut considérer l'espérance commune à toutes ces Xi, espérance commune parce queles variables aléatoires ont même loi, et on va poser l'espérance de X1 égal petit m. Donc petit m est l'espérance commune à toutes ces variables aléatoires Xi. Eh bien, nous allons montrer que la suite de moyenne empirique Mn, égal X1 plus X2 plus Xn sur n, converge quand n tend vers l'infini vers ce nombre petit m. En probabilité et en moyenne. Donc vous voyez, ici vous avez une variable aléatoire, ça vous définit une suite de variables aléatoires, qui va converger quand n tend vers l'infini, vers un nombre, ici déterministe hein, c'est un nombre réel donc on dit qu'il est déterministe, il est complètement défini, c'est ce nombre réel petit m, qui est l'espérance commune aux Xi. Donc, nous reviendrons sur l'interprétation de ce résultat, mais vous voyez ici vous avez une certaine vision microscopique, vous avez des variables aléatoires, donc qui sont définies en fonction de l'aléa, qui sont munies d'un poids 1 sur n, hein, quand n tend vers l'infini, ce poids tend vers zéro, et vous ajoutez ces petites fluctuations aléatoires, et dans la limite, vous obtenez un nombre réel, et ça c'est la vision macroscopique de ces fluctuations aléatoires. Donc il y a un passage, entre un comportement aléatoire et sa vision limite qui est en fait un comportement déterministe. Il n'y a plus d'aléa dans la limite. Alors, la preuve de ce résultat est très immédiate, au moins dans le cas que nous allons regarder ici, à savoir celui où non seulement, les Xi sont intégrables, mais on va les supposer de carré intégrable. Donc le résultat est vrai dans toute la généralité, mais c'est plus simple pour la preuve de regarder Xi de carré intégrable, je vous renvoie à des livres un peu plus élaborés, pour voir une preuve dans le cas où les Xi sont seulement intégrables. Donc, je vais appeler sigma au carré, la variance commune à toutes les variables Xi. Donc sigma carré, c'est la variance de X1. Donc, nous savons déjà que l'espérance de Mn eh bien c'est l'espérance de X1 plus etc plus Xn sur n donc c'est n fois m sur n, c'est petit m, hein, donc nous ne sommes pas étonnés, d'une certaine manière, d'avoir la convergence de euh, notre suite, de notre moyenne Mn, empirique, Mn, vers ce petit m, puisque je vous rappelle que j'ai annoncé que la suite de variables aléatoires X1 plus X2 etc plus Xn sur n converge en moyenne vers m, nécessairement, cette suite ne peut converger en moyenne que vers m. Puisqu'on a vu que si on avait convergence en moyenne, on avait convergence de la suite des espérances, et vous voyez que cette suite des espérances, ici espérances de Mn, est constante et égale à petit m. Donc, la seule limite possible, en moyenne, de la suite Mn, est, a priori, une variable aléatoire d'espérance petit m. C'est juste une petite remarque. Revenons à notre preuve, nous savons maintenant que les Xi sont indépendantes, donc nous pouvons aussi calculer facilement la variance de Mn, et pour cela, je vous renvoie à la séance un du cours cinq, où nous avons vu que la variance d'une somme de variables aléatoires indépendantes était égale à la somme des variances. Donc ici nous avons 1 sur n au carré, la variance de la somme de i égal 1 à n, est Xi, et donc, cette variance de la somme des Xi est égale à la somme de i égal 1 à n de la variance de Xi ; les variances de Xi sont toutes égales à sigma au carré, donc finalement, on a n fois sigma au carré sur n deux, c'est égal à sigma deux sur n. Nous avions, je vous le rappelle, déjà fait ce calcul dans la séance un du cours cinq. Donc vous voyez je vous le rappelle, on avait remarqué, que les fluctuations de Mn tendent vers zéro, quand n tend vers l'infini, sigma deux sur n va tendre vers zéro quand n tend vers l'infini, et c'est ça qui va nous permettre de conclure le théorème. Puisque maintenant, nous allons appliquer l'Inégalité de Bienaymé-Tchebychev, pour montrer la convergence en probabilité de Mn vers petit m, donc on se fixe epsilon positif, et on sait que la probabilité d'avoir Mn moins son espérance en valeur absolue plus grand que epsilon, est inférieure ou égale à 1 sur epsilon au carré, variance de Mn. Donc ça, c'est l'Inégalité de Bienaymé-Tchébychev, et maintenant, nous allons remplacer l'espérance de Mn, et la variance de Mn, par les valeurs qu'on vient de calculer, donc je vous rappelle qu'on a vu que l'espérance de Mn c'était petit m, et que cette variance c'est sigma deux, divisé par petit n. Bien, donc je vais réécrire à la page suivante ce résultat, puisqu'il nous donne que la probabilité d'avoir : valeur absolue de Mn, moins petit m, supérieur ou égal à epsilon, inférieur ou égal à sigma deux sur n epsilon carré. Sigma au carré est la variance des Xi qui est donnée, epsilon est donné a priori strictement positif, et on fait tendre n vers l'infini, ceci tend vers zéro, quand n tend vers l'infini. Donc, on a bien montré la convergence en probabilité de la suite Mn vers m. Alors, je voulais vous faire cette preuve là, parce que, c'est important de voir que pour montrer montrer que l'utilisation de l'inégalité de Bienaymé Tchebychev, pour montrer une convergence en probabilité, vous voyez que c'est parfaitement adapté pour montrer cette convergence en probabilité. Alors maintenant ici, on aurait pu aussi voir directement la convergence en moyenne, puisque, si on regarde l'espérance de valeur absolue de Mn moins m, on a vu que cette espérance était toujours plus petite que la racine de l'espérance du carré de Mm moins petit m, hein, je vous renvoie encore au cours trois, et nous venons de calculer, donc ça c'est la variance, donc cette quantité-là est égale à sigma deux sur n. Donc en fait, on voit tout de suite que l'espérance de Mn moins m tend vers zéro quand n tend vers plus l'infini. ce qui entraîne la convergence en moyenne de Mn vers n. Alors comme la convergence en moyenne entraîne la convergence en probabilité, je suis d'accord avec vous, je n'aurais pas eu besoin de montrer la convergence en probabilité préalablement, mais néanmoins je voulais vous la montrer que vous voyiez l'utilisation de l'inégalité de Bienaymé Tchebychev, dans ce cadre-là. Donc, nous avons montré ainsi le théorème de loi faible des grands nombres. Alors maintenant, comme je vous l'ai indiqué, nous allons regarder la loi forte des grands nombres, et l'énoncé en fait est essentiellement le même, sauf que, ici, donc voyez, on a une première hypothèse que la suite de variables aléatoires Xn est une suite de variales indépendantes et de même loi, on suppose qu'elles sont intégrales, et j'appelle toujours petit m l'espérance de X1. Je suppose que bien sûr E(X1) est finie, c'est ça qui est caché dans le terme intégrable. Bien. Donc ce qu'on peut montrer également c'est donc que la suite de Mn des moyennes empiriques converge presque sûrement vers m. Donc c'est le même comportement, d'une suite aléatoire qui va converger vers un nombre réel, qui n'est rien d'autre l'espérance des espérances de Xi. Simplement ici la converge est presque sûr. Donc, en fait nous allons voir que la preuve est beaucoup plus délicate. Alors, là encore, nous n'allons faire la preuve que dans le cas où les variables aléatoires Xi ont un moment d'ordre deux, même si le résultat est vrai uniquement sous l'hypothèse que les variables aléatoires Xi sont intégrables. Donc on va supposer que les Xi ont un moment d'ordre deux, et pour se simplifier la vie, on va, quitte à remplacer les variables aléatoires Xi, par Xi moins m, on va supposer que m égale 0, hein, donc exercice, faites les changements de variables Yi égale Xi moins m, pour voir qu'il suffit de se ramener à une suite de variables aléatoires indépendantes de même loi et centrée dont on va montrer que la moyenne empirique converge vers zéro. Donc dorénavant, on suppose que les Xn sont centrées, notre but est de montrer que la suite Mn converge persque sûrement vers zéro. Alors vous allez voir l'astuce, on va d'abord montrer que la suite extraite, la sous-suite M avec des indices de la forme n au carré tend presque sûrement vers zéro. Hein, la suite Mn au carré tend presque sûrement vers zéro. Alors, nous allons fixer un entier petit q non nul, et on va d'abord regarder la probabilité que Mn au carré soit plus grand que un sur q. Donc nous utilisons l'inégalité de Bienaymé Tchebychev, ou l'inégalité de Markov, hein, puisque nous savons, alors, que les Xi sont centrés maintenant, hein, c'est l'hypothèse, donc ça entraîne que Mn aussi est centrée, l'espérance de Mn est aussi égale à zéro. Donc, la probabilité que Mn au carré soit plus grand que un sur q est inférieure ou égale à un sur un sur q au carré, c'est-à-dire à q deux, fois la variance de Mn au carré. Or la variance de Mn carré, on a vu que c'était sigma deux sur l'indice qui est ici n carré. Donc cette probabilité-là est majorée hein, je vous renvois au calcul que l'on vient de faire dans la preuve de la loi faible, donc ce terme est majoré par sigma deux, q deux sur n deux. q est fixé ici et c'est n qui varie. Donc vous voyez que ce terme-là est en un sur n carré, donc c'est le terme générale d'une série convergente. Donc ça nous fait penser bien sûr au théorème de Borel-Cantelli. Donc toujours q fixé, nous introduisons l'événement aléatoire An, q qui est l'ensemble des oméga pour lesquels Mn carré de oméga est supérieure à un sur q. Eh bien, puisque cette série de terme général sigma deux sur q deux est convergente, on en déduit que la série de terme général probabilité de An, q est convergente, et par la forme directe du théorème de Borel-Cantelli, nous pouvons en déduire que la probabilité de ce qu'on avait appelé dans la séance sept du cours un la limite sup emmène des événements aléatoires An, q, est égale à zéro. Alors, rappelons nous ce que c'était que cette limite sup, donc celle-là je vais lui donner un nom, je vais l'appeler grand N indice q, hein, je vous rappelle que q pour l'instant est fixé. Donc Nq c'est la limite sup des An, q en n, et je vous renvoie à la séance sept du cours un, on a vu que c'était l'intersection pour tous les entiers petit n de la réunion pour tous les entiers m plus grands que m des événements aléatoires plus grands que q. Maintenant, je vais regarder la réunion sur tous les entiers q de ces événements aléatoires N indice q. Donc la probabilité de N est inférieure ou égale à la somme sur q des probabilités de Nq, hein, ça c'est une propriété d'une probabilité, et nous savons que par le théorème de Borel-Cantelli, que la probabilité de Nq, pour chaque q entier, est égal à zéro. Donc ici, tous ces éléments-là sont nuls, donc bien sûr la somme de la série est nulle, et on en déduit que la probabilité de N est nulle. Ce qui veut dire que cet ensemble-là, l'union des Nq est un ensemble négligeable, et son complémentaire est de probabilité égale à un. Alors quel est le complémentaire de grand N? Donc je vous renvoie aux propriétés sur les ensembles qu'on a vu en théorie des ensembles, grand N c'est l'union sur q de ces événements aléatoires An, q, et je vous rappelle que quand on regarde le complémentaire de réunion d'intersection, eh bien, quand on prend le complémentaire on va changer les signes réunion en signes intersection, et inversement. Donc, N complémentaire, c'est l'intersection sur q des complémentaires des Nq, et les complémentaires des Nq, donc c'est les complémentaires de ces événements-là qui sont ici, que j'encadre, donc c'est la réunion sur n de l'intersection sur m plus grand que n, de complémentaire de Am,q. Je vous rappelle que N complémentaire est de probabilité un. Ca veut dire que pour presque tout oméga, enfin presque tout oméga va appartenir à N complémentaire, et donc ça veut dire qu'il existe un q, tel que, pour tout N, ou tout N zéro, hein, qu'on va prendre ici dans cette union, on va pouvoir trouver un indice plus grand que cet N, tel que oméga soit dans le complémentaire de Am,q. C'est-à-dire tel que M indice n carré, où M carré soit inférieure ou égale à un sur q. Donc je le réécrit, on vient de dire que si oméga est dans n complémentaire, et je vous rappelle que la probabilité de cet événement-là est égale à un, donc pour presque tout oméga, on a que pour tout q, on peut trouver n zéro, tel que pour tout n plus grand que n zéro, eh bien Mn carré de oméga est inférieur ou égal à un sur q. Donc vous voyez que ça c'est exactement dire que presque sûrement, Mn carré converge vers zéro. Hein, bon il y a deux fois presque-sûrement, là, on est sûr que ça marche. Alors, montrons maintenant, donc là on a vu ça pour la sous-suite donc d'indice n carré, hein, on vient de faire la preuve, parce que ça c'est exactement écrire que Mn carré de oméga converge vers zéro, hein, c'est la définition de la converge vers zéro, pour une suite, pour la suite de nombre Mn carré de oméga. Bien. Alors, maintenant, ce qui nous intéresse, c'est pas Mn carré, c'est toute la suite Mn. Donc, ben comment on va faire, ben on va essayer de coincer chaque entier entre deux carrés d'entiers. Donc je fixe un entier n, et je vais appeler p(n) le nombre entier de carré le plus grand plus petit que n. C'est-à-dire que p(n) carré va être plus petit que n, mais (p(n)+1) au carré va être plus grand que n. Alors une remarque, p(n)+1 au carré, par la formule du binôme, c'est p carré de n, plus deux p(n) plus un. C'est-à-dire que la différence entre ce nombre-là et celui-ci c'est 2p(n) + 1. Donc, maintenant, eh bien nous, on veut essayer de comparer M n. Alors, avec quoi? Avec la moyenne empirique qui est liée à ce carré, p (n) carré, parce qu'on a des informations sur la sous-suite dont les indices sont des carrés d'entiers. Alors M n, je vous rappelle que c'est la somme (x 1 + x 2 + etc + x n) / n. Donc M p (n) au carré, cela va être la somme x 1 + etc, jusqu'à x p (n) carré fois, divisé par (p (n) au carré). Donc, moi si je veux comparer M n à M indice p (n) carré, il va falloir que j'équilibre les poids que j'ai, les poids par lesquels je divise la somme des x i. Donc, c'est ce qu'on va faire maintenant. Et, en fait, on va regarder M n- (p(n) au carré / n) * M p(n) au carré. Donc cela, cela me fait x1 + etc + x n sur n, moins cette quantité-là ici, va me donner x 1 + x 2 + etc, x indice p(n) au carré divisé par n. J'ai fait tout ce qu'il fallait pour. Donc, en fait, c'est exactement ce que j'ai écrit ici, c'est (1 / n) * la somme pour petit p = p (n) carré + 1 à n, de X p. Alors, combien j'ai de termes ici? Eh bien, j'en ai n- p(n) carré. Alors, n- p (n) carré, eh bien, on a vu, vous voyez que c'est majoré par 2 * p (n) + 1. Or, p (n) au carré est plus petit que n. Donc, p (n) est plus petit que racine de n, ce qui veut dire que 2 * p (n) + 1 est plus petit que racine de n plus 1. Nous allons l'utiliser tout de suite. Donc, ce que je sais, c'est qu'ici j'ai au plus, j'ai au plus deux racines de un plus un terme. On a vu en fait que, donc cela c'est une variable aléatoire centrée. Les M n sont d'espérance nulle. Et donc, l'espérance de son carré est égale à sa variance. Cela va donc être égal à 1 sur n 2, la variance de cette somme de variable aléatoire indépendante. Et là encore, nous allons appliquer que la variance d'une somme de variables aléatoires indépendantes est égale à la somme des variances et finalement, nous en déduisons que l'espérance du carré de cette variable aléatoire qui nous intéresse est majorée par 1 sur n 2, la variance des x i, sigma au carré, et fois le nombre de termes, dont nous avons vu qu'il était inférieur ou égal à (2 * racine de n) + 1. Donc, nous avons cet encadrement. Alors, maintenant vous voyez que par Bienaymé-Chebyshev, nous pouvons en déduire que la probabilité, donc on fixe maintenant un petit a, positif quelconque, et nous avons que la probabilité que M n- (p (n) au carré / n) * grand M indice p (n) au carré, le tout plus grand que a, va être majoré par (1 / (a au carré)) fois la variance de cette quantité-là, et donc qui, cette variance, on vient de voir qu'elle est majorée par (2 * (racine de n) + 1) * (sigma 2) / (n 2). Donc, finalement, nous avons cette inégalité-là. Alors, nous remarquons ici, toujours le même argument, que c'est une série en petit n, indexée sur n, c'est le terme général d'une série convergente. Et donc, toujours par le même argument de Borel-Cantelli, nous pouvons en déduire, exactement le même argument que précédemment, que celui que nous avons fait sur la suite M n au carré, nous pouvons en déduire que la suite M n- (p (n) carré / n) * grand M indice p (n) carré tend vers 0, presque sûrement. Et là on a gagné. On est en train de dire que M n se comporte presque sûrement comme (p (n) carré / n) * grand M indice p (n) carré, quand n tend vers l'infini. Alors, nous avons vu que cette suite ici grand M indice p (n) carré va tendre vers 0, presque sûrement. On avait travaillé sur cette suite avec les indices qui sont des carrés d'entiers. Et par ailleurs, alors petit exercice que je vous laisse montrer vous-mêmes, du fait de ces encadrements-là, c'est immédiat de voir que (p (n) au carré) / n tend vers 1, quand n tend vers l'infini. Ce qui nous permet d'en déduire que M n converge presque sûrement vers 0. Et cela termine la preuve de lois fortes des grands nombres, c'est-à-dire de convergence presque sûre de la moyenne empirique vers l'espérance commune des variables aléatoires. Donc, cette preuve est un peu compliquée, vous pouvez vous arrêter en écoutant la preuve, la reprendre, et essayer de prendre des notes pour bien la comprendre. C'est un très bon exercice de la comprendre parfaitement.
