Evaluations nationales : les bornes en goguette.

mardi 10 avril 2012
par  Moka63
popularité : 8%

M. Chatel communiquait en juin dernier, via le site du ministère de l’éducation nationale, sur les progrès supposés des élèves de CE1 et de CM2 en math et français, mis en évidence, selon lui, par les nouvelles évaluations nationales.

« Notre politique est en train de payer... »

S’appuyant sur les résultats des évaluations CM2 et CE1, le ministre de l’éducation nationale s’est permis un satisfecit concernant les mesures imposées à l’école depuis 2008 : « J’ai le sentiment a-t-il déclaré, que, progressivement, [notre] politique est en train de payer, et nous permettra d’avoir de meilleurs résultats, c’est-à-dire moins d’élèves qui quittent le premier degré en ne maîtrisant pas les fondamentaux... Les élèves de CE1 constituent la première cohorte à avoir bénéficié de la réforme [du primaire] depuis la grande section de maternelle. Les résultats obtenus sont encourageants... »

Revenons sur les chiffres annoncés par notre ministre. Selon lui, près de 80% des élèves arrivent en fin de CE1 en ayant de bons acquis en français et en mathématiques.

Plus précisément :
- 78,4% en français, en 2011
- en progression de 3,8 points par rapport à l’année 2010
- et de 5,6 points par rapport à l’année 2009 ;

- 78,7% en mathématiques en 2011,
- contre 77,4% en 2010
- et 74,8% en 2009. »

Tant de constance dans la progression ne peut que museler l’opposant le plus opiniâtre : l’objectivité, la précision des chiffres sont implacables, et la transparence est totale, puisque chacun peut consulter en ligne les données concernant son département, et les comparer aux données nationales.

Dommage, bien sûr, qu’il ne soit pas possible d’enregistrer les graphes affichés. Il semblerait qu’on ne puisse pas non plus ouvrir dans un nouvel onglet une autre année que celle demandée en premier : on en est réduit à consulter les pages les unes après les autres... Cela entrave un peu les comparatifs détaillés.

Les bornes fluctuantes : en CE1.

Or, quand on prend la peine de relever de façon archaïque, à la main, les chiffres présentés dans les graphes du site ministériel, on fait des découvertes très surprenantes.

Les mathématiques.

Le graphique des résultats des élèves de CE1 en mathématiques en 2011 est consultable notamment ici. Il n’y a pas d’accès direct pour cette matière, il faut cliquer sur l’onglet correspondant.

Si on reporte les données de cette courbe, on obtient le relevé ci-dessous :

JPEG

Nous retrouvons bien les chiffres annoncés par M. Chatel, en un peu moins précis, 79%, au lieu de 78,7% des élèves ont des acquis satisfaisants.

Mais qu’est-ce qu’un "élève ayant de bons acquis en maths," selon les nouvelles évaluations nationales de CE1 de 2011 ?

Ben, dame, c’est un élève qui a réussi à plus de 17 items sur 40.

Le commentateur grincheux pourra ronchonner que tous les items ne se valent pas, et que, pourquoi choisir la borne 17, d’abord ?

Mais ne nous attardons pas sur ces questions persifleuses et ouvrons allègrement le graphique des résultats de la même matière, toujours en CE1, en 2010.

JPEG

On voit bien que M. Chatel ne dit que la vérité la plus crue : 77% des élèves seulement avaient des acquis solides en maths en CE1 en 2010. Il annonce d’ailleurs le chiffre plus précis de 77,4%.
- De 77,4% à 78,7%, il y a bien une progression de 1,3% d’élèves en plus se classant parmi les chanceux qui ont de bons acquis, voire des acquis solides.

Et comment les définissait-on, ces élèves bons en maths en CE1, selon les nouvelles évaluations nationales, en 2010 ?

Eh bien, c’étaient ceux qui avaient réussi 18 items.
- Pas 17 items, comme en 2011 ? Non, en 2010 il fallait réussir un item de plus, pour faire partie de la tranche des "bons"...

Mais, mais, mais, qu’en est-il en 2009 ?

JPEG

Eh oui, en 2009, voyez-vous, il fallait réussir 20 items pour avoir de bons acquis en maths. Forcément, ça faisait moins de monde : 74,8% des élèves, pour être précis...

Allez, on vous recompile tout, pour le plaisir :

JPEG

On remarque que toutes les bornes de séparation entre une catégorie d’élèves et l’autre ont bougé de la même manière. Ainsi celui qui avait réussi 26 items avait des acquis solides en 2009 et très solides en 2012...

Il est probable que si les bornes de limites de tranches étaient restées les mêmes, les pourcentages de chaque catégorie n’auraient pas pu servir de support à une communication aussi flatteuse, et ne permettraient guère d’affirmer que : « Cette politique est en train de payer »...

Le français.

JPEG

On remarque que les bornes fluctuent également, mais de façon moins prévisible : on n’observe pas un déplacement régulier d’une année sur l’autre.

Pour autant, il est bien difficile de comparer des pourcentages qui ne correspondent pas aux mêmes intervalles... D’ailleurs les limites de ces intervalles sont systématiquement en retrait en 2011 par rapport à 2010. Et il est toujours aussi arbitraire d’estimer qu’un élève aura de "bons acquis" s’il a réussi 29, ou 30, ou 31 items, n’importe lesquels...

Les bornes fluctuantes : en CM2 aussi.

Sur les progrès des CM2, M. Chatel s’est montré moins enthousiaste.

On saluera sa prudence, notamment pour les évaluations de mathématiques  :

JPEG

En 2010, les bornes ont en effet été déplacées d’en moyenne 4 items, juste pour obtenir des pourcentages de réussite similaires à ceux de 2009. On était de bon niveau à partir de 16 items réussis, alors qu’il fallait en afficher au moins 20 l’année précédente...

.

Il faut reconnaître que les aléas sont moins criants en français...

JPEG

Mais on note que le niveau d’exigence décroit avec constance de 2009 à 2011. Les limites de tranches sont fixées à 20, 30, 40 items réussis sur 60 en 2009. Elles sont placées à 17, 28, 39 items réussis en 2011.

Pourtant, la tranche des élèves ayant des "acquis solides" est malheureusement en régression, malgré une légère réduction de l’exigence : 39 items réussis nécessaires pour appartenir à cette tranche supérieure en 2011, au lieu de 40 en 2009, mais il y a 2% d’élèves concernés en moins...

Le pourcentage des élèves en grande difficulté reste stable, mais les meilleurs de ces élèves réussissent trois items de moins en 2011 qu’en 2009...

Autres biais...

Si on s’en tient aux objectifs affichés, ces évaluations sont soi-disant conçues pour donner un reflet fidèle du "niveau des élèves", afin de "piloter" le système éducatif. Elles présentent pourtant des biais méthodologiques qui ne se cantonnent pas aux fluctuations de bornes mises en évidence ci-dessus.

Ces sources d’imprécision sont détaillées ici et ici :
- Les résultats relevés ne sont pas corrélés au contexte de l’école ou du département, ils ne permettent absolument pas de conclure sur la qualité éventuelle d’une pratique dans un lieu donné.
- Les conditions de passation ne peuvent être comparables d’un lieu à l’autre. Pour limiter le stress, et plein de bonne volonté, un enseignant explicitera un peu mieux la consigne, l’autre laissera sur les murs ses affichages, le troisième donnera un peu plus de temps, le quatrième, au contraire, s’en tiendra très rigoureusement aux consignes de passation...

Un autre sera tenté de faire bachoter ses élèves sur les épreuves de l’année précédente. Le Figaro se permettait d’évoquer, suite aux déclarations de M. Chatel en juin, cet effet de bachotage, lié à la structure même de ces évaluations. Cette hypothèse a depuis largement été validée depuis, les inspecteurs de la Nièvre, ayant explicitement incité les enseignants de leur secteur à entraîner leurs élèves dès janvier avec la mouture 2011 des évaluations CM2, ce qui devrait permettre d’améliorer le taux de réussite du département en mai.

Par ailleurs, elles ne sont pas efficaces pour repérer les élèves en difficulté, et mettre en place une aide appropriée, second objectif qui leur est assigné.

En effet, imposer, comme ces trois dernières années une évaluation sur la totalité du programme de CM2 dès janvier était une absurdité digne du plus paperassier des bureaucrates.

On remarque cependant qu’à partir de cette année, ces épreuves de CM2 ont été déplacées en mai, comme celles de CE1. Mais l’objectif de détection des élèves en difficulté n’est pas pour autant plus recevable. Il serait étonnant de ne pas savoir, à un mois de la fin de l’année, quels élèves ont besoin d’une aide particulière dans la classe.

Résumons-nous : ces évaluations ne servent pas à mesurer correctement la qualité d’enseignement d’une école ou d’un département.
Elles ne sont d’aucune utilité non plus, malgré la légèreté de ceux qui le prétendent, pour mesurer une évolution d’une année sur l’autre.
Elles ne permettent pas d’aider les élèves en difficulté...

Elles ne servent donc à rien, si ce n’est à créer des processus de bachotage, de stress, et une approche contre-productive des apprentissages... Si ce n’est à fournir des données chiffrées sans fondement, utiles à une communication ministérielle tendancieuse.

Évaluer, vraiment...

Si l’on veut se faire une idée de ce que peut être une démarche d’évaluation rigoureuse, on pourra lire l’analyse d’une étude de la DEPP, effectuée sur des échantillons d’écoles, et construite pour donner des résultats fiables : Ce qu’évaluer veut dire : la lecture en CM2 de 2003 à 2009.

La DEPP est un organisme ministériel de l’évaluation, de la prospective, et de la performance.

On peut s’étonner que le ministère de l’éducation nationale ait, durant ce quinquennat, très souvent entravé la publication, et systématiquement refusé de prendre en compte les études de cet organisme.

Nombre de statisticiens de la DEPP s’en indignent, et se sont joints au collectif les déchiffreurs de l’éducation nationale, pour protester contre cette ostracisation, et dénoncer la communication douteuse de ce gouvernement au sujet de l’éducation...

Nous ne pouvons que saluer cette initiative. Car disposer de chiffres qui mesurent avec précision et impartialité une réalité, et qui peuvent servir de base à un débat public sain, c’est indispensable à une vraie démocratie.


Commentaires  (fermé)

Logo de Moka63
jeudi 19 avril 2012 à 19h44 - par  Moka63

C’est bien en regardant les effets dans les écoles de la mise en place de ces évaluations, qu’on se rend compte à quel point elles sont un levier de contrôle sur nos pratiques :

Nous savons tous et toutes que les résultats ne reflètent pas nos performances d’enseignants... mais nous savons également qu’elles seront interprétées de cette manière.

Ce qui est surprenant, finalement, c’est qu’il y ait besoin, au final de "tripatouiller" les chiffres, pour les faire correspondre au message politique recherché.

On se serait attendu à ce que la progression spontanée, liée à la modification des pratiques induite par l’existence même de ces tests, soit significative.

Mais ce n’est pas le cas.

Logo de Fred
mercredi 18 avril 2012 à 18h00 - par  Fred

On l’avait prédit, mais dès la mise en place des évaluations (CE1 pour ma part), nous avons observé la simplification des exercices proposés d’une année à l’autre. Il suffit de comparer les textes de lecture proposés et les questions associées depuis 3 ans. La première année, même des élèves de cycle 3 se trompaient sur ces exercices de CE1 (ne parlons même pas des problèmes et des calculs). Aujourd’hui ils sont plus abordables. Forcément les élèves ont progressé.
De quoi faire dire ce qu’on veut aux chiffres et une manipulation certaine pour faire passer sa politique auprès du grand public.
La question est de savoir... pourquoi ?

mardi 17 avril 2012 à 18h22

C’est vraiment frustrant de réaliser à quel point nous sommes manipulés...

J’ai enseigné au CE1, et déjà, je m’affolais de voir les parents comparer les "scores" de leurs enfants, élèves dans deux écoles différents, tout en sachant à quel point les conditions de passation diffèrent d’une école à l’autre.

Dans telle école, pour, par exemple, justifier la sauvegarde d’un RASED, on fera passer les évaluations de manière hyper protocolaire, chrono en main et affiches décrochées...

... alors qu’à opposé, dans l’école d’à côté, pour satisfaire un inspecteur grincheux qui réclame une amélioration des résultats, on lui en donnera. C’est tellement simple de rappeler au bon moment aux élèves que les tables de multiplication sont accrochées au mur, de donner un peu plus de temps que prévu, de guider les élèves dans les problèmes, de rappeler que le futur c’est "quand je serai grand"... (etc etc etc)

Logo de Moka63
samedi 14 avril 2012 à 22h28 - par  Moka63

Le biais évident lié au fait d’être juge et partie, ainsi que le décalage voulu entre le niveau moyen des élèves et les épreuves proposées sont détaillés ici et ici.

Ils sont repris, sur le mode parodique ici.

Ces évaluations ne sont pas seulement un désagrément mineur dont on peut éventuellement réduire les effets secondaires. Elles orientent gravement l’école vers un fonctionnement nocif pour tous : élèves et enseignants.

Lire à ce propos l’article : Vie et mort du système scolaire américain : comment l’évaluation et le libre-choix sapent l’éducation. On y lit les commentaires de Mme Ravitch ancienne ministre de l’éducation aux USA sur l’évaluation systématique imposée aux écoles américaines. Adepte, au départ, de la généralisation de ces tests, elle en condamne aujourd’hui les effets néfastes sur l’école américaine.

Logo de lcath
samedi 14 avril 2012 à 15h06 - par  lcath

je ne voudrais pas jeter le discrédit sur mes petit(e)s camarades et moi-même , mais si vous saviez ce qui se dit dans la cour des "maitresses" sur la passation , la correction et le retour des "chiffres" il serait encore plus aisé de remettre en cause les "résultats" !
il ne faut pas oublier que ce sont les mêmes qui font passer les évals corrigent et sont "regardés" de très près :parents, collegues, hiérarchie .... difficile de rester neutre mais jusqu’à présent les instances semblent se contenter de cela et quand PISA nous dira que nous ne sommes pas bons on ne comprendra pas pourquoi....

samedi 14 avril 2012 à 00h56

Bonjour,

Merci pour cette analyse très éclairante pour des évaluations, que de mon côté, je n’ai pas fait passer à mes élèves de CM2 depuis 2009. Ils ne s’en portent pas plus mal, moi non plus et j’espère qu’elles rejoindront, dans les poubelles de l’histoire, bien d’autres absurdités imposées par ce gouvernement.

Un enseignant de CM2 du 86 qui va faire passer ces infos à ses collègues…

Logo de une enseignante de ce1
jeudi 12 avril 2012 à 00h18 - par  une enseignante de ce1

Qu’il est bon de consulter une démonstration claire de ce qui interpelle si on a un peu de bon sens.

Comment claironner si vite un résultat sur d’infimes mouvements quand on étudie les résultats de populations successives donc différentes avec si peu de recul. Et quel non sens que ces évaluations de mi-mai au ce1 qui mettent une pression malsaine à un niveau déjà tellement surchargé. Si on compare à celles qui avaient lieu en début d’année (de ce2), l’enseignant n’évaluait pas son travail, mais pouvait s’investir dans un bilan constructif pour l’année, ce qui n’empêchait pas les collègues de consulter avec intérêt ce qui avait été faible. On a vu aussi deux ans de suite l’évaluation de connaissances grammaticales sur de la production écrite, autant dire que celui qui n’utilisait pas d’accords dans son texte avait de meilleurs résultats qu’un autre en employant beaucoup mais se trompant seulement un peu... Professionnalisme ?

Merci de démontrer la manipulation, c’est d’utilité publique alors que l’hypocrisie triomphe.

mercredi 11 avril 2012 à 16h07

Un grand merci pour ce travail de comparaison. Quelle clarté !
Mon IA annonce, sans rire, que la politique éducative va dans le bon sens puisque les évaluations de CM2 montrent un "léger frémissement" vers le haut.
Je transfère le lien vers votre site à mes collègues.
Catherine, enseignante en CM2 dans le Bas-Rhin

Logo de Dominique parent d’élève 71
mardi 10 avril 2012 à 19h23 - par  Dominique parent d’élève 71

Bravo et merci, Moka, pour votre encore et toujours excellente analyse qui nous aide à ouvrir les yeux sur la manipulation ...

Agenda

<<

2017

 

<<

Mars

 

Aujourd'hui

LuMaMeJeVeSaDi
272812345
6789101112
13141516171819
20212223242526
272829303112
Aucun évènement à venir les 6 prochains mois

Statistiques

Dernière mise à jour

mardi 14 juillet 2015

Publication

616 Articles
Aucun album photo
Aucune brève
49 Sites Web
2 Auteurs

Visites

103 aujourd'hui
101 hier
713754 depuis le début
3 visiteurs actuellement connectés