74 Entretien : Mark Schneider, directeur de l'IES, sur la recherche en éducation et l'avenir des écoles

Nov 12, 2023

Inscrivez-vous à la newsletter du 74.

Recevez des histoires comme celles-ci directement dans votre boîte de réception.Inscrivez-vous à la newsletter du 74

Voir les 74 entretiens précédents : Bill Gates sur le défi de stimuler l'amélioration de l'éducation ; Sal Khan sur le bilan mathématique de COVID ; et Patricia Brantley sur l'avenir de l'apprentissage virtuel. L'archive complète est ici.

L'Institut des sciences de l'éducation fête ses 21 ans cette année. Après cinq ans à sa tête, le réalisateur Mark Schneider espère accompagner sa transition vers la maturité.

Lorsqu'il a été nommé par le président Trump en 2017, Schneider a repris une agence conçue pour révéler la vérité sur la façon dont l'enseignement est dispensé aux États-Unis. L'IES abrite quatre centres de recherche qui mesurent les effets des interventions éducatives du préscolaire à l'université et, par le biais de l'évaluation nationale des progrès de l'éducation - le produit de recherche le plus reconnaissable de l'agence, souvent appelé le bulletin national - il fournit des mises à jour régulières sur l'état de la réussite des élèves.

Mais Schneider voit un nouveau rôle pour les efforts de recherche fédéraux. Grâce à l'utilisation de concours publics et de l'intelligence artificielle, le directeur souhaite que l'IES aide à incuber des technologies et des traitements révolutionnaires qui peuvent aider les performances des étudiants à faire un pas de géant dans les années à venir. L'expérimentation et la réplication à cycle rapide, espère-t-il, aideront à inverser plus d'une décennie de stagnation des performances de la maternelle à la 12e année.

À la fin de son mandat de six ans, Schneider est franc sur son statut de l'un des rares survivants de l'administration précédente encore au gouvernement. En partie, plaisante-t-il, c'est parce que la recherche en éducation n'est pas considérée comme suffisamment importante pour qu'une personne nommée par Trump soit renvoyée. Mais il s'est également efforcé de gagner la confiance du Congrès et de cultiver un soutien bipartisan pour une vision d'amélioration de l'éducation alimentée par les données.

Maintenant, il croit que cette vision pourrait bientôt se réaliser. En décembre, le Congrès a approuvé une augmentation substantielle du budget de l'IES pour financer potentiellement un cinquième centre national que certains ont surnommé un "DARPA" pour la recherche en éducation (basé sur le célèbre centre de recherche et développement du Pentagone). Une nouvelle législation est nécessaire pour autoriser une branche de développement avancé en sciences de l'éducation, mais des pistes de recherche potentielles sont déjà en train d'être théorisées.

Schneider – un politologue qui a quitté le milieu universitaire pour des rôles de leadership et de recherche aux American Institutes for Research et à l'American Enterprise Institute – a une perspective dominante sur la bureaucratie fédérale de l'éducation, en tant que chef du National Center for Education Statistics dans les années 2000. Ses observations parfois acidulées sur les efforts de recherche de Washington et l'avenir de l'IES peuvent être trouvées sur son blog fréquemment mis à jour.

Dans une large conversation avec Kevin Mahnken de The 74, Schneider a parlé avec une ouverture surprenante du ministère de l'Éducation (qui "fonctionne comme une banque" dans sa capacité d'octroi de subventions), de la réalité "horrifiante" des programmes de maîtrise universitaires ("C'est une machine à sous, et donc vous en créez plus"), et pourquoi il pense que certaines préoccupations concernant la confidentialité des données sont exagérées ("Si j'étais vraiment inquiet à ce sujet, je ne porterais pas de montre Apple").

Avant tout, a-t-il dit, la tâche qui nous attend est de développer une base de recherche qui peut produire des outils éducatifs transformateurs de l'ordre des vaccins COVID et ChatGPT.

"Le but, en utilisant cette fondation, est de regarder des choses qui surgissent, qui n'existeraient pas autrement", a déclaré Schneider. "Si nous pouvons faire cela avec des vaccins, si nous pouvons l'utiliser avec des chatbots, alors quelle est notre fondation?"

La conversation a été modifiée pour plus de longueur et de clarté.

Le 74 : Parlez-moi un peu de ce que vous prévoyez cette année en termes de législation pour établir un programme de type DARPA pour l'éducation.

Mark Schneider: Il y a deux parties dans la législation. Le premier est de mettre en place le Centre national pour le développement avancé dans l'éducation, NCADE, et l'autre est pour un réinvestissement majeur dans les systèmes de données longitudinales à l'échelle de l'État. La plupart des gens se concentrent sur la première partie, mais la seconde est également très importante car nous avons dépensé un milliard de dollars pour construire ces systèmes de données au cours des 18 dernières années. Le tout est un excellent système, mais il doit être reconstruit.

Que faut-il modifier dans ces systèmes ?

C'est une vieille technologie. Je pense que la première tranche d'argent pour eux a été versée en 2006. [Gestes vers l'iPhone assis sur la table] Pouvez-vous imaginer avoir un système technologique qui a été construit en 2006 ? Il faut donc les moderniser, mais le plus important, c'est qu'on a maintenant une vision beaucoup plus large de ce qu'ils peuvent faire après presque 20 ans de travail.

L'exemple que je cite est l'absentéisme. Les États ont de très bons dossiers en matière de fréquentation, car les flux d'argent sont basés sur la fréquentation quotidienne moyenne, et ils doivent compter. Ils savent qui sont les absents chroniques, mais ils ne savent pas pourquoi. Cela peut être l'insécurité alimentaire, la santé, le statut migratoire, une douzaine de choses ou plus. Mais si nous utilisons ces systèmes de données longitudinaux comme épine dorsale et puis branchons les informations de la justice pénale, de la santé, de la sécurité sociale, nous aurions une bien meilleure idée de ce qui se passe avec n'importe quel élève dans une école donnée. La force de Statewide Longitudinal Data Systems [SLDS] a toujours été de suivre les étudiants au fil du temps.

"Pourquoi ai-je survécu alors que presque personne d'autre ne l'a fait ? Je ne pense pas que la recherche en éducation soit si importante. Je pense que je suis bon dans mon travail, et les réformes que nous poursuivons... sont vraiment fortement soutenues par l'administration actuelle. Mais je ne suis pas assez important pour être viré."

Le plus gros problème, bien sûr, est qu'à mesure que vous fusionnez plus de données, les problèmes de confidentialité deviennent plus intenses car il est de plus en plus facile d'identifier les personnes lorsqu'il y a plus d'informations. Nous sommes loin d'être assez bons en matière de protection de la vie privée, mais nous nous améliorons et il existe tellement plus de façons de protéger la vie privée qu'il y a 20 ans.

Compte tenu des longs délais des projets fédéraux comme le SLDS, avez-vous parfois l'impression de peindre le Golden Gate Bridge, et maintenant que vous avez enfin mis en place ces outils, il est déjà temps de les refondre ?

Eh bien, nous avons dépensé 1 milliard de dollars pour construire cela, et en ce moment, nous dépensons environ 35 millions de dollars par an en subventions aux États pour faire des choses avec. Quel pourcentage de 1 milliard de dollars est consacré à l'entretien et aux extensions ? C'est de la monnaie de poche. Vous devez donc toujours vous rappeler qu'il s'agit d'un système appartenant à l'État, conçu pour les aider à faire leur travail. Et pour prendre un exemple, le Tennessee est entouré de sept autres États, et ils finissent par faire leurs propres collaborations et échanges de données.

Le fédéralisme inhérent à cette approche, en particulier superposé à la technologie archaïque, est-il difficile à gérer ? Comment cela s'est-il passé pendant la pandémie, par exemple, alors qu'il était si difficile de générer des données en temps réel ?

La difficulté n'avait rien à voir avec SLDS, cependant. Cela avait à voir avec le monde dans lequel nous nous sommes réveillés en mars 2020.

Pour moi, SLDS est comme un exemple de système fédéral où les États assument la quasi-totalité des responsabilités. Mais encore une fois, nous avons plus de capacité que la plupart des États. Il y a des États comme le Massachusetts qui font un travail incroyablement bon, et d'autres États ne le font pas. Notre rôle là-bas est de fournir les ressources pour permettre aux États a) d'expérimenter comme le Massachusetts et b) de mettre à niveau les États qui ont peu de capacité.

Les données fédérales les plus alarmantes issues de l'ère COVID ont probablement été la publication des scores de l'évaluation nationale des progrès de l'éducation, qui ont montré d'énormes baisses de réussite en lecture et en particulier en mathématiques. Ces résultats correspondent-ils à ce que vous attendiez ?

Au moment où NAEP a atterri, nous avions des résultats NWEA et d'autres qui suggéraient que cela allait être une débâcle. Nous savions que les scores allaient baisser de beaucoup. Mais NAEP est NAEP - c'est national, c'est solide comme le roc en termes de méthodologies et d'échantillons. Il est donc incontestable que c'était une situation horrible, n'est-ce pas ?

Pour relier les points avec SLDS : L'un des problèmes avec le système est qu'il a été conçu comme une stratégie d'entrepôt de données. Et j'ai essayé et essayé, mais personne n'a compris que c'était une façon stupide de formuler son objectif. J'ai dit : "Nous n'avons pas besoin d'un entrepôt de données. Qu'y a-t-il dans un entrepôt, un chariot élévateur ?" Nous voulons un modèle Amazon où nous avons également des magasins de détail, et vous pouvez entrer et trouver des choses.

Je comprends que les États hésitent beaucoup à laisser des universitaires et des chercheurs au hasard avoir accès à des données très privées. Mais au fur et à mesure que nous reconstruisons le SLDS, nous devons nous assurer qu'il existe des exigences d'utilisation dans le cadre de l'accord - toujours, toujours compatibles avec les protections de la vie privée, mais nous devons les utiliser davantage. C'est un peu délicat parce que certains États ont l'habitude d'ouvrir les portes et de laisser entrer les chercheurs, et d'autres non. Dans l'État du Texas, cela peut dépendre de qui est le procureur général.

Il peut être frappant de constater le nombre d'articles de recherche publiés, par exemple, dans le comté de Wake, en Caroline du Nord.

C'est parce qu'ils ont ouvert les données à plus de gens. Et cela fait partie de l'accord, mais Wake County n'est pas les États-Unis. Nous avons besoin de plus.

Mes jours de recherche active sont derrière moi, mais les possibilités intégrées à ces données sont incroyables. Je pensais que j'allais pouvoir passer un accord avec l'Utah, où il y a une organisation qui fait des interventions auprès de la petite enfance ; toutes les preuves sont qu'ils sont bons, mais nous devons voir si le "bon" colle. Eh bien, SLDS est parfaitement conçu pour déterminer si les interventions tiennent. Je pensais que ce travail dans l'Utah nous permettrait d'identifier les étudiants dans leurs interventions auprès de la petite enfance, de travailler avec l'État pour suivre ces étudiants au fil du temps et de savoir si ces résultats très positifs en pré-K - c'est une intervention très peu coûteuse avec d'excellents résultats dans les premières années - restent. Nous avons les moyens de le faire. Nous devons juste le faire.

Il semble que de tels efforts seraient compliqués par l'importance politique croissante de la sécurité des données.

C'est partout, et pour cause. Je ne suis pas vraiment un faucon de la vie privée, mais toutes les protections de la vie privée doivent tenir compte des avantages par rapport aux coûts. Dans trop d'endroits, nous nous sommes concentrés sur le risque sans considérer l'avantage. Mais ce n'est que la moitié de l'équation. Nous devons pouvoir dire : « Ce risque peut être atténué, et il pourrait y avoir d'énormes avantages à en tirer.

"C'est en grande partie la même technologie qu'ETS a inventée il y a 40 ans. Mais le monde a changé. C'est juste devenu de plus en plus cher, mais la quantité de réimagination du NAEP et de sa structure - que nous puissions ou non le faire moins cher et plus rapidement - est juste à la traîne. C'est vraiment frustrant. "

C'est ce que les systèmes politiques font tout le temps - ils équilibrent les risques par rapport aux récompenses. Mais nous devons le faire d'une manière beaucoup plus sophistiquée.

Pourquoi êtes-vous une colombe de la vie privée ? Il y a quelque chose d'un peu drôle dans la façon dont les gens sont prudents face aux intrusions du gouvernement lorsqu'ils transmettent si librement leurs données à Amazon ou à qui que ce soit d'autre.

J'ai un Amazon Echo dans chaque pièce de ma maison, et je sais qu'ils écoutent ! Tout le monde a une histoire où il parle de quelque chose, puis il va sur son compte Amazon et voit une publicité liée au produit dont il parlait. C'est vraiment effrayant, mais je n'ai éteint le microphone sur l'un de mes appareils qu'en raison de la commodité de pouvoir dire : "Alexa, allume mes lumières, joue la BBC". Pour moi, ces avantages valent la peine d'obtenir un tas de publicités stupides.

Si j'étais vraiment inquiet à ce sujet, je ne porterais pas de montre Apple ni ne posséderais de téléphone Apple. Nous devrions tous nous préoccuper de la vie privée, et surtout lorsqu'il s'agit d'enfants. Évidemment, les normes doivent être élevées. Mais encore une fois, il y a des avantages à utiliser une base de données plus complète, ce qui correspond à ma vision de ce que serait SLDS. Les problèmes technologiques sont réels, et c'est toujours une guerre de savoir si les gens le piratent et nous devons développer de meilleurs mécanismes de protection.

Qu'essayez-vous d'accomplir, sur le plan organisationnel, avec l'ajout proposé d'un centre de recherche de pointe?

IES n'a que 20 ans. Mon prédécesseur, Russ Whitehurst, était le directeur fondateur, et il était brillant. Il a entrepris de moderniser l'infrastructure de recherche et développement, et son objectif était de faire des essais contrôlés randomisés la pièce de monnaie du royaume. J'ai été le commissaire du NCES pendant trois ans, et je me disputais tout le temps avec lui au sujet de son modèle d'ECR, qui sont la référence. La façon dont il l'a vu était – et il savait ce qu'il faisait, il est vraiment intelligent – ​​"Je ne peux pas faire de compromis au début. Si je dis:" Peut-être que nous faisons ceci, peut-être que nous faisons cela ", alors personne ne va dans la direction que je veux, et ils m'attendent juste. "

Le problème avec le modèle était que les ECR, tels qu'ils ont été introduits à l'origine, concernaient des effets moyens sur les populations. Mais pour utiliser un exemple précis, nous sommes maintenant passés à la médecine individualisée - il s'agit de ce qui fonctionne pour vous et dans quelles conditions. Ainsi, le mantra d'IES est désormais : "Qu'est-ce qui fonctionne pour qui et dans quelles conditions ?" Bien sûr, nous avons encore des études qui examinent les effets principaux, mais notre travail consiste à identifier ce qui fonctionne pour des individus ou des groupes d'étudiants. Cela nécessite de nombreux changements dans notre façon de penser et de faire des affaires.

Ma blague est que presque toutes les sciences ont traversé une crise de réplication. Nous n'avons pas de crise de réplication, car nous ne reproduisons rien. Même si cela fonctionne, nous ne le reproduisons pas ! Ainsi, il y a quelques années, nous avons lancé un RFA de réplication. IES allait de toute façon dans cette direction, mais nous avions besoin d'une attention beaucoup plus systématique à la réplication. Mon erreur a été que nous avons structuré la réplication de cette façon : "Quelque chose a fonctionné à New York, alors donnez-moi encore 5 millions de dollars, et j'essaierai à Philadelphie." Ou, "Cela a fonctionné pour certains enfants afro-américains, essayons avec des enfants hispaniques." Ce furent toutes de grandes expériences, qui durent cinq ans. Vous ne pouvez pas progresser de cette façon.

Maintenant, nous organisons un X Prize, qui sera annoncé avant l'été. Je ne sais pas dans quelle mesure cela sera généralisable, mais le prix est basé sur l'utilisation de plates-formes d'apprentissage numériques pour mener des expériences. La partie critique est que vous devez avoir 100 000 utilisateurs sur votre plate-forme pour être éligible. Vous exécutez ces expériences, vous échouez rapidement - c'est un principe extrêmement important, échouez rapidement - et les quelques choses qui fonctionnent, vous devez faire plusieurs réplications. Le plan initial était : expérimentation, réplication, puis une autre série de réplications. À la fin, le but est de dire : « Voici une intervention qui a fonctionné pour ces élèves, mais pas pour ces élèves. Ensuite, vous prenez ce qui a fonctionné pour ces étudiants et vous le poussez plus loin. [Le 9 mai, Adaptive Experimentation Accelerator a été annoncé comme le gagnant du prix Digital Learning Challenge d'un million de dollars.]

C'est une approche systématique de réplication rapide. Dans la recherche en éducation, tout ne peut pas être fait en peu de temps. Certaines choses prennent beaucoup de temps. Mais il y a beaucoup, beaucoup de choses qui durent un semestre ou une année scolaire, et à la fin de cette période, nous avons des mesures approximatives des résultats distaux. Cette approche de prix est juste un processus différent pour la façon dont nous reproduisons.

ChatGPT vient d'ouvrir tout un monde de discussions sur l'utilisation de l'IA. Mais ce qui s'est passé avec ChatGPT ressemble à ce que nous essayons de faire. Le monde fait de l'IA depuis littéralement des décennies, mais les 10 dernières années ont vu une puissance de calcul accrue et une plus grande complexité dans les modèles, et les modèles fondamentaux sont devenus de plus en plus gros. Nous avons construit une base incroyable : apprentissage automatique, science des données, IA. Et tout d'un coup, boum ! ChatGPT est la première chose qui a attiré l'attention du public, mais il a été construit sur cette base incroyable. Personne ne sait quelle sera la prochaine chose qui percera, mais ils sont tous construits sur des décennies de travail qui ont établi cette fondation. C'est la même chose avec la recherche sur l'ARNm - le vaccin COVID n'aurait pas pu se produire sans cette base.

Ce que j'essaie de faire, c'est d'utiliser les ressources de l'IES pour construire ce type de fondation, qui comprend les plates-formes d'apprentissage, l'expérimentation et la réplication à cycle rapide, l'argent de la recherche transformatrice. Et le but, en utilisant cette base, c'est de regarder des choses qui surgissent, qui n'existeraient pas autrement. C'est l'objectif : si nous pouvons faire cela avec des vaccins, si nous pouvons l'utiliser avec des chatbots, alors quelle est notre fondation ? Ce que j'espère, c'est que lorsque nous lancerons le NCADE, nous déplacerons cette activité là-bas et la laisserons se consolider et interagir. Ensuite, nous commençons à faire de nouvelles recherches innovantes basées sur cette base.

Quels sont les types de projets de recherche et de résultats qui semblent peut-être fantastiques maintenant, mais qui pourraient être réalisés de la même manière que les vaccins à ARNm l'ont été ?

Le telos, l'étoile polaire, est une éducation individualisée. La première chose qui ressort de ce travail est un institut d'IA que l'IES lance avec la National Science Foundation, et il est conçu pour les étudiants souffrant de pathologies de la parole. Il n'y a pas assez d'orthophonistes dans les écoles, alors la demande pour eux est très élevée. Nous faisons aussi quelque chose d'incroyablement stupide en les accablant de paperasse incroyable.

"Ma blague est que presque toutes les sciences ont traversé une crise de réplication. Nous n'avons pas de crise de réplication, car nous ne reproduisons rien. Même si cela fonctionne, nous ne le reproduisons pas!"

Cet institut d'IA est financé par 20 millions de dollars, répartis entre l'IES et la NSF, et il comporte plusieurs volets. La première consiste à développer un outil de dépistage universel assisté par l'IA, car il faut du temps pour diagnostiquer exactement quelles sont les pathologies de la parole des élèves - qu'elles aient à voir avec la structure des phrases, le vocabulaire, la prononciation. La médecine fait ça depuis toujours, soit dit en passant. Le deuxième volet consiste à utiliser une boîte à outils d'IA pour aider à concevoir, mettre à jour et surveiller le plan de traitement. En d'autres termes, nous avons une pénurie de main-d'œuvre, nous savons que nous avons besoin d'une évaluation et d'un plan de traitement, et l'IA peut le faire. Ou, l'IA devrait être capable de le faire, que nous puissions ou non réussir avec ce groupe. C'est un risque, comme tout ce que nous faisons est un risque. Mais pour moi, c'est une percée.

J'ai bon espoir qu'ils y parviendront, en partie à cause du troisième volet, qui a trait à la paperasserie. C'est beaucoup de travail, de multiples formes, et c'est la routine. Eh bien, devinez ce qui peut maintenant taper des paragraphes de routine ?

Il semble que les districts scolaires, sans parler du Congrès, pourraient être très hésitants à déployer l'IA pour rédiger des rapports après incident, ou quoi que ce soit d'autre. Une structure réglementaire va devoir être créée pour régir l'utilisation de cette technologie.

Je suis sûr, comme moi, que vous avez surveillé la réaction à ChatGPT. Il y a une réaction extrême, "Bannir complètement." Un autre extrême serait : "C'est incroyable, allez-y !" Et puis il y a la bonne réaction : c'est un outil qui ne retourne jamais dans la boîte. Alors, comment l'utiliser à bon escient? Comment l'utiliser dans les salles de classe, et pour libérer les enseignants de la corvée ?

Au moins dans un avenir prévisible, les humains auront un rôle à jouer car ChatGPT se trompe souvent. Et le plus gros problème est que nous ne savons parfois pas quand c'est faux. Cela s'améliorera avec le temps, je ne pense pas qu'il y ait une question à ce sujet, mais cela nécessite une intervention humaine. Les humains doivent savoir que ce n'est pas infaillible, et ils doivent avoir l'intelligence pour savoir comment lire ChatGPT et dire, "Ça ne marche pas."

Bien sûr, il écrit une prose très ennuyeuse.

Mais les étudiants aussi.

Et les journalistes aussi.

Touché. Vous avez mentionné que vous avez dirigé le NCES il y a plus de dix ans. Je me demande si vous avez remarqué un changement dans les ambitions de Washington concernant l'utilisation des données fédérales pour stimuler l'amélioration des écoles, surtout maintenant que l'ère de la réforme de pointe est révolue depuis longtemps.

C'est vrai que le niveau de scepticisme est beaucoup plus grand. Mais la technologie s'est également améliorée. Nous avons engagé les Académies nationales [des sciences, de l'ingénierie et de la médecine] pour faire trois rapports pour nous afin de coïncider avec notre 20e anniversaire. Celui sur le NCES était le plus intéressant. Il parle de mesures nouvelles et un peu moins intrusives.

Le NCES est ancien. Il y a beaucoup d'arguments sur le moment où cela a commencé, mais le NCES moderne était en fait une réaction à [le sociologue et chercheur] James Coleman, qui a été intimement impliqué dans la conception initiale des études longitudinales. Ils sont devenus plus compliqués - l'original était "High School and Beyond" - et ils sont tous basés sur des données d'enquête, juste sortir et parler aux gens. Eh bien, vous connaissez le destin des sondages : les taux de réponse ne cessent de baisser, et il est plus difficile de faire parler les gens.

C'est à quel point c'est devenu mauvais?

Nous avons été forcés - "forcés" donne l'impression que c'était une mauvaise idée ; et cela s'est avéré être une mauvaise idée - demander aux écoles qui participaient beaucoup d'informations sur les IEP [programmes d'éducation individualisés] et les élèves ayant des besoins spéciaux. Cela revient à ce calcul coûts-avantages parce qu'ils ne partageaient pas la classification des élèves ayant des besoins spéciaux, et ils ont tout simplement refusé de participer. Nous avons donc fini par annuler cette collecte de données. C'était un indicateur avancé du problème.

"J'ai enseigné la politique publique pendant des décennies à l'Université de Stony Brook, et quand j'ai décidé que je n'y retournerais jamais, ils m'ont demandé de donner une conférence. … Ma remarque d'ouverture a fait reculer tout le monde parce que j'ai dit : 'J'ai enseigné ici pendant 20 ans, et chacun de mes étudiants devrait me poursuivre pour faute professionnelle.' Rien de ce que j'ai enseigné n'avait quoi que ce soit à voir avec la façon dont la saucisse est réellement fabriquée."

De plus en plus, la question est de savoir ce que nous pouvons faire pour obtenir le type de données générées par ces études longitudinales sans avoir à interroger 15 000 ou 18 000 enfants. Cela nécessite une modification de votre façon de penser, et cela nécessite une vision élargie de l'endroit où se trouvent les données. Quelle quantité de données sur lesquelles nous demandons aux élèves, aux parents et aux enseignants réside dans les systèmes de données longitudinales des États, par exemple ? Pourrions-nous réduire le besoin d'entretiens humains à 5 ou 10 % de ce que nous faisons actuellement ? Cela appelle en fait un processus de pensée différent de celui de "Eh bien, nous faisons toujours 'Lycée et au-delà' de cette façon!" Mais les bureaucraties fédérales ne sont pas connues pour leur pensée novatrice, très franchement.

Cette adaptation pourrait également signifier que certaines des choses uniques que nous obtenons des sondages vont devoir disparaître parce que personne ne vous les donnera.

Quel est, le cas échéant, l'effet des changements de gouvernement sur une organisation massive comme IES ? Vous avez été nommé sous le président Trump, donc le ministère de l'Éducation a déjà subi un changement très important, et maintenant le Congrès a également changé de mains.

Nous ne sommes pas massifs. Nous sommes assez petits, en fait.

Nous sommes une agence scientifique, et nous avons été créés lorsque la loi sur la réforme des sciences de l'éducation a été autorisée en 2002. Je pense que la vision était que l'IES n'atteindrait pas la taille des National Institutes for Health ou de la National Science Foundation, mais sur une trajectoire qui le placerait dans ce genre de groupe. Si vous regardez la loi originale, elle est toujours là. Nous avons un conseil qui est presque peuplé maintenant, et les membres d'office comprennent le directeur du recensement, le commissaire du Bureau of Labor Statistics et quelqu'un du NIH. Vous ne créez pas un conseil d'administration avec ce genre de personnes à moins que vous ne vous attendiez à ce qu'il soit un grand acteur majeur.

Il n'y est jamais arrivé. Le budget s'élève à 808 millions de dollars, en partie parce que nous avons obtenu une assez grosse somme d'argent dans le programme omnibus. Mais 30 millions de dollars de cela étaient pour DARPA-Ed, que nous n'avons pas encore. Dix millions de dollars de cette somme sont destinés au School Pulse Panel. Le Congrès s'intéresse donc à la modernisation, et nous devons prouver que cet investissement en vaut la peine.

Qu'en est-il de la différence au sommet? Y a-t-il des attitudes particulièrement différentes entre le secrétaire DeVos et le secrétaire Cardona en ce qui concerne la mission d'IES ?

J'ai reçu un énorme soutien du ministère. Nous n'aurions pas obtenu l'argent pour NCADE, nous n'aurions pas obtenu l'argent pour School Pulse sans ce soutien. L'objectif de DeVos était de faire disparaître le département de l'éducation, donc cette administration est évidemment beaucoup plus vaste. Ils ont été prudents dans leur soutien aux choses, mais encore une fois, le NCADE ne serait pas allé aussi loin sans le soutien sans réserve du ministère, du Bureau de la gestion et du budget et de la Maison Blanche.

Cela me rappelle les positions divergentes des partis sur le rôle du gouvernement fédéral en matière d'éducation et à quel point le ministère de l'Éducation a failli ne jamais être autorisé.

Jimmy Carter est un très bon ex-président et un bon être humain, mais ce n'était pas un président très efficace. Comme vous le savez, la création du département était en réponse au soutien qu'il a obtenu des syndicats d'enseignants. Il y a donc un débat philosophique sur le rôle du gouvernement fédéral en matière d'éducation, et ce n'est pas un slam dunk. Il y a des choses qui valent la peine d'être évoquées. Une grande partie de l'argent que le département gère est le titre IV, il fonctionne donc comme une banque, et c'est de loin le plus petit département du Cabinet en termes d'effectifs.

L'autre chose que je ne suis pas sûr que les gens comprennent parfaitement, c'est que le ministère n'est pas seulement une opération d'octroi de subventions, c'est aussi un atelier de sous-traitance. J'ai enseigné la politique publique pendant des décennies à l'Université de Stony Brook, et quand j'ai décidé que je n'y retournerais jamais, ils m'ont demandé de donner une conférence à mes anciens collègues - que j'avais presque tous embauchés - et à des étudiants diplômés. Ma remarque d'ouverture a fait reculer tout le monde parce que j'ai dit : « J'ai enseigné ici pendant 20 ans, et chacun de mes étudiants devrait me poursuivre pour faute professionnelle. Rien de ce que j'ai enseigné n'avait quoi que ce soit à voir avec la façon dont la saucisse est vraiment faite.

Vous entendez cela tout le temps, et les universitaires font caca. Mais j'ai été des deux côtés, et c'est vraiment vrai : la recherche universitaire et l'usine de saucisses sont les mêmes. En 20 ans d'enseignement des politiques publiques, je n'ai jamais mentionné les entrepreneurs. Et les entrepreneurs dirigent tout le spectacle. C'est notre façon de faire des affaires, et c'est encore plus intéressant que simplement : « Je dirige cette agence, mais voici ce que vous, l'entrepreneur, devriez faire ». Trop souvent, ce sont les entrepreneurs qui réfléchissent.

Il y a eu une longue dispute au cours des 20 dernières années, par intermittence, sur le fait que j'ai été associé à ce genre de choses. Nous devrions et devons sous-traiter le travail et la mise en œuvre, mais nous ne devrions pas sous-traiter la réflexion. Et c'est facile à articuler, mais quelle est la ligne de démarcation ? Quand cédons-nous notre capital intellectuel — notre contrôle du navire, si vous voulez — à des entrepreneurs qui conçoivent, construisent et dirigent le navire ?

Y a-t-il des exemples concrets de la recherche en éducation où vous pouvez signaler des projets qui ont dérapé ?

Le NAEP est de 185 millions de dollars par an et il est renouvelé tous les cinq ans. Savez-vous depuis combien de temps Educational Testing Services a le contrat ? Quarante ans. Il y a des raisons pour lesquelles ils obtiennent ce contrat — ils sont bons ! Mais ce sont des décennies de concurrence minimale ou nulle. Et comme le test est devenu plus gros et plus compliqué, même monter une offre pour concourir coûte des millions de dollars. Les gens demandent : « Pourquoi dépenserions-nous des millions de dollars pour concurrencer ETS alors qu'ils ont le contrat depuis 40 ans et que nous ne voyons aucune indication que ce sera un jour différent ?

Pour moi, c'est un problème sérieux.

Étant donné que le NAEP est le produit le plus important du NCES, il y a probablement très peu de place pour le réinventer au-delà, par exemple, du changement de la modalité de test du stylo et du papier aux ordinateurs.

Je suis d'accord là-dessus, c'est en grande partie la même technologie qu'ETS a inventée il y a 40 ans. Mais le monde a changé. C'est juste devenu de plus en plus cher, mais la quantité de réimagination du NAEP et de sa structure - que nous puissions ou non le faire moins cher et plus rapidement - est juste à la traîne. C'est vraiment frustrant.

Même avant COVID, on réfléchissait beaucoup à l'avenir du NAEP et aux coûts de son administration. Le test des tendances à long terme a été reporté entre 2012 et 2020, n'est-ce pas ?

Oui, mais c'est un cas intéressant. La version moderne du NAEP - qui mesure la lecture et les mathématiques en quatrième et huitième années - a été autorisée en 2002, je crois. Cela remonte aux années 70, vraiment, mais nous en faisons cette version depuis 20 ans. Les gens adorent le test des tendances à long terme, mais en avons-nous vraiment besoin quand nous avons eu 20 ans de NAEP principal ?

Vous avez passé une grande partie de votre carrière à étudier la valeur de l'enseignement supérieur. Pensez-vous que nous assistons à une apocalypse financière ou démographique pour les collèges et les universités ?

"Apocalypse" est un mot bien trop fort. Il y a des tendances démographiques telles que le bassin d'étudiants se rétrécit, et il y a aussi des variations régionales incroyables. La Nouvelle-Angleterre et les États du centre de l'Atlantique connaissent des déclins beaucoup plus marqués que le Sud et l'Ouest. Et bien sûr, les universités ne sont pas mobiles ; si vous investissez toute cette infrastructure dans le Massachusetts glacial ou dans le nord de New York, et que tous les étudiants déménagent, vous devez vous demander : « Que dois-je faire de toute cette infrastructure maintenant ?

Quant à la valeur d'un diplôme de quatre ans, vous et moi opérons dans une sphère où tout le monde est très alphabétisé. Je lis tout le temps, et je ne parle pas de trucs techniques. Je lis des romans tout le temps parce que c'est une opportunité de vivre dans un monde différent. Mais quelle est la définition de l'alphabétisation dans le monde dans lequel nous vivons et de quelles compétences avons-nous vraiment besoin ? Ce n'est toujours qu'une minorité de personnes qui suivent des programmes de quatre ans, mais devons-nous envoyer autant d'étudiants pour obtenir des diplômes de quatre ans? La plupart d'entre eux veulent des emplois et des salaires permettant de subvenir aux besoins de leur famille, et avons-nous besoin de diplômes de quatre ans pour cela ? La réponse est évidemment non, si vous regardez ce qui se passe dans le Maryland et la Pennsylvanie [où les gouverneurs ont récemment supprimé les exigences de diplôme de milliers d'emplois dans l'État].

Le fait est que cela se produit. Dans la mesure où cela se produit, ce qui, à mon avis, est nécessaire et important, les incitatifs à l'obtention d'un baccalauréat commencent à décliner. Cela devient plus une question individuelle : "Je vais passer cinq ou six ans dans une institution de quatre ans. C'est à peu près une expérience à l'emporte-pièce, tampon-tampon-tampon, et j'obtiens un baccalauréat. Ensuite, lors d'un entretien d'embauche, ils me demandent quelles sont mes compétences, et je ne peux pas répondre. Eh bien, je peux utiliser ChatGPT !"

C'est assez sinistre. Mais existe-t-il un moyen d'offrir aux étudiants potentiels de meilleures informations sur la valeur qu'ils retirent réellement de l'université ?

Lorsque j'étais aux American Institutes for Research, j'ai dirigé quelque chose appelé College Measures, qui était la première tentative systématique de déchiffrer tout le travail qui avait été fait au niveau universitaire sur ce qui arrivait aux étudiants lorsqu'ils obtiennent leur diplôme. En fin de compte, c'est la variation des programmes qui compte vraiment - dès que nous avons commencé à analyser les résultats des étudiants, programme par programme, les programmes qui étaient techniques étaient les gagnants. Et les chiffres étaient incroyables. Les premiers résultats que nous avons publiés provenaient de Virginie et du Tennessee, et je jure devant Dieu, quand j'ai vu les résultats, je ne les ai pas crus. Je pensais que nous avions une erreur dans les données parce que les titulaires d'un diplôme d'associé gagnaient moins que les titulaires d'un baccalauréat.

Nous avons répété cela maintes et maintes fois, dans peut-être 10 états différents. Ce sont toujours les diplômes techniques issus des collèges communautaires qui rapportaient le plus. Dans l'État de Floride, je pense que le meilleur certificat postsecondaire était « mécanicien/constructeur d'ascenseurs ». Il n'y en a pas beaucoup, mais le salaire de départ était de 100 000 $ ! Ensuite, vous commencez à regarder la sociologie, l'anglais, la psychologie et [fait un geste vers le bas avec sa main, fait un bruit de fracas].

Il s'est avéré que ces programmes diplômants devenaient de plus en plus des substituts aux compétences. Le pire résultat pour tous les étudiants était pour ceux qui sont allés dans les arts libéraux et les études générales dans les collèges communautaires. Ils le font parce qu'ils veulent être transférés dans une école de quatre ans, mais seulement 20 % d'entre eux sont réellement transférés. Ils sortent avec une formation générale et aucune compétence, et les résultats sur le marché du travail ont été désastreux.

Je travaillais avec le Burning Glass Institute, qui a des dossiers d'emploi pour des millions de personnes et gratte les offres d'emploi, pour commencer à rechercher les compétences les plus demandées. La beauté de tout cela était qu'il s'agissait de si bonnes données, et mieux encore, elles étaient régionales. La plupart des gens ne déménagent pas souvent, donc si je vis et que je vais à l'école dans l'ouest du Tennessee, cela ne m'aide pas du tout de savoir pourquoi quelqu'un embauche à Miami. Il demandait essentiellement : "Combien d'argent vaut chaque compétence ?" Les choses ont probablement changé depuis cette époque, mais l'une des compétences les plus demandées sur presque tous les marchés était [le logiciel de gestion de la relation client] Salesforce, qui valait entre 10 000 et 20 000 dollars.

L'autre chose que nous avons faite, qui m'a rendu très populaire, a été d'examiner les mêmes résultats pour les programmes de maîtrise. Les collèges créent simplement ces programmes, et l'argent sert à soutenir tout ce que les universitaires aiment : les voyages, les rachats de cours, les étudiants diplômés. Mais les chiffres sont effrayants pour la plupart des programmes de maîtrise. Vous créez un programme de maîtrise, et ils ont tendance à être relativement bon marché - et vous ne donnez pas d'AT aux étudiants de maîtrise, donc tout est en espèces. C'est une machine à sous, et donc vous en créez plus.

Cela me ramène à ma question précédente. Si les jeunes commencent à voir différemment la proposition de valeur d'un diplôme de quatre ans et que les taux de fécondité américains produisent moins de jeunes pour commencer, il semble que la musique doive finalement s'arrêter pour le secteur de l'enseignement supérieur. Et si cela se produit, les employeurs devront s'appuyer sur autre chose que le prestige apparent d'un BA pour faire la distinction entre les candidats, n'est-ce pas ?

Mes deux filles pensent que je suis devenue de plus en plus conservatrice à cause de ce qui se passe dans l'enseignement postsecondaire. Regardez les dotations universitaires : tout l'argent est caché, mais la subvention que nous accordons aux étudiants aisés est énorme parce que leurs dotations sont exonérées d'impôt. Princeton a une énorme dotation et une petite population étudiante; Harvard a une plus grande dotation, mais aussi un plus grand nombre d'inscriptions. Lorsque j'étais à l'American Institutes for Research, nous avons calculé la subvention à Princeton par étudiant de premier cycle, et la subvention était d'environ 100 000 $ par année. Tout caché, personne n'en parle. Pendant ce temps, la subvention totale pour l'Université d'État de Montclair, qui est en bas de la route, était de 12 000 $; le collège communautaire local était de 3 000 $. Cela comprend à la fois l'argent de l'État et de l'État fédéral. Quel genre de système est-ce?

J'ai témoigné devant la commission des finances du Sénat et nous avons obtenu une petite taxe sur les dotations qui ne concernait que les écoles les plus riches. Je pense que c'est toujours dans les livres, mais c'était loin d'être aussi agressif qu'il aurait dû l'être. Ce que je voulais, c'était prendre l'argent et mettre sur pied un programme de subventions concurrentiel pour les collèges communautaires, car ce qu'ils font, c'est travailler dur et ils ont absolument besoin d'argent. Mais ce qui s'est passé, c'est que nous avons reçu une taxe beaucoup plus faible qui est allée dans le fonds général et n'a rien amélioré. C'était une déception.

Cela m'amène à me demander ce que vous pensez de l'allégement de la dette étudiante de l'administration Biden !

Je ne parlerai plus. [Des rires]

L'autre partie de cette même campagne portait sur les taxes foncières. Georgetown et George Washington University, par exemple, ne paient pas de taxes foncières. Certaines universités reconnaissent qu'elles obtiennent des services de police, d'incendie, d'égouts, etc., et elles négocient ce qu'on appelle un PILOTE, un paiement tenant lieu d'impôts. Un cas était Harvard, qui a négocié un PILOTE avec Boston qui était bien inférieur à ce qu'ils auraient autrement payé, et ils ne l'ont même pas entièrement payé ! Un ancien président d'université m'a dit un jour : "Votre campagne pour les dotations ne se fera jamais de manière sérieuse. Mais si vous commencez à attaquer notre exonération d'impôt foncier, cela nous inquiète."

"Les chiffres étaient incroyables. Les premiers résultats que nous avons publiés provenaient de Virginie et du Tennessee, et je jure devant Dieu, quand j'ai vu les résultats, je ne les ai pas crus. Je pensais que nous avions une erreur dans les données parce que les titulaires d'un diplôme d'associé gagnaient moins que les titulaires d'un baccalauréat."

À l'époque où je pensais qu'une partie de cela allait rester, j'ai écrit un éditorial dans le Washington Post. L'Office of Tax Revenue de Washington, DC s'avère être une très bonne agence, et je leur ai demandé une liste de toutes les propriétés appartenant à Georgetown et George Washington. Je leur ai simplement demandé de calculer la valeur de ces propriétés et quel devrait être le paiement compte tenu du taux de la taxe commerciale. C'était beaucoup d'argent. Le propriétaire moyen d'une propriété résidentielle à Princeton, dans le New Jersey, paie des milliers de dollars de plus en impôts qu'il ne le ferait autrement, car l'Université de Princeton ne paie pas d'impôts fonciers.

Critiquer les universités dans le Washington Post ne semble pas être un bon moyen de se faire des amis dans votre poste actuel.

Eh bien, je n'ai rien fait de tel depuis des années. Et bien sûr, j'ai été nommé par l'administration précédente, alors qu'aucun de ces trucs n'était particulièrement toxique.

Alors pourquoi ai-je survécu alors que presque personne d'autre ne l'a fait ? Je ne pense pas que la recherche en éducation soit si importante. Je pense que je fais bien mon travail, et les réformes que nous poursuivons - qu'il s'agisse de créer le NCADE ou de réviser le SLDS - sont vraiment fortement soutenues par l'administration actuelle, ce que j'apprécie vraiment. Mais je ne suis pas assez important pour être viré.

N'est-ce pas quelque chose d'une mise en accusation des décideurs fédéraux, cependant? Ils devraient se soucier davantage de la recherche en éducation !

Ouais, mais j'aurais été viré. [Des rires]

J'étais affilié à l'AEI [l'American Enterprise Institute, un groupe de réflexion conservateur], et j'y ai encore beaucoup d'amis. Mais cette proposition du NCADE a le soutien démocrate du Congrès. Une grande partie du travail est encore non partisane ou bipartite. Nous travaillons très dur dans ce domaine, et certaines des choses que nous poussons sont si fondamentalement importantes que peu importe le parti auquel vous appartenez.

La partisanerie rend-elle plus difficile la poursuite des questions d'enseignement supérieur qui vous intéressent?

Je ne suis que le troisième directeur de l'IES à avoir été confirmé et à avoir servi pendant une longue période. Russ Whitehurst était totalement concentré sur l'alphabétisation de la petite enfance, et John Easton se souciait le plus de la maternelle à la 12e année. Ainsi, même au cours de ces cinq dernières années, IES est encore principalement orienté K-12.

Ce que je fais de plus récent dans la recherche postsecondaire, c'est de recueillir des données sur les activités non créditées, et je ne pense pas que les gens comprennent à quel point c'est important dans les collèges communautaires. Il s'agit en grande partie de personnes qui s'inscrivent pour utiliser une piscine ou de quelqu'un qui suit trois cours de musicologie mais qui n'est pas intéressé par des crédits ou un diplôme. Mais de plus en plus, l'activité non créditée est utilisée pour des certificats non crédités qui sont liés à l'emploi et à la carrière. Peut-être avez-vous besoin de trois cours pour améliorer mes compétences en réparation de carrosserie ou pour améliorer vos compétences en informatique, mais vous ne voulez pas un diplôme complet ou vous inscrire à l'université. Vous pouvez donc le faire sans crédit.

Nous ne savons même pas combien de certificats sans crédit sont accordés car nous ne collectons aucune donnée à ce sujet. IPEDS [le système intégré de données sur les études postsecondaires, la principale source d'informations du gouvernement fédéral sur les collèges et les universités] est enraciné dans le titre IV, et il ne collecte pas d'informations sur les écoles qui n'acceptent pas de subventions fédérales ou sur les activités non créditées. Mais c'est vraiment gros, et beaucoup de gens parient du temps, de l'énergie et de l'argent pour acquérir des certificats sans crédit. Nous essayons de travailler là-dessus, et l'OMB hésite beaucoup à rendre obligatoire toute collecte de données à cause du titre IV, mais ils ont approuvé une collecte de données volontaire. Je ne fais plus de recherche, mais j'essaie de négocier des accords avec des chercheurs et des États - la Virginie a un bel ensemble de données, par exemple - pour savoir ce qui se passe si vous obtenez un certificat sans crédit. L'Indiana est une autre opportunité.

Lancer ce genre de choses est difficile parce que ce n'est pas très traditionnel, et cela nécessite de solides systèmes de données d'État et la volonté des États de travailler avec des chercheurs indépendants. Et sur les 808 millions de dollars que nous avons, rien n'est de l'argent ambulant ; tout est compétitif, tout est revu par des pairs. Ce qui devrait être le cas, mais je ne peux pas simplement dire : "Bien sûr, ça a l'air génial, je t'enverrai 50 000 $."

Recevez des histoires comme celles-ci directement dans votre boîte de réception.Inscrivez-vous à la newsletter du 74

Kevin Mahnken est un écrivain senior au 74.