méthodologie du recueil d'informations 9782807300378

Citation preview

Méthodes en sciences humaines

Méthodologie du recueil d’informations Fondements des méthodes d’observation, de questionnaire, d’interview et d’étude de documents

Doctorat Master

Licence

5e édition

Jean-Marie DE KETELE Xavier ROEGIERS

Méthodologie du recueil d’informations

Méthodes en sciences humaines Collection dirigée par Jean-Marie De Ketele, Jean-Marie Van Der Maren et Marie Durut-Bellat ALBARELLO L., Apprendre à chercher (4e ALBARELLO L., Choisir l’étude de cas comme méthode de recherche ALBARELLO L., AUBIN D., FALLON C.,VAN HAEPEREN B. (dir.) Penser l’évaluation des politiques publiques ALBARELLO L., BOURGEOIS É., GUYOT J.-L., Statistique descriptive BRESSOUX P., Modélisation statistique appliquée aux sciences sociales (2e CISLARU G., C LAUDEL Ch., VLAD M., L’écrit universitaire en pratique (3e CADARIO R., B UTORI R., PARGUEL B., Méthode expérimentale: analyses de modération et médiation COMAN R., CRESPY A., VAN HAUTE E., LOUAULT F., MORIN J.-F., PILET J.-B., Méthodes de la science politique. De la question de départ à l’analyse des données DE KETELE J.-M., ROEGIERS X., Méthodologie du recueil d’informations (5e DÉPELTEAU FR., La démarche d’une recherche en sciences humaines (2e GUAY J.-H., Statistiques en sciences humaines avec R. Sciences sociales et psychologie HOTTOIS G., Penser la logique (2e LAVEAULT D., GRÉGOIRE J., Introduction aux théories des tests (3e MASSOU L., LAVIELLE-GUTNIK N. (dir.), Enseigner à l’université avec le numérique. Savoirs, ressources, médiations LEJEUNE CHR., Manuel d’analyse qualitative. Analyser sans compter ni classer LENOBLE-PINSON M. MACE G., PÉTRY Fr., Guide d’élaboration d’un projet de recherche en sciences sociales (4e MÉOT A., Introduction aux statistiques inférentielles MILES B M., HUBERMAN , Analyse des données qualitatives (2e THIRY P., Notions de logique (3e VAN DER MAREN J.-M., Méthodes de recherche pour l’éducation (2e VAN DER MAREN J.-M., La recherche appliquée pour les professionnels. Éducation, (para)médical, travail social (3e VAN HOOLAND S., GILLET F., HENGCHEN S., DE WILDE M., Introduction aux humanités numériques : méthodes et pratiques. Sciences humaines et sociales

Méthodes en sciences humaines

Méthodologie du recueil d’informations Fondements des méthodes d’observation, de questionnaire, d’interview et d’étude de documents

Doctorat Master

Licence

5e édition

Jean-Marie DE KETELE Xavier ROEGIERS

Pour toute information sur notre fonds et les nouveautés dans votre domaine de spécialisation, consultez notre site web : www.deboecksuperieur.com

© De Boeck Supérieur s.a., 2015 Fond Jean Pâques, 4 – B-1348 Louvain-la-Neuve

5e édition

Tous droits réservés pour tous pays. Il est interdit, sauf accord préalable et écrit de l'éditeur, de reproduire (notamment par photocopie) partiellement ou totalement le présent ouvrage, de le stocker dans une banque de données ou de le communiquer au public, sous quelque forme et de quelque manière que ce soit.

Dépôt légal : Bibliothèque nationale, Paris : décembre 2015 Bibliothèque royale de Belgique, Bruxelles : 2015/13647/131

ISSN 1373-0231 ISBN 978-2-8073-0037-8

AVANT-PROPOS L’observation, le questionnaire, l’entretien et l’étude des documents constituent les outils du travail quotidien de l’expert, qu’il soit homme d’action, auditeur, évaluateur, consultant ou chercheur. Tout comme l’expert, l’homme de la rue recueille aussi de l’information. Qu’est-ce qui distingue le travail de l’un et de l’autre ? Bachelard disait de l’observation ou de l’expérience primaire qu’elle était un obstacle à la pensée scientifique. Élargissant cette réflexion, nous pouvons dire que, contrairement à l’homme de la rue, l’expert devrait toujours recueillir de l’information avec en filigrane un en-deça (un projet et une historicité suffisamment explicites) et un au-delà (un souci d’induire et de produire du sens consciemment, dans un contexte défini et selon certaines règles). Si dans la littérature spécialisée, nous rencontrons quantité d’ouvrages généraux en méthodologie de la recherche ou en méthodologie de l’évaluation, voire en méthodologie de l’action, curieusement on ne rencontre guère – du moins à notre connaissance – d’ouvrage de méthodologie du recueil d’informations, comme si celuici était un processus évident ou moins noble. Nous pensons au contraire que, étant à la base du travail de l’expert, un tel processus mérite et même nécessite un travail de réflexion en profondeur qui dépasse les seuls aspects techniques et prenne en considération les aspects épistémologique, morphologique et théorique. L’ambition d’un tel ouvrage est donc de clarifier les fondements et les pratiques du recueil d’informations. Les aspects techniques ne seront abordés ici que dans la mesure où ils sont indispensables pour notre réflexion et notre effort de clarification. Le lecteur désireux de s’initier ou de se perfectionner dans ces aspects recourra à d’autres ouvrages spécifiques. En priorité, nous avons voulu nous adresser à deux grandes catégories de lecteurs : les étudiants en sciences humaines d’une part, des experts chevronnés d’autre part. Les étudiants chercheront à se construire un cadre de référence situant les différentes méthodologies du recueil d’informations, ce qui les fonde, ce qui les réunit, ce qui les différencie. Les experts trouveront ici l’occasion de s’arrêter pour réfléchir à une des composantes fondamentales de leur travail quotidien, dont l’apparente banalité et l’aspect routinier peuvent occulter certains choix implicites et certains effets cachés.

6

Méthodologie du recueil d’informations

De nombreux ouvrages écrits par des universitaires s’adressent en fait aux seuls publics qui gravitent dans la mouvance de la recherche. Les auteurs du présent ouvrage, ayant à la fois une expérience de chercheur universitaire et d’intervenant de terrain, se sont efforcés de servir également la réflexion des experts-praticiens dont les occasions de prise de recul sont chichement comptées. Certains d’entre eux trouveront peut-être ici un cadre de référence stimulant et enrichissant leur pratique. Plusieurs points d’entrée dans ce livre peuvent être envisagés. Aux étudiants, nous conseillons au départ une lecture exhaustive avant d’approfondir selon les besoins l’un ou l’autre chapitre. Les experts s’intéresseront sans doute plus particulièrement à certains chapitres selon leur sphère d’activité. Nous leur conseillons cependant de prendre connaissance du premier chapitre qui constitue une plaque tournante. Nous remercions toutes celles et tous ceux qui, suite à une lecture attentive des premières éditions, nous ont fait parvenir leurs réflexions et leurs commentaires, et qui nous ont par là aidés à finaliser cette nouvelle édition.

CHAPITRE 1

APPROCHE GÉNÉRALE DU RECUEIL D’INFORMATIONS

INTRODUCTION Chercher à comprendre, chercher à décrire, explorer un nouveau domaine, poser ou vérifier une hypothèse, évaluer les performances d’une personne, évaluer une action, un projet…, voilà quelques démarches fondamentales dont la réussite est avant tout liée à la qualité des informations sur lesquelles elles s’appuient. Dans toutes ces démarches, et dans bien d’autres encore, il est primordial de se poser quelques questions importantes telles : • « est-ce que je sais bien dans quel but je veux recueillir des informations ? » • « ai-je bien choisi l’information sur laquelle je vais travailler ? » • « l’information que je recueille est-elle bien celle que je voulais recueillir ? » • « cette information est-elle de qualité suffisante ? » • « que vais-je faire de cette information ? » • etc. Trop souvent, les informations sur lesquelles on travaille sont de mauvaises informations, des informations insuffisantes, des informations déformées, des informations mal traitées. Au départ de toute recherche ou de toute évaluation, il importe donc de bien cerner le rôle du recueil d’informations, les précautions à prendre et l’utilisation que l’on peut faire de l’information. Dans ce premier chapitre, après avoir précisé ce qui caractérise un processus de recueil d’informations, nous décrirons les différentes méthodes qui peuvent être utilisées pour recueillir de l’information.

8

Approche générale du recueil d’informations

1.1 Définition du recueil d’informations 1.1.1 LES

FONCTIONS

De façon générale, on peut dire qu’on est amené à rechercher de l’information lorsqu’on désire cerner de plus près une situation donnée, que ce soit… … pour détecter des besoins (1) je m’informe de l’état de santé de quelqu’un ; (2) je mène une étude de marché avant de me lancer dans la fabrication et la commercialisation d’un nouveau produit ; … pour poser un choix, prendre une décision (3) je m’informe du prix de différentes voitures en vue d’en choisir une ; (4) je recherche de l’information auprès de l’opinion publique avant de prendre telle décision politique ; (5) j’interroge plusieurs personnes candidates à un poste de responsabilité ; (6) je recherche des informations pour déterminer si mes étudiants ont acquis la matière avec un degré de maîtrise suffisant ; … pour améliorer un fonctionnement, des performances (7) je recherche de l’information pour tenter d’améliorer la communication dans mon entreprise ; (8) je recherche de l’information pour expliquer l’apparition de tel phénomène secondaire dans l’utilisation de tel médicament ; (9) j’analyse un poste de travail afin de limiter les coûts liés à la non-qualité ; … pour former (10) je diagnostique auprès de mes étudiants les problèmes rencontrés en cours d’apprentissage ; … pour résoudre un problème (11) je mène une enquête policière ; (12) j’effectue différents tests afin de localiser l’origine de la panne d’une machine ; … pour cerner un phénomène (13) je recherche de l’information pour faire le point sur la progression d’une maladie dans tel pays ; (14) je recherche de l’information pour tenter d’expliquer tel phénomène macro-économique ; … pour tester des hypothèses scientifiques (15) je recherche de l’information pour vérifier telle hypothèse fondamentale en biologie moléculaire ; (16) je mets en place un dispositif visant à vérifier l’hypothèse selon laquelle « la frustration engendre l’agressivité ». etc. Ces fonctions d’un recueil d’informations seront organisées, développées et systématisées en 4.2.

Définition du recueil d’informations

1.1.2 LES

9

CARACTÉRISTIQUES

Ces démarches se différencient principalement par le but recherché et le contexte dans lequel elles se situent. Une même démarche pourra ainsi cacher des réalités tout à fait différentes. Selon les cas, une démarche de recherche d’informations pourra 1. se situer dans le cadre d’une action définie de façon plus ou moins précise ; 2. présenter un caractère unilatéral ou multilatéral ; 3. revêtir un caractère plus ou moins organisé ; 4. nécessiter des garanties de validité plus ou moins strictes.

A. Se situer dans une action définie de façon

plus ou moins précise

Je peux m’informer de l’état de santé de quelqu’un par intérêt pour la personne, par pure politesse, ou au contraire parce que je suis médecin et que je dois prendre une décision, parce que je suis un chercheur en train de vérifier une hypothèse scientifique ou d’analyser les effets secondaires d’un médicament, etc. Je peux étudier les comportements des gens sur une place de marché parce que tout à coup l’idée me passe par la tête ou au contraire parce que j’ai décidé de le faire tel jour à tel endroit dans le cadre de telle étude sociologique ou anthropologique, parce que je suis chargé d’améliorer les ventes d’un produit, etc.

B. Présenter un caractère unilatéral ou multilatéral Se renseigner sur le prix d’une seule voiture en vue d’un achat, ou au contraire s’informer des caractéristiques de quelques modèles sélectionnés en vue de les comparer, relèvent de démarches tout à fait différentes. De même, une décision en matière de communication dans une entreprise peut se fonder sur l’avis d’une seule personne, ou au contraire résulter d’une analyse des représentations des différents acteurs concernés. Si j’effectue une recherche sur les effets secondaires d’un médicament, il est clair que je ne vais pas me contenter de recueillir des informations auprès de deux ou trois personnes de mon entourage qui ont pris ce médicament. Notons que le caractère multilatéral de la recherche d’informations peut dans certains cas porter sur la composante « temps » : l’étude de l’œuvre d’un auteur ou d’un compositeur en est un exemple.

C. Revêtir un caractère plus ou moins organisé Pour tenter de dégager l’évolution des rapports d’autorité entre parents et enfants, je peux me contenter d’interroger de façon informelle quelques personnes autour de moi, ou au contraire mettre en place une stratégie bien précise mettant en œuvre des outils de recueil d’informations qui ont été validés.

10

Approche générale du recueil d’informations

Je peux fonder une étude de marché sur « ce qu’on dit autour de moi », ou au contraire la mener rigoureusement sur la base d’un échantillon soigneusement étudié. Le recueil d’informations lié à une recherche qui étudie les effets secondaires d’un médicament doit également être mené selon une stratégie étudiée attentivement.

D. Nécessiter des garanties de validité plus ou moins strictes Je découvre sur la place du village des jeunes en train de se battre avec acharnement : en fait, ils jouent à se battre, libèrent leur énergie et se témoignent ainsi leur amitié… Pourtant, je tire comme conclusion à propos de cette scène que les jeunes deviennent bien agressifs. Cela ne porte guère à conséquence si j’observe la scène en tant que « Monsieur tout le monde », mais cette conclusion devient inacceptable dans un dispositif de recherche visant à vérifier l’hypothèse selon laquelle « la frustration engendre l’agressivité ». De même, l’absence de difficultés mentionnées sur un questionnaire ne signifie pas nécessairement que tout va bien et qu’un statu quo doit être préservé. En effet, si ce questionnaire a été conçu par le directeur d’une institution à l’usage des membres de son personnel, et que c’est à lui qu’il faut le renvoyer, émettre des conclusions trop rapides suite à l’analyse des informations recueillies peut conduire à des erreurs aux conséquences graves… Le chercheur qui a recueilli des informations relatives aux effets secondaires d’un médicament devra soigneusement analyser dans quelle mesure il peut utiliser les informations recueillies. Par exemple, il devra décider s’il peut se fier à des informations recueillies auprès d’une personne qui a pris un autre médicament en même temps, ou encore s’il doit tenir compte d’un effet secondaire qui n’a été signalé que par une seule personne. Les quatre caractères susmentionnés doivent être nécessairement présents pour pouvoir différencier un processus de recueil d’informations d’une simple démarche de prise de renseignements : • le caractère délibéré de la démarche, c’est-à-dire orienté vers une action bien précise : une prise de décision, l’avancement de la recherche scientifique ou la progression de la connaissance dans un domaine bien précis ; • le caractère multilatéral de la démarche ; • le caractère organisé de la démarche ; • le caractère de validité suffisante de la démarche. L’observation du comportement des gens dans un marché ne pourra être considérée comme un recueil d’informations que si je précise mes objectifs, si je connais les sujets et les objets de mon observation et si je structure celle-ci. L’enquête sur l’évolution des rapports d’autorité entre parents et enfants ne pourra relever d’un véritable recueil d’informations que si j’étudie le lien entre les questions posées et l’objectif poursuivi, si je précise mon échantillon et si je respecte un certain nombre de règles avant de tirer mes conclusions. L’analyse préalable en vue de l’achat d’une voiture ne pourra relever d’un véritable recueil d’informations que si je me donne un certain nombre de critères de choix,

Les principales méthodes du recueil d’informations

11

si je prends les informations à plusieurs endroits, et si dans l’information que je recueille, je compare des choses effectivement comparables. D’autres caractères non décisifs peuvent entrer en ligne de compte, comme par exemple le caractère personnel ou non des fins visées. Une enquête sur les besoins d’une population en médecins peut être pratiquée à l’échelle d’un quartier par un jeune médecin qui cherche à s’installer ou à l’échelle d’un continent à des fins de prévention de la malnutrition. Un sondage d’opinions préalable à une décision politique peut être réalisé parce que je cherche à augmenter ma cote de popularité en vue des élections ou parce que j’agis en homme politique responsable. Bien que le caractère personnel des fins visées donne souvent lieu à une simple prise de renseignements – comme le fait de consulter un journal en vue de choisir un programme de TV –, il peut cependant être parfois le moteur d’une démarche tout à fait rigoureuse : le jeune médecin qui fait une étude de besoins en vue de s’installer dans un quartier peut mener une démarche de recueil d’informations qui réponde à tous les critères énoncés, bien que ce soit une étude tout à fait ponctuelle et menée à des fins personnelles (l’acteur est le destinataire). Il en va de même du sondage d’opinions. Nous ne retiendrons donc pas ce dernier caractère comme décisif pour la définition du recueil d’informations. Le recueil d’informations peut dès lors être défini comme le processus organisé mis en œuvre pour obtenir des informations auprès de sources multiples en vue de passer d’un niveau de connaissance ou de représentation d’une situation donnée à un autre niveau de connaissance ou de représentation de la même situation, dans le cadre d’une action délibérée dont les objectifs ont été clairement définis, et qui donne des garanties suffisantes de validité.

Les 16 exemples proposés ci-dessus sont donc chacun susceptibles de faire l’objet d’un recueil d’informations, à condition de préciser les objectifs poursuivis et la stratégie particulière mise en œuvre. S’informer de l’état de santé de quelqu’un (exemple 1) n’est qu’une simple demande de renseignements dans le cadre d’un geste de courtoisie. Cela devient un recueil d’informations dans le cadre d’une étude de cas menée par un médecin ou un psychologue.

1.2 Les principales méthodes du recueil d’informations Une fois qu’on a déterminé ce que l’on veut recueillir comme informations, il est nécessaire d’élaborer une stratégie de recueil d’informations, stratégie qui elle-même va faire appel à des méthodes de recueil d’informations (les termes stratégie et méthode sont définis en 5.2). Les méthodes principales sont au nombre de 4 : • la pratique d’interviews ;

12

Approche générale du recueil d’informations

• l’observation ; • le recours à des questionnaires ; • l’étude de documents. À côté de ces quatre grandes méthodes, il existe un certain nombre d’autres techniques utilisées pour recueillir de l’information. Citons à titre d’exemples : • les tests qu’effectue un technicien de maintenance pour détecter l’origine d’une panne, • les techniques de palpation utilisées par un médecin pour établir son diagnostic, • ou encore les tests gustatifs, olfactifs etc. Ces techniques peuvent être considérées comme dérivées de l’observation.

1.2.1 L’INTERVIEW Au sens commun du terme, l’interview prend une signification très restrictive, et par ailleurs non univoque, ainsi qu’en témoignent ces deux définitions : « l’entretien avec une personne pour l’interroger sur ses actes, ses idées, ses projets, afin soit d’en publier ou d’en diffuser le contenu, soit de l’utiliser à des fins d’analyse (enquête d’opinion) » (Petit Larousse, 1988). ou encore « l’entrevue au cours de laquelle un journaliste interroge une personne sur sa vie, ses projets, ses opinions, dans l’intention de publier une relation de l’entretien. » (Petit Robert, 1984). Malgré la présence d’une « utilisation à des fins d’analyse » dans la première définition, ces définitions mettent surtout l’accent sur le caractère gratuit, personnel et ponctuel de l’interview, ce qui ne répond pas aux caractéristiques énoncées d’un véritable recueil d’informations (voir en 1.1). D’autres approches plus scientifiques mettent davantage l’accent sur la démarche dans laquelle s’inscrit l’interview, démarche considérée comme une des composantes essentielles de l’interview. A. BLANCHET (1987, p. 81) considère principalement deux niveaux : d’une part le niveau général de l’« interview », d’autre part le niveau des « questionnaires (oraux) » et des « entretiens de recherche » comme éléments d’un sous-ensemble du vaste ensemble des interviews. Sa définition de l’interview est celle qu’en donnent LABOV et FANSHEL (1977) : « une interview est un speech-event dans lequel une personne A extrait une information d’une personne B, information qui était contenue dans la biographie de B. », le terme biographie reprenant l’ensemble des représentations associées aux événements vécus par B. Il ne faut pas penser que le bénéfice de l’interview soit toujours destiné à la personne A, qui mène l’interview. Des techniques comme l’entretien d’explicitation (VERMERSCH, 1994) visent à développer, avec l’aide d’un interviewer A, un questionnement auprès d’un acteur B, en vue d’aider ce dernier à clarifier ses pratiques.

13

Les principales méthodes du recueil d’informations

Ensemble des interviews Questionnaires oraux Entretiens de recherche

Interviews comme éléments méthodologiques d’une démarche scientifique

Autres interviews (informels, journalistiques)

Caractéristiques de l’interview comme méthode Nous inspirant de cette dernière approche, nous étendrons la définition communément admise de l’interview dans plusieurs directions, afin de la préciser comme méthode au service d’un processus de recueil d’informations, afin de mieux cibler son rôle dans une démarche scientifique ou dans une évaluation. 1. Tout d’abord, l’interview constituant une méthode de recueil d’informations, elle doit nécessairement présenter un caractère multilatéral : l’interview d’une seule personne à un moment donné n’a aucun sens dans le cadre d’un recueil d’information, du moins si l’interview constitue la méthode principale choisie. Il faudrait donc toujours parler d’interviews au pluriel quand on évoque la méthode. La population sera déterminée soigneusement, soit par une technique d’échantillonnage, soit au contraire par une sélection précise de personnes bien déterminées en fonction de l’objectif à atteindre. Plutôt que de recourir à des interviews de plusieurs personnes, le caractère multilatéral peut se manifester à travers des interviews dites diachroniques, c’est-àdire effectuées auprès de la même personne à des moments différents, t1, t2, t3, …, et dont on compare l’évolution des informations dans le temps. 2. Dans un cadre de recueil d’informations, l’interview dépassera souvent « des actes, des idées et des projets », ou encore « la vie, les opinions » de la personne interviewée. Souvent, une interview portera également, et parfois de façon prioritaire, sur des faits objectifs (Est-il vrai que tel événement s’est passé ?, Qui est votre supérieur hiérarchique ?, À quelle époque tel changement a-t-il eu lieu ? À la suite de quoi ?, etc.) ou sur des représentations (Que pensez-vous que X recherche en posant tel acte ? Quels sont selon vous les objectifs de… ?, Que pensez-vous que X pense de…etc.). 3. Selon les cas, une interview peut être libre, semi-dirigée ou dirigée : – elle sera dite libre lorsque l’interviewer s’abstient de poser des questions visant à réorienter l’entretien ;

14

Approche générale du recueil d’informations

– elle sera dite dirigée lorsque le discours de la personne interviewée constitue exclusivement la réponse à des questions préparées à l’avance et planifiées dans un ordre précis ; – elle sera dite semi-dirigée lorsque l’interviewer prévoit quelques questions à poser en guise de point de repère. Ces catégories seront détaillées en 5.7. 4. Une interview n’est pas nécessairement individuelle. Dans certains cas, les interviews de groupe peuvent se révéler intéressantes, soit pour des raisons de gain de temps, soit parce que les effets recherchés se situent davantage au niveau des interactions entre différentes personnes que dans des faits précis. 5. Comme toute méthode de recueil d’informations, les fins visées peuvent être très diverses, et doivent avoir été définies soigneusement. Nous avons déjà abordé longuement ce point. On peut notamment distinguer les interviews ouvertes, dont une fonction fréquente est de faire émerger des hypothèses, et des interviews fermées, qui servent souvent à vérifier des hypothèses déterminées a priori. Par exemple, si on remarque un taux d’abandon anormalement élevé dans une filière de formation, on commencera par interviewer quelques personnes pour faire surgir des hypothèses (interviews ouvertes) et, une fois que l’on a cerné deux ou trois hypothèses susceptibles d’expliquer ce taux d’abandon anormalement élevé, on recourt à des entretiens soigneusement planifiés pour vérifier ou infirmer ces hypothèses. 6. Enfin, contrairement à l’acception du terme par A. BLANCHET, nous limiterons la notion d’« interview » à une récolte orale d’informations. Le cas du questionnaire complété face à l’interviewer fera pour nous partie de la méthode par questionnaire. Ces différentes considérations nous conduisent à proposer une définition de l’interview comme méthode au service d’un processus de recueil d’informations. L’interview est une méthode de recueil d’informations qui consiste en des entretiens oraux, individuels ou de groupes, avec plusieurs personnes sélectionnées soigneusement, afin d’obtenir des informations sur des faits ou des représentations, dont on analyse le degré de pertinence, de validité et de fiabilité en regard des objectifs du recueil d’informations. Dans les notes qui suivent, le terme « interview » sera plus particulièrement utilisé pour désigner la méthode, tandis que nous utiliserons le terme « entretien » pour désigner chacune des entrevues qui composent cette méthode.

1.2.2 L’OBSERVATION Il est curieux de remarquer que la plupart des spécialistes qui ont largement utilisé l’observation ou ont écrit à son propos (MEDDLEY & MITZEL, 1963 ; ROSENSHINE, 1973 et 1986, …) n’aient pas tenté de donner une définition de l’observation. Peut-être estiment-ils le concept établi. Certains cependant s’y sont efforcés, mais leurs définitions sont à certains égards peu satisfaisantes : spécifiques et univoques dans leur énoncé, elles sont ensuite utilisées de façon équivoque avec attribution au particulier d’une valeur générale.

Les principales méthodes du recueil d’informations

15

A. Sens premier « Observer est un processus incluant l’attention volontaire et l’intelligence, orienté par un objectif terminal ou organisateur et dirigé sur un objet pour en recueillir des informations » (DE KETELE, 1980, p. 27).

Il s’agit d’un processus et non d’un mécanisme simple d’impression par reproduction comme celui de la photocopie. En effet, ce processus requiert un acte d’attention, c’est-à-dire une « concentration élective de l’activité mentale comportant une augmentation de l’efficience sur un secteur déterminé et l’inhibition des activités concurrentes » (LAFON, 1963, p. 71). Selon les cas, le degré d’attention peut varier comme le montre de façon éloquente la richesse de la langue française : apercevoir, percevoir, entrevoir, voir, regarder, considérer, examiner, découvrir, repérer, remarquer, surprendre, débusquer, dévisager, toiser, lorgner, épier, espionner, guetter, viser, suivre, surveiller… Si la vue est celui des 5 sens qui est le plus souvent sollicité dans un processus d’observation, les autres sens peuvent également être mis en œuvre : l’ouïe, l’odorat, le toucher, le goût. Pour s’en convaincre, il suffit de penser à des disciplines comme l’acoustique (ouïe), la botanique (odorat), l’œnologie (goût, odorat), la kinésithérapie (toucher) dont les techniques d’observation s’appuient sur d’autres sens que la vue. Ce processus requiert un acte intelligent : dans le champ perceptif qui s’offre à lui, l’observateur sélectionne un petit nombre d’informations pertinentes parmi le large éventail des informations possibles. Ce mécanisme de sélection opère en référence à l’expérience antérieure : le « déjà vu » s’observe plus facilement, mais « le trop vu » risque de passer inaperçu. Dans la recherche scientifique, l’observation est conçue en fonction d’un cadre théorique de référence. Selon leur valeur, cette expérience antérieure et ce cadre théorique peuvent constituer une force ou une faiblesse. L’observation est un processus orienté par un objectif terminal ou organisateur du processus d’observation lui-même. Même l’observation dite libre comporte un objectif : se familiariser avec une situation, observer un phénomène sous un maximum d’aspects possibles, … Plus cet objectif est clair et explicite, plus cet acte de sélection s’en trouvera facilité, plus circonscrit deviendra l’objet sur lequel l’attention est dirigée. Ob-server, c’est se mettre devant (préfixe « ob ») un objet à la fois comme esclave ou serf (sens premier de la racine « serv. ») pour lui être fidèle et à la fois comme maître pour le posséder ou le conserver (sens second de la racine « serv. »). Observer quelqu’un, c’est jeter un regard sur lui, c’est le prendre comme objet. C’est donc tout le contraire du processus empathique (préfixe « in » et racine « path » : ressenti en se mettant dans, à la place de). Le regard est agressif, diront les psychanalystes qui se refusent à se mettre devant le client pendant la cure. En ce sens, l’observation présente de fortes similitudes avec l’interview. L’observation est un processus dont la fonction première immédiate est de recueillir de l’information sur l’objet pris en considération en fonction de l’objectif organisateur… Ce recueil suppose une activité de codage : l’information brute sélectionnée est traduite grâce à un code pour être transmise à quelqu’un (soi ou autrui). Comme nous le verrons plus tard, de nombreux systèmes de codage peuvent exister

16

Approche générale du recueil d’informations

qui peuvent se subdiviser en deux groupes : les systèmes de sélection, où l’information est codée à partir d’un système ou d’une grille préétablie, et les systèmes de production où l’observateur doit produire lui-même son système de codage. C’est par exemple le cas de la technique des incidents critiques, qui consiste à identifier un incident, une action ou des paroles significatives, et à relater scrupuleusement le contexte dans lequel cet incident s’est produit, sans émettre dopinion sur la façon dont les choses se sont déroulées. Tout comme pour l’interview, le cadre de référence de l’observateur ou de celui qui planifie l’observation peut jouer un rôle considérable, positif ou négatif selon les cas. De ce qui précède, on peut dégager l’idée suivante. Ce qui fait la spécificité de l’observation par rapport à l’interview n’est pas la démarche elle-même, mais l’objet de la démarche : l’interview a pour objet principal le discours du sujet, alors que l’observation a pour objet principal des comportements observables. Deux autres caractéristiques différencient de façon fondamentale un entretien d’une activité d’observation : • l’entretien est un acte de communication alors que l’observation est un acte à sens unique, sauf dans certains cas particuliers comme l’observation participante, dans laquelle l’observateur est aussi acteur ; • l’observation se situe essentiellement dans le présent alors que l’entretien permet d’une part des retours en arrière comme dans le cas de l’anamnèse, et d’autre part des projections dans l’avenir.

B. Sens dérivés À l’origine, observer signifiait « se conformer à ce qui est prescrit » (se mettre en position de serf devant la loi) : observer les dix commandements, observer la loi. De ce fait, on parle d’observance : on surveille, on observe quiconque enfreint la règle pour lui faire une observation, c’est-à-dire une remarque. Dans le contexte de cet ouvrage, nous n’utiliserons pas cette signification qu’il est cependant intéressant de signaler pour saisir le champ des connotations de la notion d’observation. Dans les contextes expérimental, clinique et éducatif, l’observation pourra désigner tour à tour plusieurs significations plus spécifiques dérivées du sens premier (l’observation conçue comme processus). L’observation sera un objectif à rechercher ou une aptitude à développer : apprendre à observer, développer le sens de l’observation. L’observation pourra être considérée comme une méthode pédagogique. « L’observation est un procédé pédagogique qui consiste à mettre l’élève en contact avec les objets qui vont, par la perception directe, permettre l’appréhension immédiate des données (BESLAY in LAFON, 1969, p. 508). On parle de « leçons d’observation », du passage du concret à l’abstrait, du passage de l’image au concept et, mieux, de la construction active des concepts ou des lois. L’observation désignera souvent une méthode clinique. Elle est alors « l’étude complète de la valeur fonctionnelle, du comportement et des conduites d’un être humain, en tenant compte de ses éléments constitutifs et de sa personnalité dynamique dans sa totalité et dans son environnement » (LAFON, 1969, p. 507). Dans les examens

Les principales méthodes du recueil d’informations

17

psychotechniques, les psychologues disent utiliser fréquemment la méthode d’observation lorsqu’ils font appel à l’observation du comportement au cours de l’exécution des tests. Dans ses recherches sur le développement de l’enfant, PIAGET utilise l’observation clinique lorsqu’il étudie les comportements naturels de l’enfant mis en présence d’une situation spécialement conçue et provoquée pour mettre en évidence ses comportements. Plus largement encore, les psychologues parleront de méthode clinique lorsqu’ils utilisent l’observation en ne faisant appel qu’à des conversations (méthode de l’interview) ou à des interrogatoires plus ou moins systématisés (PIERON, 1973). Le chercheur parlera d’observation par opposition au processus d’expérimentation. Pour lui, l’observation sera la phase exploratoire qui débouche sur l’émission d’une hypothèse, dans le cadre d’une recherche expérimentale au sens où nous la définirons dans le chapitre 3. Enfin, et de façon générale, on parlera d’observation comme d’un résultat : le psychologue, l’éducateur, le chercheur… consignent ou notent leurs observations. Au sens restreint, l’observation désignera autant que possible (mais c’est impossible diront certains) le résultat codé du seul acte d’observer. Au sens large, l’observation sera le résultat codé de l’acte d’observer suivi de l’acte d’interpréter, ce qui suppose pour le spécialiste ou le chercheur la référence à un cadre théorique (référentiel).

1.2.3 LE

QUESTIONNAIRE

Selon qu’il entre dans le cadre d’une évaluation des performances de personnes, ou au contraire dans le cadre d’une évaluation d’un fonctionnement, de l’évaluation d’un système, d’une recherche descriptive ou expérimentale, le questionnaire prendra deux sens différents : • le questionnaire de contrôle de connaissances ; • le questionnaire d’enquête. Dans le premier cas, la cible est l’individu ; dans le second, une population.

A. Le questionnaire de contrôle de connaissances Avant de préciser le rôle que peut jouer dans l’apprentissage un questionnaire de contrôle, il importe de bien distinguer différentes formes de contrôles (DE KETELE, 1986). Un contrôle se caractérise toujours par : 1. une activité demandée à l’élève ou à l’étudiant (donner une définition, construire, résumer, citer, …) et 2. un contenu sur lequel s’exerce cette activité (telle formule, telle démarche de résolution, telle activité pratique, …).

18

Approche générale du recueil d’informations

Activités

Contenu

Savoirs

Savoir-faire cognitifs

Savoir-faire pratiques

Savoir-être

Savoir-devenir

Savoir-redire/refaire Savoir-faire cognitif Savoir-faire pratique Savoir-être Savoir-devenir

Il est essentiel de distinguer ces deux paramètres :

1. L’ACTIVITÉ EXERCÉE Par SAVOIR-REDIRE (SR), nous désignons l’activité qui consiste à pouvoir redire ou restituer un message appris ou donné, sans y apporter de transformation significative. Parallèlement aux savoir-redire, les savoir-refaire consistent en la reproduction pure et simple de gestes appris, dans la même situation que celle dans laquelle ils ont été appris ou montrés. Par SAVOIR-FAIRE COGNITIF (SFC), nous désignons les activités cognitives plus élaborées, c’est-à-dire des activités qui nécessitent un travail cognitif de transformation d’un message donné ou/et non donné. Nous pensons particulièrement à des « activités cognitives de base » comme distinguer l’essentiel de l’accessoire, élaborer le plan d’un texte, rédiger une synthèse, résoudre un problème, etc. Certains de ces savoir-faire sont des savoir-faire non contextualisés, comme un exercice de calcul de dosage dans une formation d'infirmière, ou au contraire des savoir-faire contextualisés, comme le même calcul de dosage dans un service de soins intensifs. Par SAVOIR-FAIRE PRATIQUE (SFP 1), nous désignons les activités à dominante sensori-motrice et qui nécessitent le contrôle kinesthétique, comme tourner ou fraiser une pièce en mécanique, apprendre à rouler à vélo, manœuvrer avec précision, etc. Que l’on pense par exemple à la taxonomie de SIMPSON (1966) ou de HARROW (1972). Le savoir-faire pratique se distingue du savoir-refaire pratique par le fait que l’activité s’exerce sur une situation différente et implique donc plus qu’une simple répétition de gestes. Par SAVOIR-ÊTRE (SE), nous désignons les activités par lesquelles une personne manifeste non seulement sa façon d’appréhender sa propre personne (le « concept de soi »), les autres, les situations en général, mais aussi sa façon de réagir et d’agir. En un mot, le SE est la façon de se poser en tant que personne. Le SE se manifeste à trois niveaux : 1. le niveau de sélection des stimuli lui arrivant à la conscience (le même arbre est vu différemment par le poète ou le bûcheron) ; 1. Appelé aussi « savoir-faire gestuel », ou « savoir-faire opératif ».

Les principales méthodes du recueil d’informations

19

2. le niveau de la représentation ; 3. le niveau de la conduite. Le SE renvoie donc toujours à un système de valeurs (implicites ou explicites, déclarées ou non déclarées, vécues ou non vécues). Il importe de dire déjà ici que ces différentes formes de savoirs ne sont pas indépendantes. Si « rédiger une dissertation » est une activité qui peut être considérée comme à dominante du SFC, elle nécessite un SR, elle exige un SFP (l’acte psychomoteur d’écrire) et elle implique ou révèle un certain SE. La dernière catégorie rend compte de cette forme d’intégration. Par SAVOIR-DEVENIR (SD), nous désignons les activités qui consistent à se mettre en projet, à élaborer un projet, à le planifier, le réaliser, l’évaluer, l’ajuster. Le SD nous semble particulièrement important surtout en période de crise : à la limite, une personne qui ne perçoit plus de devenir est une personne psychiquement morte. Apprendre le SD, c’est aussi apprendre à intégrer, à donner une signification aux acquis, à transférer. C’est donc instaurer une dynamique qui fait trop souvent défaut dans l’institution école.

2. LE CONTENU De façon générale, les SAVOIRS (S) désigneront des connaissances : des faits, des concepts, des lois, des modèles, des formules, des tableaux, des procédures fermées (algorithmes), des synthèses, …, déjà constitués, appris ou donnés. Dans certaines disciplines, il sera utile de distinguer les différentes catégories de savoirs, comme par exemple la classification de MERRILL (1983), qui distingue les faits particuliers (l’adverbe « souvent », la date d’un fait historique, …), les concepts (le concept d’adverbe, de carré, …), les procédures (la procédure de transformation d’un adjectif en adverbe, les étapes d’une recette de cuisine, …) et les principes (la règle selon laquelle l’adverbe est invariable, la formule de l’aire du rectangle, la loi de la pesanteur, …). Les SAVOIR-FAIRE COGNITIFS (SFC) désigneront les différentes démarches intellectuelles nécessaires à mettre en œuvre pour exercer les SFC en tant qu’activités : par exemple, des procédures ouvertes (un enchaînement d’algorithmes, le choix d’un algorithme), les démarches de pensée nécessaires à l’élaboration d’un résumé, les étapes de résolution d’un problème, les démarches pour élaborer le plan d’un texte, etc. Au plan du contenu, les SAVOIR-FAIRE PRATIQUES (SFP) désigneront les différentes démarches pratiques qui sont nécessaires pour exercer les SFP en tant qu’activités : par exemple, les gestes à faire pour panser une blessure. On peut les étendre aux savoir-faire socio-affectifs (GERARD, 2000), comme par exemple de la capacité d’écouter (et non simplement entendre), de communiquer un message de façon fonctionnelle, de présenter des excuses, etc. Il s’agit à ce stade-ci d’une maîtrise d’une « technique » qui peut être apprise, et qui n’implique pas nécessairement que l’on y recoure de façon spontanée, comme ce sera le cas dans la catégorie suivante, celle des savoir-être. Au plan du contenu, les SAVOIR-ÊTRE (SE) désigneront des attitudes, des valeurs 2 (l’autonomie, l’esprit critique, …), des façons d’appréhender le réel (par 2. On trouvera dans l’ouvrage de PARENT & JOUQUAN (2013) une explicitation de toute une série de valeurs importantes.

20

Approche générale du recueil d’informations

exemple telle réaction dans telle situation) ou des représentations (par exemple l’opinion de… sur…). Enfin, les SAVOIR-DEVENIR (SD) en tant que contenu désigneront les projets comme contenus : par exemple, les différents types de projets. Assez curieusement, les catégories d’activités sont pratiquement les mêmes que les catégories de contenus. Le tableau suivant illustre les 25 combinaisons activité-contenu possibles, selon la dominante taxonomique qui caractérise l’activité ou le contenu. EXEMPLES

Savoirs

Savoir-faire cognitifs

Savoir-faire pratiques

Savoir-être

Savoir-devenir

Savoir-redire

Donner la définition de l’écoconsommation

Redire de mémoire la comparaison entre les différents moyens de chauffage

Connaître la manière de fabriquer un compost, ou de trier ses déchets

Connaître quelques règles pour modifier ses comportements en matière de chauffage

Être au courant de différents projets écologiques lancés dans sa commune

Savoir-faire cognitif

Synthétiser les différentes composantes de l’écoconsommation Analyser le cycle de vie d’un produit qu’on achète

Comparer plusieurs méthodes d’analyse des habitudes des consommateurs

Comparer plusieurs mises en œuvre de tris de déchets

Étudier la manière de modifier ses comportements en matière de chauffage

Comparer les politiques de gestion des déchets dans deux communes

Activités

Contenu

Savoir-faire pratique Identifier des légumes par le goût

Trier correcteFabriquer une ment les déchets maquette de l’analyse du cycle d’un repas de vie d’un produit qu’on achète

Fabriquer un tri Présenter un de poubelles qui PowerPoint sur les permette de gérer étapes d’un projet celui-ci efficacement et de manière durable

Savoir-être

Porter de manière spontanée un regard critique sur les informations qui nous arrivent par la presse

Prendre l’habiPrendre l’habitude d’analyser le tude de trier ses cycle de vie d’un déchets produit qu’on achète

Modifier (de manière durable) ses comportements en matière de chauffage

Échanger de manière spontanée en famille sur de nouvelles manières de consommer autrement

Savoir-devenir

Associer plusieurs personnes pour réfléchir sur la notion d’écoconsommation

Mettre sur pied un groupe pour analyser les effets d’un changement d’alimentation sur le bien-être

Prendre des mesures concrètes en vue de changer ses habitudes en matière de consommation de produits courants

Prendre des mesures concrètes en vue de développer des projets sur le thème de l’écoconsommation

Développer des contacts pour changer sa manière de cuisiner

21

Les principales méthodes du recueil d’informations

Au-delà de l’exercice des savoir-redire, savoir-faire cognitifs, savoir-faire pratiques, savoir-être et savoir-devenir, on ne peut pas nier aujourd’hui l’apport et l’influence de l’approche par compétences. Cette approche, notamment dans une de ses acceptions que l’on appelle « pédagogie de l’intégration » (DE KETELE ET AL., 1989 ; DE KETELE, 1996 ; ROEGIERS, 2000, 2010 ; GERARD & BIEF, 2009 ; PARENT & JOUQUAN, 2013), et qui tend à se répandre dans les curricula de nombreux systèmes éducatifs de par le monde, se propose de prendre un autre point de vue sur l’exercice de ces catégories d’activités : amener l’apprenant à en intégrer plusieurs en vue d’exercer une tâche complexe inédite, de manière réfléchie et critique. Selon cette optique, on peut définir la compétence comme la possibilité, pour un individu, de mobiliser de manière pertinente, intériorisée et réfléchie un ensemble de ressources en vue de résoudre une situation complexe appartenant à une famille de situations, ou en vue d’effectuer une tâche complexe appartenant à une famille de tâches. Les savoir-redire, savoir-faire cognitifs, savoir-faire pratiques, savoir-être et savoir-devenir évoqués ci-dessus sont des ressources au service de l’exercice de la compétence (LE BOTERF, 1995). EXEMPLES DE COMPÉTENCES

Compétence 1 : « gérer au quotidien un tri de poubelles, pour une famille moyenne » Cette compétence mobilise un ensemble de ressources, dont principalement les ressources suivantes, issues du tableau présenté ci-dessous. Il est à remarquer que les ressources mises en évidence ont pu être maîtrisées ou facilitées grâce à d’autres ressources présentes dans le tableau (en particulier dans les deux premières colonnes). Savoirs

Savoir-faire cognitif

Savoir-faire pratique

Savoir-être

Savoir-devenir

Savoir-redire

Donner la définition de l’écoconsommation

Redire de mémoire la comparaison entre les différents moyens de chauffage

Connaître la manière de fabriquer un compost, ou de trier ses déchets

Connaître quelques règles pour modifier ses comportements en matière de chauffage

Etre au courant de différents projets écologiques lancés dans sa commune

Savoir-faire cognitif

Synthétiser les différentes composantes de l’écoconsommation Analyser le cycle de vie d’un produit qu’on achète

Comparer plusieurs méthodes d’analyse des habitudes des consommateurs

Comparer plusieurs mises en œuvre de tris de déchets

Étudier la manière de modifier ses comportements en matière de chauffage

Comparer les politiques de gestion des déchets dans deux communes

Activités

Contenus

Savoir-faire pratique Identifier des légumes par le goût

Fabriquer une Trier correctemaquette de ment les déchets l’analyse du cycle d’un repas de vie d’un produit qu’on achète

Fabriquer un tri Présenter un de poubelles qui PowerPoint sur les permette de gérer étapes d’un projet celui-ci efficacement et de manière durable

22

Approche générale du recueil d’informations

Activités

Contenus

Savoirs

Savoir-faire cognitif

Savoir-faire pratique

Savoir-être

Porter de manière spontanée un regard critique sur les informations qui nous arrivent par la presse

Prendre l’habiPrendre l’habitude d’analyser le tude de trier ses cycle de vie d’un déchets produit qu’on achète

Savoir-devenir

Associer plusieurs personnes pour réfléchir sur la notion d’écoconsommation

Mettre sur pied un groupe pour analyser les effets d’un changement d’alimentation sur le bien-être

Développer des contacts pour changer sa manière de cuisiner

Savoir-être

Savoir-devenir

Modifier (de manière durable) ses comportements en matière de chauffage

Échanger de manière spontanée en famille sur de nouvelles manières de consommer autrement

Prendre des mesures concrètes en vue de changer ses habitudes en matière de consommation de produits courants

Prendre des mesures concrètes en vue de développer des projets sur le thème de l’éco-consommation

Compétence 2 : « gérer un ménage moyen (chauffage et alimentation) de manière respectueuse de l’environnement » Cette compétence mobilise également un ensemble de ressources, dont les ressources suivantes, issues du même tableau.

Savoirs

Savoir-faire cognitif

Savoir-faire pratique

Savoir-être

Savoir-devenir

Savoir-redire

Donner la définition de l’écoconsommation

Redire de mémoire la comparaison entre les différents moyens de chauffage

Connaître la manière de fabriquer un compost, ou de trier ses déchets

Connaître quelques règles pour modifier ses comportements en matière de chauffage

Etre au courant de différents projets écologiques lancés dans sa commune

Savoir-faire cognitif

Synthétiser les différentes composantes de l’écoconsommation Analyser le cycle de vie d’un produit qu’on achète

Comparer plusieurs méthodes d’analyse des habitudes des consommateurs

Comparer plusieurs mises en œuvre de tris de déchets

Étudier la manière de modifier ses comportements en matière de chauffage

Comparer les politiques de gestion des déchets dans deux communes

Activités

Contenus

Savoir-faire pratique Identifier des légumes par le goût

Fabriquer une Trier correctemaquette de ment les déchets l’analyse du cycle d’un repas de vie d’un produit qu’on achète

Fabriquer un tri Présenter un de poubelles qui PowerPoint sur les permette de gérer étapes d’un projet celui-ci efficacement et de manière durable

23

Les principales méthodes du recueil d’informations

Activités

Contenus

Savoirs

Savoir-faire cognitif

Savoir-faire pratique

Savoir-être

Savoir-devenir

Savoir-être

Porter de manière spontanée un regard critique sur les informations qui nous arrivent par la presse

Prendre l’habiPrendre l’habitude d’analyser le tude de trier ses cycle de vie d’un déchets produit qu’on achète

Modifier (de manière durable) ses comportements en matière de chauffage

Échanger de manière spontanée en famille sur de nouvelles manières de consommer autrement

Savoir-devenir

Associer plusieurs personnes pour réfléchir sur la notion d’écoconsommation

Mettre sur pied un groupe pour analyser les effets d’un changement d’alimentation sur le bien-être

Prendre des mesures concrètes en vue de changer ses habitudes en matière de consommation de produits courants

Prendre des mesures concrètes en vue de développer des projets sur le thème de l’éco-consommation

Développer des contacts pour changer sa manière de cuisiner

Cette compétence englobe la compétence 1.

Contrairement à des idées largement répandues, le questionnaire de contrôle des connaissances ne peut pas aller au-delà de la vérification des activités de savoir-redire et de savoir-faire cognitifs. Il ne peut pas vérifier des activités de savoir-faire pratiques, de savoir-être ou de savoir-devenir, qui doivent être nécessairement être vérifiés en situation. Aussi bien conçu soit-il, un questionnaire ne pourra par exemple jamais vérifier si un élève d’une filière de formation d’agents en développement durable peut concrètement organiser un tri de déchets (savoir-faire pratique), modifier de manière durable ses comportements en matière de chauffage ou d’alimentation (savoir-être), ou développer des projets sur le thème de l’éco-consommation (savoir-devenir). En effet, l’évaluation des savoir-faire pratiques exige une mise en situation pratique, l’évaluation des savoir-être exige des observations répétées en situation non contrainte, et l’évaluation des savoir-devenir exige des observations sur le long terme. En revanche, un questionnaire pourra vérifier si, sur papier, l’élève est capable de décrire la manière d’organiser un tri de déchets, ou s’il mentionne spontanément le changement de ses propres habitudes en matière de chauffage ou d’alimentation comme piste à développer. Les savoir-faire cognitifs que l’on peut vérifier à travers un questionnaire de contrôle peuvent donc s’exercer, selon les cas, sur des savoirs, des savoir-faire cognitifs, des savoir-faire pratiques, des savoir-être ou des savoir-devenir. De la même manière, un questionnaire ne pourra pas vérifier si un élève a acquis une compétence dans laquelle la dimension « pratique » ou la dimension « savoir-être » est prépondérante. Par exemple, un questionnaire ne pourra jamais vérifier si un élève peut « gérer au quotidien un tri de poubelles, pour une famille moyenne » (les dimensions savoir-faire pratique et savoir-être sont prépondérantes). Par contre, il pourra vérifier si un élève peut « analyser une situation de gestion des déchets par une famille moyenne, et proposer des solutions pour y remédier » (la dimension savoir-faire cognitif est prépondérante).

24

Approche générale du recueil d’informations

Le contexte scolaire impose donc parfois de reformuler une compétence pour pouvoir l’évaluer de manière réaliste. Certes, il y a dans cette reformulation une réduction de la complexité de la vie, inhérente au contexte scolaire, mais cette réduction est compensée par un gain en réalisme. La partie ombrée du tableau suivant met en évidence la zone d’influence d’un questionnaire écrit.

Activités

Contenus

Savoirs

Savoir-faire cognitif

Savoir-faire pratique

Savoir-être

Savoir-devenir

Savoir-redire Savoir-faire cognitif Savoir-faire pratique Savoir-être Savoir-devenir

Le lien entre évaluation des ressources et évaluation des compétences est notamment bien mis en évidence dans les travaux de REY et de son équipe, qui proposent trois épreuves progressives dans l’évaluation des acquis des élèves (REY, CARETTE, DEFRANCE, KAHN, 2003) : – une épreuve (1) dans laquelle l’élève utilise des procédures automatisées ; – une épreuve (2) dans laquelle il doit choisir la procédure qui convient ; – une épreuve (3) dans laquelle les élèves doivent résoudre une tâche réellement complexe. Outre ces considérations sur le champ de mise en œuvre d’un questionnaire de contrôle, mentionnons également, sur le plan de la docimologie, les difficultés liées à la correction (la docimologie est la science qui a pour objet l’étude systématique des examens, en particulier des systèmes de notation, et du comportement des examinateurs et des examinés). De nombreuses recherches ont montré les divergences, parfois énormes, entre des correcteurs différents ou entre les corrections d’un même évaluateur à quelque temps d’intervalle. Citons notamment la recherche suivante, menée par A. AGAZZI (1967), dans laquelle 6 correcteurs ont corrigé des mêmes copies dans les différentes branches du Baccalauréat Français (la note d’échec est une note inférieure à 10/20) : Une autre étude, menée par HARTOG et RHODES, portait sur la correction de 15 interrogations d’histoire, à corriger par les mêmes 14 correcteurs à 1 an d’intervalle, soit 210 corrections à chaque période. Les résultats ont fait apparaître 92 cas où le verdict (réussite-échec) est divergent à 1 an d’intervalle, soit 44 % (qui, à un an près, réussissaient alors qu’ils avaient échoué, ou échouaient alors qu’ils avaient réussi l’année précédente).

25

Les principales méthodes du recueil d’informations

Branches

Refusés par les 6

Admis par les 6

Refusés par les uns et admis par les autres

Version latine

40 %

10 %

50 %

Composition française

21 %

9%

71 %

Anglais

37 %

16 %

47 %

Mathématiques

44 %

20 %

36 %

9%

10 %

81 %

37 %

13 %

50 %

Philosophie Physique

Citons enfin les résultats de PIERON (1963), qui s’est posé la question « Combien de correcteurs faudrait-il pour stabiliser une note ? ». Voici l’estimation du nombre de correcteurs nécessaires pour chaque branche :

Composition française

78

correcteurs

Version latine

19

correcteurs

Anglais

28

correcteurs

Mathématiques

13

correcteurs

127

correcteurs

16

correcteurs

Dissertation philosophique Physique

Les résultats de ces études sont éloquents, et montrent l’importance de mettre en œuvre des stratégies permettant de réduire au maximum les effets de tels phénomènes. Une de ces stratégies sera par exemple l’élaboration de critères de correction, sur lesquels nous reviendrons en 2.2.1.

B. Le questionnaire d’enquête Au contraire d’un premier sens qui désigne l’enquête comme une prospection sur un objet, un événement ou un sujet précis (enquête policière, enquête fiscale, …), nous entendrons le terme enquête au sens d’une étude d’un thème précis auprès d’une population dont on détermine un échantillon afin de préciser certains paramètres. Les thèmes examinés peuvent être extrêmement variés. C’est ainsi que l’on peut tout aussi bien parler d’enquête dans le domaine économique, démographique, sociologique, politique, médical, psycho-social, agricole, etc. Pour F. BACHER (1982), deux types de problèmes sont susceptibles de relever d’une enquête :

26

Approche générale du recueil d’informations

1. Des problèmes précis qui sont posés à l’échelle d’une population entièrement déterminée, et à propos de laquelle on souhaite parvenir à des conclusions généralisables. Exemple : étude de marché, analyse des besoins en formation dans une grande entreprise, etc. 2. Des problèmes complexes mettant en jeu un grand nombre de facteurs. Exemple : enquête sur les facteurs favorisant l’apparition d’une maladie, enquête sur l’adaptation des élèves dans un cycle d’études, en fonction d’antécédents familiaux et scolaires, de caractères individuels comme l’âge ou le niveau d’intelligence, les caractéristiques de l’établissement scolaire, etc. Le questionnaire constitue l’outil le plus adapté à ces types d’enquêtes. Il ne faut cependant pas perdre de vue que le recours à un questionnaire n’est qu’une méthode de recueil d’informations parmi d’autres. Il peut être même la pire des choses lorsque le chercheur « se laisse obnubiler par l’impression de vérité immanente que lui conférait la représentativité statistiquement prouvée des échantillons consultés » (JAVEAU, 1978, p. 7). Comme dans toute méthode de recueil d’informations, plusieurs difficultés sont liées à l’emploi d’un questionnaire. En amont de l’utilisation d’un questionnaire d’enquête, il est essentiel de bien cerner l’objectif recherché, ainsi que le type d’informations à recueillir (choix des variables, …). Plusieurs auteurs ont souligné ce point. Citons à titre d’exemple R. GHIGLIONE (1987, p. 127) : « pour construire un questionnaire, il faut évidemment savoir de façon précise ce que l’on recherche, s’assurer que les questions ont un sens, que tous les aspects de la question ont bien été abordés… » En aval, nous nous trouverons confrontés à des problèmes de validation des résultats, problèmes sur lesquels nous aurons l’occasion de revenir en détail. Retenons pour le moment que le bon usage d’un questionnaire d’enquête sera essentiellement fonction de : a) la présence et de la pertinence d’objectifs et d’hypothèses préalables, b) la validité des questions posées, et c) la fiabilité des résultats récoltés.

1.2.4 L’ÉTUDE

DE DOCUMENTS

Même si elle relève d’une même démarche globale dont les composantes ont été définies ci-dessus, une étude de documents pourra prendre des formes très diverses. Elle dépendra surtout • de la nature des documents à analyser ; • de la quantité des documents à analyser ; • de l’objet et du but de l’investigation.

Les principales méthodes du recueil d’informations

27

A. La nature des documents La nature des documents peut être extrêmement variée. Notre but n’est pas de proposer ici un classement systématique de tous les types de documents que l’on peut rencontrer. Nous nous contenterons d’émettre un certain nombre de critères selon lesquels on peut différencier les documents. Ces derniers peuvent être, selon les cas : – écrits (y compris dessins, schémas, photos, …) ou non (documents sonores, documents vidéo, logiciels ou tous documents numérisés, sur vidéo-disques, sur compact-discs interactifs, etc.). Il faut donc envisager l’ensemble des documents scripturo-audio-visuels ; – publiés (livres, revues scientifiques, presse, répertoires divers, dictionnaires, guides touristiques, …) ou à usage spécifique (courrier, règlements, organigrammes, tableaux, guides techniques, notices explicatives, modes d’emploi, documents de formation, …) ; – officiels (textes de lois, programmes d’enseignement, spécifications techniques, normes, …) ou non (la plupart des documents) ; – fermés (la plupart des documents) ou ouverts, c’est-à-dire devant servir aux recueils de données (formulaires, questionnaires, grilles d’évaluation, cahiers d’exercices, …) – scientifiques (comptes-rendus de recherches expérimentales validées), didactiques (syllabus, manuels, documents de référence), de vulgarisation, culturels, de divertissement, etc. – d’utilisation limitée dans le temps (bulletin météo, indicateur de chemins de fer, bulletin de vote, …) ou en principe permanent (œuvre d’art, ouvrage scientifique de référence, …) – source individuelle (lettre, …) ou collective (PV de réunion, manifeste, …) – etc.

B. La quantité des documents à étudier La quantité des documents à analyser déterminera le type d’analyse : une analyse exhaustive des documents, ou au contraire une analyse par échantillonnage ou par sélection (LEJEUNE, 2014).

C. L’objet et le but de l’investigation On peut distinguer (BOURGEOIS, 1991 ; BERTRAND BASCHWITZ, 2010) deux grands types d’analyse de documents. La recherche documentaire, dont l’objet est la littérature scientifique relative à l’objet d’étude, et dont le but est l’exploration de la littérature en vue d’élaborer une problématique théorique (cadre théorique et hypothèse). Ce type d’analyse de documents présente donc un caractère essentiellement exploratoire. Le dépouillement d’archives, dont l’objet est tout document sélectionné selon une stratégie bien précise et traité comme une donnée de la recherche, au même titre

28

Approche générale du recueil d’informations

que le discours recueilli par l’interview ou les comportements recueillis par l’observation, et dont le but est de vérifier une hypothèse. Il présente donc un caractère essentiellement confirmatoire, à terme du moins.

1.2.5 STRATÉGIES

COMPOSÉES

Il est rare qu’une seule méthode de recueil d’informations permette à elle seule de donner toute l’information nécessaire. Selon l’objectif poursuivi, une méthode prioritaire sera souvent accompagnée d’une ou deux autres méthodes secondaires, que ce soit pour préparer le recueil d’informations ou pour le compléter. C’est la raison pour laquelle, plutôt que de parler de « la méthode de recueil d’informations », on parlera plutôt de « la stratégie de recueil d’informations », comme ensemble coordonné de méthodes et de techniques (voir en 5.2) EXEMPLES

– bien que l’interview constitue la méthode privilégiée d’analyse du fonctionnement d’un ser-

vice dans une entreprise, l’observation directe et l’étude de certains documents significatifs viendront souvent donner des renseignements complémentaires précieux ;

– la mise au point d’une enquête par questionnaire se fera souvent à travers des observations ainsi que des interviews préliminaires de quelques personnes ;

– l’élaboration d’une hypothèse explicative dans une phase de recherche exploratoire sera

souvent issue d’une conjugaison des méthodes d’observation, de questionnaires, d’interview et d’étude de documents ;

– l’évaluation des connaissances d’un élève sera souvent complétée par une observation de son comportement ;

etc. Il y a également certains « cas-limites » de techniques de recueil d’informations, situées à cheval sur deux méthodes différentes. Citons notamment :

– l’anamnèse, qui est l’ensemble des renseignements fournis par une personne soignée à

propos de son passé et de l’histoire de sa maladie : si elle est pratiquée par oral sur la base d’un questionnaire rempli par le personnel médical, elle entre dans la méthode d’interview ; si par contre, elle consiste en un questionnaire rempli par l’intéressé, elle entre dans la méthode des questionnaires (NOEL, 2007, chapitre 1) ;

– le récit de vie : selon qu’il est provoqué ou induit par une tierce personne (considérée comme interviewer) ou spontané (faisant l’objet d’un document écrit ou audio-visuel), il sera considéré comme faisant partie de la méthode d’interviews ou d’étude de documents (de GAULEJAC & LEGRAND, 2008).

1.2.6 CARACTÉRISATION

ET CLASSEMENT DES MÉTHODES

On peut caractériser les quatre méthodes décrites ci-dessus selon deux critères principaux.

29

Les principales méthodes du recueil d’informations

A. Quelle est la nature de la communication ? Est-elle à double

sens, ou à sens unique ? Est-elle directe ou indirecte ?

La communication sera dite « indirecte » lorsqu’il existe un interface dans le passage de l’information entre la source et l’investigateur : l’information passe par un document écrit, sonore, filmé par une tierce personne, etc. Le schéma qui suit permet de caractériser les méthodes selon ce critère. Interview - à double sens - directe

Observation - à sens unique - directe

Étude de documents

Questionnaire - à double sens - indirecte

- à sens unique - indirecte

Communication de plus en plus directe et interactive

B. Quelle est l’étendue de l’accès à l’information ?

L’accès à l’information est-il limité ou non dans l’espace ? Est-il concentré dans le temps ou non ?

Par espace, il faut entendre espace géographique : la source est-elle ou non concentrée dans une zone géographique particulière ? Le schéma qui suit montre que ce critère définit un second axe orienté dans le sens opposé au premier.

Questionnaire

Accès très limité dans l’espace

Accès relativement limité dans l’espace

Accès relativement large dans l’espace

Accès très large dans l’espace

Concentration de l’information dans le présent, ou rétrospectivement dans le passé

Concentration de l’information dans le présent

Concentration de l’information dans le présent, ou rétrospectivement dans le passé proche

Étalement de l’information dans le temps

Espace

Espace

Espace

Étude de documents

Observation

Espace

Interview

Temps

Temps

Temps

Temps

Accès à l’information de plus en plus large, dans le temps et dans l’espace

30

Approche générale du recueil d’informations

Lorsqu’on devra faire le choix d’une méthode de recueil d’informations, il faudra donc peser l’importance relative de chacun de ces deux critères. Pour une étude ponctuelle d’un fonctionnement, on aura plus facilement recours à l’observation ou à l’interview, tandis que dans le cadre d’une recherche expérimentale ou exploratoire, le critère de l’accès à une information large dans le temps et dans l’espace sera prépondérant.

1.3 Nécessité d’une réflexion épistémologique sur le recueil d’informations Lorsque nous avons défini le recueil d’informations, nous avons mis particulièrement l’accent sur l’intégration du processus dans une action concertée dont les objectifs ont été clairement définis. Il est particulièrement important de savoir que tout processus de recueil de données passe par un filtre épistémique. Derrière toute observation, derrière toute enquête, il y a toujours un référentiel plus ou moins personnel, ou plus ou moins partagé par les différents acteurs, des projets plus ou moins explicités qu’il faut pouvoir mettre en évidence (LAPERRIERE & ZUNIGA, 2007). Ces enjeux s’expriment souvent en termes de pouvoir : pouvoir de celui qui recueille l’information, pouvoir de celui qui utilise l’information.

1.3.1 LE

POUVOIR LIÉ À CELUI QUI RECUEILLE L’INFORMATION

Dans son ouvrage « Les enjeux de l’observation », KOHN (1982) met en évidence les phénomènes de pouvoir de celui qui recueille de l’information « L’information qu’il relève fait de lui un agent potentiel de changement. » (p. 67) et montre comment pouvoir et savoir se renforcent mutuellement dans certains processus d’observation : « Celui qui regarde, celui dont la parole descriptive et explicative est reconnue, détient un pouvoir sur l’autre. Actuellement, ce pouvoir appartient en priorité et quasi exclusivement à ceux qui possèdent déjà un savoir. La place prépondérante des (médecins) spécialistes dans le rôle d’observateur en est un exemple. Le pouvoir et le savoir se renforcent constamment. » (p. 82) On sait quel pouvoir ont pris ces dernières années les auditeurs internes dans les grandes entreprises. Leur statut de contrôleur (vérificateur) leur confère de facto un statut de « contrôleur », au sens anglo-saxon du terme « control = maîtrise » : le niveau et la diversité des informations qu’ils ont acquises constituent un levier de pouvoir important.

1.3.2 LE

POUVOIR LIÉ À CEUX QUI UTILISENT L’INFORMATION

Tout aussi importante est la réflexion sur l’utilisation des résultats du recueil d’informations. On pense spontanément à une utilisation à des fins économiques, à des fins

Nécessité d’une réflexion épistémologique sur le recueil d’informations

31

politiques, à des fins de domination (BOURGEOIS & NIZET, 1995). Les quelques questions qui suivent permettent de mettre en lumière certains pièges à éviter : – une étude dite scientifique l’est-elle toujours ? A-t-elle toujours pour finalité ultime la progression de la science ? Et quelle science ? L’audit tel qu’il est parfois pratiqué n’est-il pas tout simplement un paravent dont les conclusions sont décidées à l’avance et qui permet au pouvoir en place de justifier une politique donnée ? – celui qui recueille l’information ne se retranche-t-il pas souvent derrière une « nécessaire neutralité » pour éviter d’avoir à dénoncer certaines pratiques, ou tout simplement pour éviter d’être obligé de se remettre en question ? – comment réagit-il dans des situations dans lesquelles le commanditaire d’une intervention exerce sur lui des pressions pour modifier les informations recueillies ? Quel est l’écart entre l’objectivité déclarée et l’objectivité réelle dans une étude ? L’honnêteté intellectuelle n’est-elle pas avant tout de ne pas subordonner ses principes éthiques à toute pratique quelle qu’elle soit ? Comme on le voit, le projet du commanditaire entre continuellement en interaction avec le projet de celui qui recueille l’information. Les questions éthiques se mêlent donc intimement aux problèmes de méthodologie, méthodologie qui elle-même n’est pas neutre la plupart du temps. La réponse à toutes ces questions n’est pas unique et déterminée une fois pour toutes. Quoi qu’il en soit, on peut mettre l’accent sur deux éléments qui permettent de guider cette réflexion épistémologique : – la détermination d’objectifs clairs de l’action, auxquels on se réfère continuellement ; – la mise en place de mécanismes de contrôle, scientifiques ou institutionnels. D’autres dimensions que la dimension « pouvoir » devraient également être prises en compte, telle la dimension socio-culturelle ou politique.

CHAPITRE 2

LE PROCESSUS DE RECUEIL D’INFORMATIONS AU SERVICE DU PROCESSUS D’ÉVALUATION 2.1 Le processus d’évaluation 2.1.1 DÉFINITION

GÉNÉRALE DE L’ÉVALUATION

En termes généraux, et selon une définition communément admise, évaluer signifie « confronter un ensemble d’informations à un ensemble de critères (référentiel) ». De nombreux auteurs ont tenté de rendre cette définition plus opérationnelle. Nous nous contenterons de citer cinq auteurs dont les apports nous paraissent avoir été particulièrement déterminants dans le cadre de la problématique de l’évaluation telle que nous la développons dans cet ouvrage. • TYLER (1942, 1950) développe un modèle d’évaluation essentiellement centré sur des objectifs. Pour lui, l’évaluation consiste principalement dans la confrontation entre les performances observées et les objectifs fixés au départ. • STUFFLEBEAM (1971, 1980) développe un modèle de l’évaluation basé sur la décision en situation : « l’évaluation en éducation est le procédé qui consiste à délimiter, obtenir et fournir de l’information utile pour juger des décisions possibles » (1980, p. 46). Pour lui, le but de l’évaluation n’est pas de prouver quelque chose, mais d’améliorer, c’est-à-dire de prendre des décisions adéquates, ceci à travers une quadruple évaluation : évaluation du contexte, évaluation des inputs, évaluation du processus et évaluation du produit. • SCRIVEN (1967, 1983) établit une distinction entre évaluation sommative et formative. Mais il développe surtout un modèle d’évaluation centrée sur le consommateur, dont il distingue deux types : d’une part la clientèle, ou marchétype, issue d’une analyse des besoins et définissant un profil attendu, et d’autre part le consommateur réel, c’est-à-dire la personne en formation.

34

Le processus de recueil d’informations au service du processus d’évaluation

• STAKE (1967, 1975, 1976) développe un modèle d’évaluation des curricula qui tient compte des apports jugés positifs des 3 modèles précédents, tout en les complétant et en tentant d’en dépasser les limites. Il propose notamment un « format pour la collecte de données », dans lequel on recueille à des fins d’analyse toutes les informations objectives et subjectives relatives aux différents clients impliqués. • CARDINET (1986) élargit la problématique de l’évaluation, en précisant ses différentes fonctions, en construisant pour chacune d’elles un système adéquat de prise d’information et en proposant des outils de régulation adaptés. Actuellement, la plupart des experts en évaluation insistent beaucoup sur le pourquoi de l’évaluation, c’est-à-dire sur sa fonction. Ils s’accordent notamment pour dire que toute évaluation devrait permettre de fonder la prise de décision. Une première définition de l’évaluation pourrait donc être la suivante : « Évaluer signifie confronter un ensemble d’informations à un ensemble de critères en vue de prendre une décision. » (DE KETELE, 1980)

Plus tard, nous compléterons encore cette première définition, et en proposerons une plus complète, exprimée en termes plus concrets, plus opérationnels (voir en 2.2.3). Nous pouvons dès à présent affirmer que, contrairement à une certaine croyance et à une certaine pratique, une évaluation ne consiste donc pas fondamentalement à « porter un jugement » (avec toutes les connotations péjoratives que cette expression véhicule). Nous y reviendrons lorsque nous établirons un parallèle entre évaluation et jugement.

2.1.2 COMMENT

CARACTÉRISER LES ÉVALUATIONS

?

Évaluation diagnostique, évaluation formative, évaluation sommative, évaluation critériée… Que signifient en réalité ces termes ? En les juxtaposant, compare-t-on des choses qui sont sur pied d’égalité ? Il existe en effet de nombreuses classifications des évaluations, qui souvent mélangent plusieurs paramètres. DE KETELE (2010) explique comment, pour des raisons historiques, certaines confusions conceptuelles existent encore. Nous proposons, pour clarifier les choses, de se baser sur trois paramètres de base : 1. La fonction de l’évaluation, qui répond à la question « pourquoi évalue-t-on ? En vue de quoi ? » 2. La démarche de l’évaluation, et en particulier la démarche de recueil d’informations, qui répond à la question : « quel type d’informations recueille-t-on ? » 3. Le type d’interprétation des informations recueillies, qui répond à la question « comment lire, comment interpréter les informations ? ». 1. Selon la fonction, on peut distinguer trois types d’évaluation : – l’évaluation d’orientation – l’évaluation de régulation – l’évaluation de certification

Le processus d’évaluation

35

2. Selon la démarche, on peut distinguer : – une démarche sommative, lié à un recueil sommatif – une démarche descriptive, liée à un recueil descriptif – une démarche herméneutique, liée à un recueil intégré 3. Selon l’interprétation, on peut distinguer : – une interprétation normative – une interprétation critériée

2.1.3 ÉVALUATION D’ORIENTATION,

ÉVALUATION DE RÉGULATION ET ÉVALUATION DE CERTIFICATION

Au point de départ de tout processus d’évaluation, il importe de bien déterminer le type de décision qu’on sera amené à prendre : – l’automobiliste évalue la situation en vue de prendre la décision de doubler ou de ne pas doubler un convoi particulièrement long ; – la cuisinière évalue le degré de cuisson de son rôti pour savoir si elle doit le laisser encore au four ou au contraire le retirer ; – le chef d’entreprise évalue les performances de l’entreprise dans le but d’en augmenter la productivité ; – le formateur évalue les prérequis des participants afin de déterminer s’ils pourront suivre la formation avec profit ; – l’étudiant est mis en situation d’évaluer des œuvres littéraires, des techniques mathématiques, des données historiques, … pour apprendre à évaluer ; – l’éducateur évalue en vue de prendre les décisions éducatives qui s’imposent, compte tenu des objectifs que l’équipe ou la direction a faits siens. Il s’agit donc de bien cerner la nature de la décision. C’est elle qui va permettre de préciser les objectifs de l’évaluation. Prenons l’exemple de l’enseignant qui pose à ses élèves des questions afin d’évaluer leurs acquis. Trois types de préoccupations différentes peuvent le guider. a) Si la décision est de déterminer, au terme d’un chapitre, dans quelle mesure l’acquis des élèves permet d’entamer un nouveau chapitre avec suffisamment de chances de réussite, les questions seront exprimées en termes de vérification des prérequis de ce nouveau chapitre. Elles reprendront probablement une partie de l’acquis du chapitre précédent, mais aussi d’autres acquis plus anciens ou d’une nature autre que cognitive (habileté manuelle, précision, autonomie, …). Il en va de même d’une évaluation menée par l’enseignant qui, au début de l’année, veut déterminer s’il peut commencer son cours, ou s’il doit d’abord effectuer une « remise à niveau ». Ces évaluations sont des évaluations d’orientation. b) Si par contre la décision est de déterminer ce que moi, enseignant, je dois changer dans le déroulement de mon cours pour qu’il soit plus performant et plus agréable à suivre, les réponses aux questions me donneront des informations sur

36

Le processus de recueil d’informations au service du processus d’évaluation

la façon dont la matière est acquise à un moment donné. Je demanderai également à mes élèves de se prononcer sur les passages dans lesquels ils ont éprouvé des difficultés, sur des suggestions à formuler, etc., afin de pouvoir rectifier le tir en cours de route. Le type d’informations à recueillir est donc avant tout de nature à pouvoir réajuster un fonctionnement. Il s’agit ici d’une évaluation de régulation. c) Si enfin la décision à prendre est de décider ou non de la réussite des élèves, l’objectif de l’évaluation sera de déterminer si les acquis de chacun sont suffisants en regard des exigences correspondant au niveau requis. Le type d’informations à recueillir devra être avant tout de nature à pouvoir certifier la réussite ou l’échec. L’évaluation pratiquée est une évaluation de certification.

A. Évaluation d’orientation L’évaluation d’orientation précède l’action afin de prendre une décision anticipée, pour préparer un nouveau processus. Ainsi que son nom l’indique, c’est une évaluation pour laquelle la décision à prendre est d’orienter. Quand elle se rapporte à une action, elle a une double fonction. Elle permet tout d’abord de dégager les objectifs de cette action : c’est ce que STUFFLEBEAM (1980) appelle « évaluation de contexte », qui décrit l’environnement en cause, identifie les besoins à combler, les occasions favorables à saisir, les contraintes principales auxquelles on est confronté, et qui débouche sur la définition des objectifs de l’action. Elle permet ensuite de préciser les moyens à mettre en œuvre, les ressources à mobiliser, le programme à installer. C’est ce que STUFFLEBEAM (1980) appelle « évaluation des intrants ». Quand elle se rapporte à des personnes (en apprentissage, en formation), elle consiste soit à déterminer l’orientation qui convient le mieux à la personne ou à l’organisme qui emploie la personne (nous parlerons plus tard d’analyse des besoins de formation et/ou d’action), soit à évaluer ses chances de réussite dans une filière déterminée, en fonction de l’écart entre un profil perçu et un profil attendu. Le cas échéant, elle débouche sur des propositions de réorientation, dans lesquelles on prend des mesures visant à faciliter une décision ultérieure : un contrat passé avec un élève, une période d’essai etc. On se rapproche alors d’une évaluation d’orientation d’une action : l’évaluation a pour fonction de réorienter les moyens que l’on comptait mobiliser dans l’action de formation (stratégie pédagogique, moyens matériels, gestion du temps, etc.), voire même à réorienter les objectifs de l’action de formation, si cela concerne un grand nombre de personnes. Alors qu’une évaluation de certification sera exprimée en termes de « oui-non » une évaluation d’orientation tient compte des forces et des faiblesses, qui peuvent d’ailleurs être dégagées du même test ayant servi de base à la certification. Nous définirons dès lors l’évaluation d’orientation comme le processus d’évaluation débouchant sur une décision d’orienter soit une action au sein d’un système déterminé soit une personne, en fonction du contexte, des besoins, des caractéristiques et des performances antérieures du système ou de la personne concernée.

Le processus d’évaluation

37

C’est la plus méconnue, et pourtant elle est souvent capitale. Plus on retarde le moment de la première évaluation, plus difficiles seront les décisions à prendre et les modifications à apporter : difficile de réorienter un étudiant en cours d’année, difficile d’affecter à un autre poste une personne qui ne convient pas mais qui a déjà fonctionné quelques temps, difficile de se défaire d’un stock constitué, difficile de remettre en question des habitudes prises, etc. Il faut cependant rester prudent, et ne pas vouloir précipiter les conclusions d’une évaluation en début de processus. Ici plus encore que dans toute autre évaluation, il faut peser les informations à recueillir, et les conclusions à en tirer, en tenant compte du temps d’adaptation nécessaire à toute personne dans un nouveau cycle de formation ou dans une nouvelle fonction. Le terme « évaluation d’orientation » est un terme générique qui couvre plusieurs démarches d’évaluation. Nous proposons ci-dessous quelques types d’évaluations qui se rattachent à l’évaluation d’orientation, c’est-à-dire qui en constituent des facettes différentes.

Évaluation prédictive Nous avons vu qu’il existe une évaluation d’orientation particulière qui consiste à prédire les chances de réussite d’une personne dans une filière de formation, toutes choses restant égales par ailleurs (voir aussi en 4.1.1). Cette évaluation est dite prédictive. Elle est une évaluation d’orientation en ce sens qu’elle peut induire des mesures particulières à prendre. Par exemple, le fait de dire à un étudiant qui commence des études d’instituteur que ses chances de réussite sont faibles compte tenu de la qualité de son orthographe peut amener celui-ci à prendre des mesures dès le début de sa formation en vue d’améliorer son orthographe. Comme toute évaluation d’orientation, une évaluation prédictive doit être menée avec prudence. Si elle est traitée avec trop de légèreté, elle peut notamment présenter un caractère déterministe. Il faut dès lors veiller à l’accompagner d’une bonne information sur le rôle qu’elle joue, et la situer dans un contexte de responsabilisation de la personne en formation. Par exemple, on pourrait ne transmettre les résultats de la « prédiction » à la personne que si celle-ci en a fait expressément la demande.

Évaluation prévisionnelle L’évaluation prédictive constitue un sous-ensemble d’un type d’évaluation plus large : l’évaluation prévisionnelle. C’est celle qui consiste à anticiper la réalité, en émettant des hypothèses sur l’avenir : au-delà de l’évaluation « des chances de réussite de… » (tous facteurs restant par ailleurs constants), on évalue « l’opportunité de prendre telle décision », en fonction de l’évolution estimée de l’un ou l’autre paramètre (voir aussi en 4.1.5). Une personne peut par exemple estimer qu’il est intéressant d’étudier telle langue qui actuellement ne lui est pas utile, mais dont elle prévoit qu’elle lui sera utile dans une évolution des rapports de force dans les marchés internationaux, ou parce qu’un certain nombre de facteurs de sa vie privée et professionnelle actuelle semblent indiquer qu’il y a de fortes chances qu’elle ait à y recourir dans les années à venir.

38

Le processus de recueil d’informations au service du processus d’évaluation

Évaluation diagnostique Pour bien orienter, il est bon d’établir un diagnostic des forces et les faiblesses du système ou de la personne. Certains parlent d’évaluation diagnostique. Dans le cas présent, l’évaluation diagnostique est au service de l’orientation. Comme nous le verrons plus loin, l’évaluation diagnostique peut également être au service de la régulation. Au contraire de l’évaluation prédictive ou de l’évaluation prévisionnelle, l’évaluation diagnostique n’est donc pas une forme particulière d’évaluation d’orientation, mais elle est au service de celle-ci. Elle relève des moyens : à la limite on pourrait tout simplement parler de « diagnostic » au service de l’orientation, de la régulation, etc. En conclusion, on peut avoir : – un diagnostic avant l’apprentissage :

il est au service de l’orientation

– un diagnostic pendant l’apprentissage : il est au service de la régulation En prolongement à l’ensemble de ces réflexions, nous verrons que l’admission dans un cycle d’études ou à une session de formation, de même qu’une évaluation de sélection à un poste ou à une fonction, ne sont pas des évaluations d’orientation à proprement parler : ce sont des formes particulières d’évaluation de certification, ceci malgré le fait qu’elles aient lieu en début de processus. Il faut donc voir dans le découpage en évaluation d’orientation, de régulation ou de certification des types de décisions à prendre plutôt que des moments auxquels l’évaluation a lieu.

B. Évaluation de régulation Nous avons vu qu’une évaluation de régulation est une évaluation visant à corriger ou à ajuster le fonctionnement d’un système afin de l’améliorer. Ce sont des évaluations de fonctionnement, destinées à revoir les procédures mises en œuvre en cours de processus. Les évaluations de fonctionnement dans une entreprise sont des exemples d’évaluations de régulation. Elles nécessiteront que l’on recueille des informations relatives au processus (qualité et rapidité de la transmission des informations, qualité de la communication interpersonnelle, etc.), mais aussi relatives au produit de l’action (par exemple le nombre de dossiers traités par mois pour une administration, ou le taux de pièces défectueuses pour une entreprise de production). Les évaluations que l’enseignant ou le formateur mène en cours d’apprentissage en vue d’améliorer le processus de formation sont d’autres exemples d’évaluations de régulation. De même que ci-dessus, il va, pour y arriver, recueillir auprès des apprenants des informations relatives au déroulement du processus (organisation du groupe, fréquence des contrôles, répartition des activités de natures différentes, etc.), mais aussi des informations relatives aux performances des apprenants (considérées ici comme le produit de l’action de formation) : difficultés, sources d’erreur, facilitateurs ou inhibiteurs de l’apprentissage.

Le processus d’évaluation

39

Évaluation formative Quand la régulation est directement mise au service de l’individu, on parlera plutôt d’évaluation formative. C’est le cas lorsque la décision est de déterminer la remédiation la plus appropriée aux difficultés de chaque étudiant en vue de le faire progresser, ou tout simplement d’améliorer sa progression : l’objectif de l’évaluation est de localiser le plus précisément possible l’origine de ses difficultés en vue d’y remédier, par exemple à travers une analyse de ses erreurs. Le type d’informations à recueillir devra être avant tout de nature à réorienter non plus le type de formation, mais les procédures mises en œuvre (les procédures sont les démarches visibles, tandis que le processus est davantage un processus mental). L’enseignant demandera par exemple à l’étudiant d’expliciter les étapes de sa démarche afin de détecter la ou les étape(s) qui fait(font) défaut : il tente par-là d’établir la nature, l’ampleur et les implications du ou des facteur(s) qui est(sont) à l’origine de la difficulté chez l’étudiant. On retrouve ici l’idée d’évaluation diagnostique, ou de diagnostic tout court, non plus au service de l’orientation, mais au service de la régulation, c’est-à-dire au service des mesures à prendre en cours de formation. La définition que donne Gérard SCALLON (1988, p. 155) de l’évaluation formative illustre bien cette idée : « L’évaluation formative peut se définir ainsi : un processus d’évaluation continue ayant pour objet d’assurer la progression de chaque individu dans une démarche d’apprentissage, avec l’intention de modifier la situation d’apprentissage ou le rythme de cette progression, pour apporter (s’il y a lieu) des améliorations ou des correctifs appropriés. » Outre les facteurs qui créent une difficulté, une évaluation formative peut aussi étudier les facteurs de réussite de l’étudiant, afin de mieux cerner ses points forts, ses sensibilités particulières ou son fonctionnement.

Évaluation formatrice On peut dire à ce stade-ci qu’une évaluation formative est donc une évaluation de régulation au niveau de l’individu. Comme nous l’avons vu ci-dessus, elle est en étroite interaction avec l’évaluation de régulation du processus de formation : les difficultés identifiées auprès des étudiants en apprentissage sont souvent les éléments principaux qui amènent l’enseignant à revoir ses stratégies d’enseignement. C’est dans ce sens que l’on parle d’évaluation formatrice. Signalons encore que les évaluations formatives ne possèdent pas le monopole de la régulation. En effet, une évaluation de certification ou d’orientation a toujours une fonction de régulation comme fonction seconde, dans la mesure où elle donne toujours des indications sur le fonctionnement du système. Illustrons ce propos par deux cas extrêmes bien connus : il est clair que la situation dans laquelle tous les étudiants sont en échec pour une matière déterminée ne pose pas le problème des performances des étudiants, mais bien du système de cours. Il en va de même dans une situation où, dans le cadre d’une évaluation estimant le niveau de performance, tous les étudiants obtiennent le même nombre de points dans une matière déterminée.

40

Le processus de recueil d’informations au service du processus d’évaluation

L. ALLAL (1979, p. 131) émet une remarque très pertinente à ce propos : « Les modalités d’évaluation adoptées par un système de formation ont toujours pour but d’assurer l’articulation entre les caractéristiques des personnes en formation, d’une part, et les caractéristiques du système de formation, d’autre part. » Nous définirons dès lors l’évaluation de régulation comme le processus d’évaluation ouvert dont la fonction prioritaire est d’améliorer le fonctionnement de l’ensemble du système ou d’une partie déterminée de celui-ci. L’évaluation formative est une forme d’évaluation de régulation qui s’applique à une personne en apprentissage.

C. Évaluation de certification Une évaluation est dite de certification, ou certificative si la décision à prendre est exprimée en termes de réussite ou d’échec. La plupart des évaluations de fin d’année pratiquées dans le cadre de l’enseignement répondent à ces caractéristiques. L’évaluation des performances d’un membre du personnel d’une entreprise en vue de lui octroyer une prime est un autre exemple d’évaluation de certification dans la mesure où la performance attendue pour décrocher la prime a été déterminée clairement à l’avance. Une évaluation de certification n’est pas seulement relative aux personnes. Elle peut également se rapporter à une action : c’est par exemple le cas lorsqu’on doit déterminer si le produit attendu correspond à celui qui avait été fixé contractuellement (autrement dit si oui ou non le commanditaire décide de payer ceux qui ont réalisé l’action), lorsqu’on décide ou non de reconduire une action, lorsqu’on doit déterminer si un programme à l’essai peut être officialisé ou agréé, etc. Voici quelques types d’évaluations qui se rattachent à l’évaluation de certification.

Évaluation de sélection Une évaluation de certification a souvent lieu à la fin d’un processus, mais pas toujours. Elle peut également avoir lieu « a priori », lorsqu’il s’agit par exemple de sélectionner un candidat à un poste déterminé, ou lorsqu’il faut satisfaire à un examen d’admission pour être inscrit dans une filière. Dans ces cas, nous parlerons d’évaluation de certification « a priori », ou d’évaluation de sélection. C’est un cas particulier d’évaluation de certification.

Évaluation de classement Une évaluation de classement concerne principalement les performances des personnes. Elle prolonge une évaluation de certification, en rangeant les personnes les unes par rapport aux autres. Dans certains cas, elle joue le rôle d’évaluation de certification : c’est le cas d’un concours, au terme duquel un nombre déterminé de sujets les plus performants sont acceptés (les 50 meilleurs par exemple), indépendamment de leur performance absolue. De façon plus générale, c’est le cas de tout cycle de formation pour lequel il existe un « numerus clausus ». (Voir aussi interprétation normative et critériée, page 46)

Le processus d’évaluation

41

Évaluation sommative Souvent, l’évaluation de certification est associée à l’établissement d’un bilan, qui fait le point sur la somme des acquis. C’est la raison pour laquelle certains parlent d’évaluation sommative. En fait, le terme « sommatif » fait principalement référence aux moyens à mettre en œuvre pour évaluer, à une manière particulière de recueillir les informations et non à l’objectif visé par l’évaluation (la prise de décision) : il est donc préférable de parler de démarche sommative, ou de recueil sommatif. Un recueil sommatif n’est d’ailleurs pas utilisé au seul service de la certification. Comme toute évaluation de produit, il peut, de façon accessoire, aider à orienter ou à réguler, à travers un bilan. On pourrait tout simplement parler de « bilan ». Le choix de privilégier dans notre découpage le concept « évaluation de certification » à celui d’ « évaluation sommative » n’est pas un choix qui s’exprime en termes d’importance relative. C’est seulement un choix de cohérence, lié au choix du critère principal de classement des différents types d’évaluation, à savoir le critère de l’objectif poursuivi, ou encore de la décision à prendre. On a parfois tendance à confondre l’évaluation de certification et l’évaluation d’orientation. Nous avons vu que c’est la décision à prendre qui les différencie de façon fondamentale. Une autre caractéristique les différencie de façon fondamentale. Une évaluation de certification est avant tout au service de la fonction : on se pose la question de savoir si telle personne répond au profil attendu, avec la finalité de garantir un niveau minimal pour cette fonction ou ce profil, dont on recherche toujours qu’elle soit assurée par une personne la plus compétente possible. Elle s’inscrit donc dans une perspective sociale, avec d’une certaine façon l’idée de rendre des comptes. Par contre, l’évaluation d’orientation est davantage au service de la personne : on se pose la question de savoir si tel profil est susceptible d’être atteint par la personne dans le contexte donné, ou s’il est préférable d’adapter le profil ou le contexte de la formation. Elle s’inscrit dans une perspective individuelle. Entre les deux, l’évaluation de régulation porte sur des problèmes de fonctionnement. Elle se situe donc dans une perspective d’interaction entre la dimension sociale et la dimension individuelle, qui caractérisent respectivement l’évaluation de certification et l’évaluation d’orientation. Pour mieux comprendre la différence entre l’évaluation d’orientation et l’évaluation de certification, développons encore deux exemples. EXEMPLE 1

Un fonctionnaire de rang 11 est promu au rang 12. Au rang 12, il peut occuper trois fonctions de même niveau : une fonction A, une fonction B et une fonction C. La décision de le faire passer du rang 11 au rang 12 relève d’une évaluation de certification : il acquiert de façon définitive les avantages liés au nouveau rang. Par contre, le fait de l’orienter vers la fonction A, B ou C relève d’une évaluation d’orientation, en complément à l’évaluation de certification qui l’a promu au rang 12. On peut établir un parallèle entre cette situation et celle de la fin des études secondaires, où le fait de certifier la réussite de l’étudiant est distinct de l’orientation que prend l’étudiant dans l’enseignement supérieur ou universitaire.

42

Le processus de recueil d’informations au service du processus d’évaluation EXEMPLE 2

Dans le monde de l’entreprise, le contremaître qui doit estimer si tel ouvrier est apte à assumer tel autre poste de travail dans l’atelier procède à une évaluation d’orientation. Par contre, le chef de service qui décide d’accorder une promotion au même ouvrier parce qu’il estime que ce nouveau poste exige davantage de responsabilités procède à une évaluation de certification.

Nous définirons dès lors l’évaluation de certification comme le processus d’évaluation débouchant sur une décision dichotomique de réussite ou d’échec relatif à une période d’apprentissage, d’acceptation ou de rejet d’une promotion, de poursuite d’une action ou de l’arrêt de celle-ci. Le schéma ci-dessous reprend ces trois types d’évaluation.

En début de processus

Pendant le processus

En fin de processus

Évaluation d’orientation

Évaluation de régulation (formative)

Évaluation de certification

Sens du processus

Cependant, nous nuancerons très fort l’idée induite par ce tableau, selon laquelle la régulation se situe toujours en cours de processus pour réorienter celui-ci, et la certification se situe toujours en fin d’action. En effet, si ce tableau est vrai dans la plupart des cas, il comporte des exceptions importantes. Une évaluation de régulation peut avoir lieu à la fin de l’action de formation, par exemple pour l’enseignant qui souhaite savoir quelles modifications il doit apporter à son cours pour l’année suivante. Une évaluation de régulation peut aussi avoir lieu avant l’action de formation, par exemple pour dégager les procédures qui seront les mieux appropriées. De même, nous avons vu que dans le cadre de décisions de type promotionnel (octroi d’une promotion, accès à une fonction dont les performances attendues sont bien définies), l’évaluation pratiquée est de type certificatif. Nous avons parlé d’évaluation de certification « a priori » pour ce type d’évaluation. Ces difficultés de se référer à un moment précis (avant, pendant, en fin de) sont liées aux fluctuations de l’unité de temps que l’on se donne comme référence : une même évaluation peut être déclarée comme se déroulant en fin de processus de forma-

Le processus d’évaluation

43

tion si l’on considère que le processus se termine à la fin de l’année, ou en cours de processus si l’on se donne une référence temporelle de plusieurs années. Pour déterminer de quel type d’évaluation il s’agit, il faut donc davantage étudier le sens de l’évaluation, et l’objectif recherché, que le moment auquel elle se produit. Les développements proposés ci-dessus mettent en évidence que ces trois grandes catégories d’évaluation sont valables tant pour une évaluation des performances des personnes que pour une évaluation d’un système ou d’un fonctionnement. Souvent, les informations à recueillir sont les mêmes. Ce qui change est la nature de la décision à prendre : prendre une décision qui concerne l’individu, ou au contraire agir sur le programme ou sur le système. Le tableau de la page suivante reprend en synthèse les principales formes d’évaluation citées.

44

Le processus de recueil d’informations au service du processus d’évaluation

Objet de l’évaluation Fonctions de l’évaluation

Action

Performances des personnes en formation

Démarches privilégiées

Décision générale : Décision générale : passer à une nouvelle phase démarrer dans un nouvel d’action apprentissage

Analyse des besoins

Décisions spécifiques 1. Déterminer les objectifs (évaluation de contexte) 2. Déterminer les chances de succès de l’action (évaluation prédictive) 3. Fixer les stratégies, les moyens (évaluation des intrants) 4. Anticiper la réalité (évaluation prévisionnelle) …

Décisions spécifiques 1. Déterminer l’orientation qui convient à la personne 2. Prédire sa réussite, évaluer ses chances de succès dans une filière déterminée (évaluation prédictive) 3. Déterminer les caractéristiques et les besoins de la personne (évaluation des intrants) 4. Anticiper la réalité (évaluation prévisionnelle) …

Diagnostic des forces et des faiblesses du système ou de la personne (audit d’un système ou évaluation diagnostique en début de processus)

Évaluation de régulation

Décision générale : prendre des mesures en cours de processus, en vue de rendre l’action plus performante Décisions spécifiques 1. Modifier les stratégies 2. Modifier les ressources humaines 3. Modifier les ressources matérielles

Décision générale : prendre des mesures en vue de faciliter l’apprentissage en cours de processus

Évaluation de certification

Décision générale : certifier la réussite ou l’échec de l’action, en fonction de l’atteinte des objectifs fixés

Décision générale : certifier la réussite ou l’échec de la personne, en fonction d’un niveau de performance demandé Décisions spécifiques 1. Sélectionner ou admettre (évaluation de sélection) 2. Décerner les certificats nécessaires à la vie en société 3. Classer les personnes (évaluation de classement)

Évaluation d’orientation

Décisions spécifiques 1. Rétribuer l’action 2. Reconduire l’action 3. Agréer

Diagnostic des forces et des faiblesses au niveau du produit provisoire, des procédures et du processus (audit d’un système, évaluation diagnostique d’un apprentisDécisions spécifiques 1. Prendre des mesures indi- sage, démarche le plus souvent descriptive) viduelles au niveau de l’apprenant (évaluation formative) 2. Modifier les stratégies d’apprentissage au niveau du groupe (évaluation formatrice) Étude des effets à court, moyen et long terme Bilan (évaluation du produit, de type sommatif ou à travers une épreuve intégrée de type complexe) Relevé descriptif des acquis maîtrisés (ressources et/ou compétences) comme dans le bulletin descriptif

45

Le processus d’évaluation

2.1.4 DÉMARCHE

SOMMATIVE, DESCRIPTIVE ET HERMÉNEUTIQUE

Une autre entrée pour comprendre les processus d’évaluation est de se poser la question de la démarche, et du type de recueil d’informations à privilégier (DE KETELE, 2006, 2010 ; ROEGIERS, 2004). C’est ainsi que l’on peut distinguer essentiellement : – une démarche sommative, liée à un recueil sommatif ; – une démarche descriptive, liée à un recueil descriptif ; – une démarche herméneutique, liée à un recueil intégré.

A. Une démarche sommative, liée à un recueil sommatif Une démarche sommative est une démarche dans laquelle on privilégie un recueil sommatif, c’est-à-dire un recueil d’informations dans lequel un ensemble d’informations, qui font l’objet d’une procédure d’échantillonnage, sont juxtaposées. C’est cette somme d’informations qui permet de tirer des conclusions. Le but premier est d’établir un bilan. Lorsqu’il s’agit de vérifier les acquis des apprenants, la démarche consiste à vérifier ces derniers à travers un échantillon d’items, non reliés entre eux.

B. Une démarche descriptive, liée à un recueil descriptif Une démarche descriptive, associée à un recueil descriptif, est une démarche qui vise à rendre compte de comportements, de performances, de procédures utilisées, de difficultés rencontrées, cela de la manière la plus systématique possible, en recourant à des outils de diagnostic. Ce qui est visé avant tout, ce n’est ni d’établir un bilan, ni de donner du sens, mais de décrire de la manière la plus fine possible, en vue d’un diagnostic précis. En matière d’évaluation des acquis des apprenants, ce type de recueil d’informations est un recueil très fin, très analytique, qui vise à déterminer les lacunes des élèves (en particulier les lacunes de procédures, ou de processus, qui sont invisibles), en vue d’y remédier. On y recourt surtout lors de l’évaluation d’orientation, et lors de l’évaluation de régulation. Toutefois, on peut également y recourir dans le cadre d’une évaluation certificative (bulletin descriptif, bilan descriptif) : il s’agit alors d’identifier et de décrire quels acquis peuvent être certifiés.

C. Une démarche herméneutique, liée à un recueil intégré Une démarche herméneutique est, au contraire, une démarche qui cherche à rassembler quelques informations, les plus pertinentes possibles, qui constituent un ensemble d’indices qui font sens. On est davantage dans la qualité des informations recueillies que dans la quantité d’informations. HADJI (2001) montre aussi l’importance des évaluations informelles, ou des évaluations implicites. Le but de ce type de démarche n’est pas d’établir un bilan, mais d’arriver à une interprétation « in vivo » à partir d’informations les plus significatives possibles. Le recueil privilégié est un recueil de type intégré, en situation.

46

Le processus de recueil d’informations au service du processus d’évaluation

En matière d’évaluation d’orientation, on privilégiera la recherche et l’interprétation d’indices en situation pour orienter l’élève ou pour orienter une nouvelle séquence d’apprentissage. En matière d’évaluation de régulation, on privilégiera également le recueil d’informations en situation, par exemple un recueil d’informations en vue d’analyser la démarche de l’élève pendant un apprentissage en cours. En matière d’évaluation certificative des acquis des apprenants, on privilégiera un recueil sur la base d’une tâche complexe, d’une production complexe, si possible même en situation réelle.

2.1.5 INTERPRÉTATION

NORMATIVE ET CRITÉRIÉE

Au-delà du type d’évaluation pratiquée, et du type de démarche et de recueil d’informations utilisés, il y a différentes façons d’interpréter les informations récueillies. a) Dans une interprétation normative, la réussite est liée à une norme, soit par comparaison à la perfomance d’autres personnes ou d’autres actions, soit par rapport à la maîtrise d’un ensemble d’objectifs. EXEMPLES

Suite à un examen d’entrée, seuls les 50 premiers élèves sont admis (l’interprétation se fait par rapport à la perfomance des autres personnes, quelle que soit la perfomance absolue de chacun). L’élève réussit s’il obtient une moyenne globale de 60 % (interprétation normative par rapport à la maîtrise d’un ensemble d’objectifs). Les 5 meilleurs projets sont retenus.

b) Dans une interprétation critériée, la réussite est liée au niveau d’atteinte de chaque objectif pris séparément, soit que l’on vérifie chaque objectif séparément, soit que l’on identifie des objectifs minimaux qui doivent être absolument atteints pour certifier la réussite (voir en 2.2.1, étape 2). EXEMPLES

Si 10 objectifs ont été identifiés pour le projet, ce dernier ne pourra se poursuivre que si les objectifs 1, 2 et 3 sont respectés (objectifs minimaux), et si 3 autres objectifs sont atteints parmi les 7 restants. Un étudiant de candidature de la Faculté de Science Appliquée ne peut être admis dans le 2e cycle tant qu’il n’a pas démontré son autonomie dans la résolution d’un problème.

L’évaluation de classement, évoquée page 40, est une évaluation basée sur une interprétation normative. L’évaluation de sélection peut pour sa part bénéficier d’une interprétation normative (si par exemple seuls les 3 meilleurs sont retenus) ou critériée (s’il suffit de faire la preuve de compétences précises pour être retenu.

2.1.6 ÉVALUATION

ET JUGEMENT

Au sens restreint, juger est un processus par lequel une personne énonce une assertion (proposition avancée et soutenue comme vraie) grâce aux lois de la logique. On parlera de développement du jugement, de troubles du jugement…

Les principales étapes du processus d’évaluation

47

Au sens large, juger est un processus par lequel une personne se forge et émet une opinion (c’est-à-dire un avis, un point de vue, une représentation… il s’agit donc d’une affirmation de nature essentiellement relative). On peut donc émettre sur quelqu’un ou quelque chose un jugement sommaire, partial, partagé. Deux différences fondamentales distinguent l’évaluation du jugement. 1. Si on peut dire que dans les deux cas il y a confrontation d’informations à un cadre normatif (au contraire de l’interprétation qui, elle, se réfère à un cadre interprétatif, c’est-à-dire à une théorie ou à un concept), ce cadre est davantage un système de valeurs pour le jugement tandis que l’évaluation se réfère à un ensemble de critères élaborés dans un but précis. 2. L’évaluation est nécessairement orientée vers une prise de décision qu’elle est censée fonder ; le jugement ne suppose pas qu’une décision soit prise, il est simplement de l’ordre de la constatation. Dans une recherche sur le conseil de classe (DE KETELE, 1981), nous avons pu constater que trop souvent les enseignants s’arrêtaient à des jugements (« cet élève est inattentif » ; « il est paresseux »…) plutôt que de mener à bien des évaluations débouchant sur des décisions pédagogiques concrètes. Cet exemple montre de plus que fréquemment le jugement s’entoure d’un halo de connotations négatives. On parle plus volontiers d’appréciation lorsque les connotations sont positives. Notons cependant que si la finalité d’une évaluation n’est pas liée à un jugement, il existe toute une série d’opérations de jugement dans les différentes étapes du processus d’évaluation : quel objectif donner à l’évaluation, quels critères prendre, quelles informations recueillir, etc. Ces opérations de jugement ne sont pas sans rapport avec le référentiel de l’observateur.

2.2 Les principales étapes du processus d’évaluation 2.2.1 LES

ÉTAPES D’UN PROCESSUS D’ÉVALUATION

Tentons de démonter le « mécanisme » des opérations mentales requises pour évaluer. Afin de le clarifier, utilisons un organigramme ouvert (voir tableau) et explicitons-le. Ces étapes sont valables pour tout type d’évaluation, qu’il s’agisse d’une évaluation des performances des personnes, ou de l’évaluation d’un fonctionnement ou d’un système. Les exemples illustreront l’un et l’autre cas. Pour chaque étape, nous poserons une « question-clé », qui garantit la bonne fin de chaque étape. Nous reviendrons plus tard sur chacune de ces questions-clés, qui se rapportent aux notions de pertinence, de validité et de fiabilité du processus.

48

Le processus de recueil d’informations au service du processus d’évaluation

LES PRINCIPALES ÉTAPES DU PROCESSUS D’ÉVALUATION 1. Énoncer clairement l’objectif de l’évaluation. Vérifier la pertinence de |’objectif par rapport à la décision à prendre.

oui

Les critères opérationnels valides par rapport aux objectifs énoncés sont-ils donnés ? non

2. Rechercher et choisir des critères opérationnels valides, ainsi que des indicateurs pour ces critères. Éventuellement, hiérarchiser les critères, les pondérer, les combiner.

3. Déterminer les informations pertinentes à recueillir en regard des critères opérationnels choisis.

oui

Les informations nécessaires sont-elles déjà données de façon fiable ? non

4. Déterminer une stratégie du recueil de l’information.

5. Recueillir l’information de façon fiable (entretiens, questionnaires, sources extérieures, obervations, …).

6. Confronter l’information recueillie aux critères élaborés (traitement de l'information)

7. Donner du sens aux résultats de cette confrontation et formuler les conclusions de façon précise et claire : elles doivent être destinées à l’auteur de la prise de décision (soi ou autrui selon les cas).

Les principales étapes du processus d’évaluation

49

Étape 1 : énoncer clairement les objectifs de l’évaluation Nous avons vu que, de façon générale, le produit de l’évaluation est toujours une décision, décision qui s’inscrit le plus souvent dans le cadre de la réalisation d’un objectif plus global. Dans certains cas, l’objectif de l’évaluation sera confondu avec la décision à prendre. Dans les autres cas, l’objectif de l’évaluation doit être pertinent par rapport au type de décision à prendre. En d’autres termes, il faut être certain que si on poursuit l’objectif énoncé, on va nécessairement être amené à prendre la décision adéquate. Question-clé : « Est-ce que je ne me trompe pas d’objectif ? » EXEMPLE

Citons un exemple d’objectif non pertinent en regard d’une décision à prendre : la décision de nommer des pilotes au grade de commandant de bord dans le cadre d’une compagnie aérienne. Supposons qu’en vue de prendre cette décision, la compagnie se fixe comme objectif de sélectionner les meilleurs pilotes. Elle peut mettre en œuvre une stratégie infaillible pour détecter les pilotes les plus fiables et les plus chevronnés, et ce sur la base de critères précis sur le plan des performances techniques, et pourtant elle risque de nommer des pilotes qui n’ont pas du tout le profil de commandant de bord, parce que n’ayant aucun sens de la gestion d’une équipe ou de la prise de décision en situation difficile.

On peut distinguer deux types d’objectifs, correspondant à deux types différents de besoins : • des objectifs de formation, centrés sur une catégorie bien définie de personnes, auxquelles il s’agit de conférer des savoirs, savoir-faire et savoir-être correspondant à un nouveau profil à acquérir. Certains auteurs parlent d’« objectifs inducteurs de formation » (BARBIER & LESNE, 1977, BOURGEOIS, 1991) ; • des objectifs d’action autres que de formation, correspondant à des besoins d’action. Ces seconds objectifs peuvent revêtir des natures très diverses. EXEMPLES

– – – – – – – – – –

amélioration de la communication à l’intérieur d’un service ; limitation des frais généraux ; amélioration de l’image de marque de l’entreprise ; recherche de partenariats ; modification de la ligne hiérarchique ; limitation de l’absentéisme dans une administration ; ouverture d’une nouvelle succursale à l’étranger ; ouverture d’une nouvelle classe dans une école ; amélioration des documents de formation des étudiants ; etc.

Ces objectifs d’action sont pour la plupart des objectifs de changement structurel (ROEGIERS, GERARD, WOUTERS, 1992).

50

Le processus de recueil d’informations au service du processus d’évaluation

Bien qu’un objectif de formation soit toujours un objectif d’action particulier, nous distinguerons par la suite objectifs de formation et objectifs d’action, ceci pour des raisons de compréhension. Si, dans le cadre de l’enseignement ou d’un cycle de formation, l’objectif de formation est en principe bien connu au départ (les soudeurs de tel niveau doivent posséder telle qualification, …), il en va rarement de même avec un objectif d’action : une première évaluation est souvent nécessaire pour déterminer l’objectif prioritaire à poursuivre, c’est-à-dire pour identifier cet objectif d’action. Par exemple, le fait d’améliorer son image de marque est en soi un objectif d’action très louable pour une entreprise. Et il est tout aussi louable de commanditer une évaluation qui ait pour objet de déterminer les moyens les plus performants à mettre en œuvre pour y arriver. Il est toutefois possible que la communication à l’intérieur de l’entreprise se soit dégradée à un point tel que c’est à ce niveau qu’il faut agir prioritairement, et qu’au contraire le fait de viser un autre objectif ait des conséquences désastreuses sur la vie de l’entreprise. Avant de commanditer l’évaluation sur le « comment faire », il aurait donc fallu une évaluation préalable sur le « quoi faire », c’est-à-dire une évaluation qui détermine l’objectif d’action à poursuivre de façon prioritaire. Cette évaluation préalable constitue une des fonctions principales de l’analyse des besoins, qui doit déterminer si les besoins prioritaires sont des besoins de formation ou d’une autre action, et de quelle nature précise sont ces besoins. Souvent, on se trompe d’objectif : par exemple, on croit identifier des besoins de formation, alors que c’est un objectif d’un autre ordre qu’il faudrait poursuivre. Étant donné l’importance de l’analyse des besoins, nous y reviendrons plus longuement dans un autre ouvrage.

Étape 2 : énoncer clairement les critères de l’évaluation Avant de recueillir l’information nécessaire, il faut déterminer des critères opérationnels qui vont traduire l’objectif de l’évaluation. Cette traduction devra se faire en référence à : • des objectifs éducatifs (objectifs généraux, finalités) pour des objectifs de formation ; • la politique de l’institution pour des objectifs d’action. En référence à des objectifs éducatifs. EXEMPLE

Supposons la situation familière suivante. Un professeur de géométrie en première année de secondaire a planifié son cours de manière à s’assurer qu’aucune notion ne sera enseignée si les notions prérequises ne sont pas maîtrisées. Ainsi, il estime que la notion de plan (axiome 1) précède la notion de droite (axiome 2) qui précède l’axiome 3 selon lequel par deux points du plan, il ne passe qu’une seule droite. Ce professeur vient de terminer une séquence d’apprentissage sur la notion de plan. Il doit prendre la décision suivante : « puis-je passer à une autre séquence (notion de droite) qui s’appuie sur la maîtrise de la séquence précédente (notion de plan) ? ». Il décide donc de faire une évaluation en cours d’apprentissage.

Les principales étapes du processus d’évaluation

51

La décision de continuer l’apprentissage ou d’apporter un enseignement correctif constitue l’objectif précis de l’évaluation. Cette décision fait référence à un objectif éducatif (de nature cognitive dans le cas présent). Celui-ci doit être précisé afin de pouvoir énoncer clairement quels seront les critères de l’évaluation. En effet, s’agit-il simplement de citer de mémoire la définition du plan ? de reconnaître un plan ? de traduire en langage mathématique les caractéristiques essentielles d’un plan ? de le représenter ? etc. Cet exemple montre que la notion de prérequis ne peut être pensée exclusivement en termes notionnels mais aussi comme l’exercice d’une opération sur un contenu. En référence à la politique de l’institution. EXEMPLE

Suite à une analyse des besoins qui a révélé que les besoins prioritaires de l’entreprise se situaient sur le plan de la communication, le Directeur Général a décidé de commanditer auprès d’un auditeur externe une évaluation qui a pour objet de planifier une action en ce sens. Pour mener l’évaluation, l’auditeur fixe un certain nombre de critères qui devront déterminer si l’action entreprise donnera les résultats escomptés. La détermination de ces objectifs doit se faire en référence à la politique de l’institution :

– si la politique de l’entreprise est orientée vers un respect strict du règlement et de la hié-

rarchie, le critère de réussite de l’action sera par exemple : « Chaque agent est-il dans des conditions matérielles qui lui permettent de recevoir une information importante dans les 4 heures, par voie hiérarchique ? » ;

– par contre, si la politique de l’entreprise est orientée vers l’autonomie de ses membres, un

autre critère de réussite de l’action pourra être : « Chaque agent est-il dans des conditions qui lui permettent d’être entendu lorsqu’il prend l’initiative de signaler un dysfonctionnement en matière de communication ? ».

Qu’il s’agisse de l’un ou l’autre type d’action, le problème central de cette étape sera de choisir de bons critères, c’est-à-dire les critères qui respectent l’objectif poursuivi, en regard des objectifs éducatifs ou de la politique de l’institution. Question-clé : « Mes critères permettent-ils de vérifier ce que je déclare vouloir vérifier ? » La nature de ces critères est essentiellement fonction du type d’évaluation que l’on est amené à pratiquer.

a) Les critères relatifs à l’évaluation des performances des personnes Critères d’appréciation et de correction Envisageons tout d’abord les critères relatifs à l’évaluation des performances des personnes. On a principalement recours à des critères d’appréciation et à des critères de correction. Les critères d’appréciation sont davantage relatifs à l’évaluation de savoirfaire pratique (on apprécie le goût d’un plat qu’un élève a cuisiné, on apprécie la façon de tenir une raquette de tennis, la façon d’utiliser un multimètre, etc.). Les critères de correction sont pour leur part plus souvent associés aux recueils d’informations écrites (interrogations, tests, bilans écrits). Ils doivent être traduits sous forme d’indicateurs précis qui permettent au correcteur de savoir ce qu’il doit chercher dans la réponse et de faire la part entre ce qu’il considère comme adéquat et non adéquat.

52

Le processus de recueil d’informations au service du processus d’évaluation

Critères de réussite et de délibération Lorsqu’il s’agit d’une évaluation de certification, on recourt également à des règles de pondération de différentes compétences, de différentes dimensions, ou de différentes parties de matière, soit à l’intérieur d’une même discipline, soit entre les différentes disciplines, au niveau d’un jury de délibération. Ces règles de pondération, de même que les critères d’appréciation et de correction sont au service de critères d’un niveau supérieur, appelés critères de réussite, ou des critères de délibération. EXEMPLE

Pour certifier la réussite au terme des études d’infirmier(ère), il faut obtenir 50 % au minimum dans l’examen pratique, 50 % pour la théorie, et 60 % de moyenne (critères de réussite, ou de délibération). Dans le calcul de la moyenne, la pratique représente 80 points et la théorie 70 points. Dans la théorie, tel cours représente 15 points, tel autre 10 points, etc. La pratique est évaluée principalement selon trois dimensions : la mise en œuvre de la démarche en soins infirmiers (30 points), la communication avec la personne soignée et avec l’équipe (20 points) et les actes techniques (30 points) (règles de pondération). Les trois dimensions citées sont évalués à travers des critères d’appréciation. On recourt à des critères de correction pour corriger les copies d’examen dans chacun des cours.

Critères comportementaux À côté des critères de correction, davantage relatifs aux savoirs et aux savoir-faire cognitifs, et des critères d’appréciation, davantage relatifs aux savoir-faire pratiques, on peut se fixer d’autres types de critères tels des critères comportementaux, qui se rapportent plutôt aux savoir-être : l’aptitude à prendre l’habitude de s’informer spontanément, à organiser son temps, à faire preuve habituellement d’autonomie dans un travail, etc. Ces critères impliquent donc une habitude ou une certaine spontanéité. Il est plus difficile de traduire ces critères sous la forme d’indicateurs. Leur influence est toutefois déterminante dans la plupart des actions pédagogiques. Trop souvent encore, on évalue les performances des personnes sur le seul plan du savoir ou du savoir-faire. Ces critères peuvent également faire l’objet d’une distinction entre critères minimaux et critères de perfectionnement. Critères de sélection On parlera de critères de sélection (critères de correction, d’appréciation et/ou critères comportementaux), lorsque la décision à prendre est de sélectionner une personne pour une fonction déterminée. Ils interviennent souvent dans un processus d’évaluation de certification « a priori » (voir en 2.1.2). Critères d’orientation On parlera enfin de critères d’orientation (critères de correction, d’appréciation et/ou critères comportementaux) lorsque la décision à prendre est d’orienter une personne dans une voie déterminée. Ces critères interviennent dans le cadre d’une évaluation d’orientation.

Les principales étapes du processus d’évaluation

53

Critères minimaux et critères de perfectionnement Parmi tous les critères abordés ci-dessus, il faut distinguer les critères minimaux et les critères de perfectionnement. Les premiers définissent ce qui doit être strictement réalisé si l’on veut assurer une qualification précise, si l’on veut ne pas compromettre la suite de l’apprentissage ou l’entrée dans un cycle d’études ultérieures, selon les cas. Les seconds permettent de situer la performance entre la maîtrise minimale et la maîtrise totale ou maximale ; ils veulent tenir compte des ressources individuelles du sujet. EXEMPLE

Dans le cas de l’évaluation au terme d’un stage en salle d’opération pour une étudiante infirmière, le respect effectif des règles d’asepsie dans une situation qui les requiert constituera un critère minimal de réussite, tandis que la restitution formelle de ces mêmes règles d’asepsie dans une autre situation professionnelle constituera un critère de perfectionnement, parce qu’on estime qu’une infirmière performante est avant tout celle qui réagit adéquatement en situation.

En conclusion, on peut voir que certaines catégories de critères se rapportent davantage à certains types d’évaluation bien précis : les critères de sélection et d’orientation pour l’évaluation de sélection et d’orientation, les critères de réussite, de délibération et de pondération pour une évaluation de certification. D’autres catégories (les critères de correction, les critères d’appréciation et les critères comportementaux) peuvent être utilisées dans tous les types d’évaluation. On peut par exemple être amené à corriger une copie pour orienter un élève, pour réguler l’apprentissage dans lequel il est engagé ou pour certifier sa réussite. Le tableau proposé à la page 55 synthétise ces conclusions.

b) L’évaluation d’une action, d’un fonctionnement ou d’un système Critères d’efficacité En ce qui concerne l’évaluation d’une action (pédagogique ou autre), d’un fonctionnement ou d’un système, les critères d’évaluation peuvent être de natures très différentes. Les premiers critères sont des critères d’efficacité. Ils se rapportent principalement à la qualité du produit. Les critères d’efficacité externe comparent le produit obtenu aux effets recherchés. Les critères d’efficacité interne (ou rendement interne, ou perfomance) se rapportent également au produit obtenu, mais en comparaison avec les objectifs poursuivis. Une formation peut par exemple être perfomante (les personnes formées sont très compétentes) mais sans aucune efficacité externe (les compétences acquises ne sont pas transférables, ou inutiles). Selon qu’ils se placent du point de vue de l’individu ou du système, ces critères pourront être individuels ou collectifs. EXEMPLE

Soit la situation suivante : un professeur désire évaluer la maîtrise d’une capacité déterminée. Dans ce but, il propose à ses élèves dix questions. Pour un élève particulier, il pourra par exemple

54

Le processus de recueil d’informations au service du processus d’évaluation prendre comme critère d’efficacité interne (perfomance) de son action : « l’élève devra manifester une maîtrise minimale pour huit questions au moins ». Pour l’ensemble de sa classe, il pourra prendre comme critère d’efficacité interne : « cent pour cent des élèves doivent remplir les conditions des critères individuels (maîtrise minimale pour cinq questions) et septante-cinq pour cent des élèves doivent dépasser la maîtrise minimale pour au moins huit questions ».

En situation de formation professionnelle d’adultes, on parlera plutôt de critères de transfert de l’acquis sur le terrain, en termes de changements effectifs observés 6 mois après la formation par exemple. Ce sont des critères d’efficacité externe à plus long terme. Dans le contexte d’une entreprise de production, ces critères seront cernés à travers la satisfaction du client, le taux de pièces défectueuses, la vitesse de production, etc. Ils englobent donc les critères de rentabilité. Critères de qualité du fonctionnement À côté des critères d’efficacité, on parlera aussi de critères de qualité du fonctionnement, en termes de motivation ou d’autonomie, mais aussi en termes d’organisation des équipes, de stress, etc. EXEMPLE

L’évaluation d’un service de maintenance dans une entreprise peut se baser sur des critères d’efficacité réelle comme l’évolution du nombre de dépannages effectués en un mois, ou encore l’évolution des bénéfices réalisés, mais elle peut aussi être pratiquée en termes de motivation ou d’autonomie de ses agents.

Souvent, il est nécessaire de recourir à plusieurs critères de natures différentes pour garantir la validité d’une évaluation. Critères de satisfaction Citons enfin les critères de satisfaction des différents acteurs concernés. On rencontre souvent ces critères dans le cadre d’évaluations de formations d’adultes. Ils constituent une sorte de tremplin qui garantit que le système de formation va continuer à fonctionner. Ils peuvent être exprimés en termes quantitatifs (nombre de journées de formation, importance du contenu, …), mais plus souvent en termes qualitatifs (un renforcement positif, une amélioration apportée, la diminution de l’écart entre l’idéal et le possible…). Ils peuvent être également exprimés par rapport aux entrées et sorties (les prérequis, le matériel utilisé, les résultats) ou au processus lui-même (le fonctionnement). Bien qu’une évaluation en termes de satisfaction donne des indications précises sur le déroulement général d’une formation (organisation matérielle, communication, réponse aux attentes…), il faut toujours veiller à la compléter par une évaluation en termes d’effets réels. Nous aurons largement l’occasion de revenir sur ces points ultérieurement.

55

Les principales étapes du processus d’évaluation

Ces critères ont été principalement développés dans le cadre de l’évaluation d’un fonctionnement ou d’un système (évaluation de régulation d’une action). Signalons qu’à quelques nuances près, et selon des pondérations différentes selon les cas, ce seront les mêmes types de critères qui seront utilisés dans une évaluation d’orientation ou de certification d’une action. Le tableau suivant propose une synthèse de l’ensemble des critères auxquels on a recours. Évaluation d’orientation Niveau de l’action Critères d’orientation (de l’action)

Évaluation de régulation Critères d’efficacité Critères de qualité du fonctionnement Critères de satisfaction

Niveau de la personne Critères d’orientation Critères de correction (S, SFC) Critères d’appréciation (SFP) Critères comportementaux (SE)

Critères de correction (S, SFC) Critères d’appréciation (SFP) Critères comportementaux (SE)

Évaluation de certification

Critères de réussite (de l’action)

Critères de sélection Critères de réussite Critères de délibération Critères de correction (S, SFC) Critères d’appréciation (SFP) Critères comportementaux (SE)

D’autres objets d’évaluation pourront conduire à utiliser des critères d’une nature différente. Par exemple, D’HAINAUT (1980) propose pour l’évaluation des programmes scolaires quatre catégories de critères : – des critères de pertinence par rapport aux fins de l’éducation et aux options fondamentales de la politique éducative (qui comprennent les besoins de l’individu et de la société, les options culturelles, etc.) ; – des critères d’adéquation pédagogique (niveau, intérêt, etc.) ; – des critères d’opportunité pratique (coût de réalisation, disponibilité du personnel et du matériel, etc.) ; – des critères d’ensemble (couverture, cohérence, organisation, etc.). C’est ce qui pourrait constituer une évaluation « a priori » du programme. Une évaluation « a posteriori », c’est-à-dire une évaluation de la mise en place du programme devrait par contre être axée sur les catégories de critères que nous avons énoncées ci-dessus : – critères d’efficacité : effets sur les étudiants en termes de degré de maîtrise des objectifs prescrits ; – critères de fonctionnement : effets sur les enseignants, et sur l’ensemble des acteurs concernés, à savoir les parents, les responsables politiques, les professionnels, etc. ; – critères de satisfaction. (DE KETELE, CHASTRETTE, CROS, METTELIN, THOMAS, 1989)

56

Le processus de recueil d’informations au service du processus d’évaluation

La distinction entre objectif et critère n’est pas toujours aisée : en fait, un critère est toujours un objectif de plus faible niveau par rapport à l’objectif global. Il s’exprime en termes qualitatifs. La notion d’indicateur Pour déterminer si un critère (qualité recherchée) est effectivement rempli, on a recours à des indicateurs. Un indicateur est un signe observable en situation, qui permet d’opérationnaliser un critère. Il possède une valence positive ou négative (DE KETELE, 1996). Les indicateurs doivent donc être formulés de manière à ce que deux évaluateurs différents l’interprètent de la même manière. Autrement dit, ils doivent être exprimés en termes opérationnels et de manière précise. EXEMPLE

Critère : « Respect des règles de mise en page » (dans la mise en page d’un texte en traitement de texte) Indicateurs : – la taille de la police de caractère est au moins un corps 12 ; – l’interligne est de 14 ou 16 ; – la justification du texte est homogène ; – etc.

Un indicateur peut être qualitatif ou quantitatif (ROEGIERS, 2004). Selon les cas, il précise : – la présence ou l’absence de… (indicateur qualitatif) ; – le nombre de…, la quantité de…, la proportion de… (indicateurs quantitatifs absolus) ; – le taux d’augmentation ou de diminution de… (indicateurs quantitatifs relatifs). Un critère est défini au niveau de la démarche générale : par exemple, les mêmes critères seront utilisés pour des évaluations différentes, portant sur des objets différents. En revanche, les indicateurs sont toujours relatifs à une situation particulière : ils sont essentiellement contextuels. Il existe certes quelques indicateurs génériques, c’est-àdire des indicateurs relatifs à différentes situations, mais, en général, on a tendance à les exagérer, et à les appeler « indicateurs » de manière abusive, en oubliant qu’ils doivent répondre à la caractéristique de base, à savoir d’être observables. EXEMPLE

Par exemple, pour le critère d’efficience « utilisation optimale des ressources », l’indicateur « chaque coût est justifié par une pièce comptable » est un véritable indicateur générique : il est observable, et indiscutable. Par contre, des indicateurs génériques tels que « utilisation optimale des ressources humaines », ou « utilisation optimale des fonds » sont appelés abusivement « indicateurs », parce qu’ils n’ont pas un niveau de précision suffisant pour être appréciés de la même manière par deux personnes différentes.

Notons encore que les objectifs et les critères ne sont pas nécessairement tous fixés a priori : ils peuvent être ajustés ou découverts en cours de route, surtout dans des domaines où la composante exploratoire est importante.

Les principales étapes du processus d’évaluation

57

Cette dernière caractéristique de l’évaluation est importante. Elle permet notamment d’éviter la confusion fréquente entre évaluation et contrôle. S’il nous paraît important de ne pas confondre l’évaluation et le contrôle, il nous paraît aussi important de ne pas les opposer. Le contrôle n’est qu’un sous-ensemble de l’évaluation. Il consiste à vérifier que tel dispositif (un règlement par exemple) est mis en application ou que tel résultat concret attendu est réalisé. Il nécessite la présence d’indicateurs strictement observables, définis au préalable, et se basant sur des informations bien cernées au départ : la production journalière, le nombre de jours d’absence, le pourcentage de fonctionnement d’une machine, le taux mensuel de pièces défectueuses, etc. Le contrôle fonctionne donc davantage dans un système fermé. Si le contrôle est positif, on maintient le système comme tel. Par contre, un contrôle négatif ou insuffisant entraîne nécessairement une réaction (par exemple, la réaction de sanction) pour ramener le système à l’état initial prévu. Le contrôle est surtout valable pour des objectifs au sens strict et pour des règlements. Au contraire, l’évaluation s’inscrit dans un système ouvert en évolution : le référentiel (les critères utilisés) n’est pas entièrement déterminé une fois pour toutes, les informations à recueillir peuvent varier d’une situation à l’autre. En d’autres termes, l’évaluation consiste toujours à produire du sens dans une situation complexe en fonction d’un objectif d’action visé, selon l’expression d’ARDOINO (1991).

Étape 3 : déterminer les informations à recueillir La détermination de la nature des informations à recueillir doit faire nécessairement référence à l’objectif poursuivi et aux critères considérés comme les signes de sa réalisation. EXEMPLE

Un chef d’entreprise décide d’engager un électronicien de haut niveau. Parmi les critères qu’il se propose de prendre en compte pour la sélection, il fixe le critère « la maîtrise de l’anglais technique ». Pour vérifier cette maîtrise, il décide de recueillir l’information suivante : il demandera aux candidats de simuler en anglais la vente d’un appareil électroménager. Cette information n’est pas la bonne information à recueillir. Ce n’est pas un vendeur qu’il doit engager, mais un technicien. L’information à prendre n’est pas la maîtrise de l’anglais oral, ni les qualités de vendeur, mais la compréhension (lecture) de l’anglais technique : il pourrait par exemple vérifier si le candidat est capable d’exécuter correctement des instructions de montage rédigées en anglais.

Lorsqu’il s’agit d’évaluer les performances des personnes, la question principale sera de déterminer si l’on décide de récolter des informations en termes de savoirs, de savoir-faire cognitifs, de savoir-faire gestuels, de savoir-être ou de savoirdevenir (voir en 1.2.3). Question-clé : « Est-ce que je ne me trompe pas d’informations à recueillir ? »

58

Le processus de recueil d’informations au service du processus d’évaluation

Étape 4 : déterminer une stratégie de recueil d’informations Comme chacune des précédentes, cette étape est capitale. Après avoir déterminé les informations à rechercher, il faudra : – soit rechercher la situation naturelle adéquate où ces informations pourront être recueillies, – soit susciter ou créer la situation propice à un tel recueil. Ceci implique d’une part d’expliciter les fondements qui détermineront la stratégie choisie, et d’autre part de préciser le type de méthodes auxquelles on va faire appel : observation directe et/ou interview et/ou questionnaire d’enquête etc. en fonction du type d’informations à recueillir et du contexte dans lequel se déroule le recueil d’informations. Dans les cas où l’on ne recueille pas l’information auprès de l’ensemble de la population de référence, il faudra se poser la question importante de l’échantillon, qui à la fois doit être pertinent par rapport à l’information que l’on cherche à recueillir et par rapport à l’objectif du recueil, et à la fois réaliste par rapport au traitement que l’on envisage d’effectuer. Question-clé : « La stratégie mise en place me donne-t-elle toutes les garanties que l’information que je vais recueillir est bien celle que je déclare vouloir recueillir ? »

Étape 5 : recueillir l’information de façon fiable Les informations à prendre, la stratégie et les situations pour les prendre une fois déterminées, il s’agit de recueillir celles-ci de la façon la plus objective possible. Le recueil implique deux actes : – prendre l’information (observer les comportements, décoder un questionnaire ou lire une copie…) ; cet acte porte sur la réponse de l’évalué à la situation occasionnelle ou suscitée ; – noter l’information sous la forme la mieux adaptée à la situation et de telle façon qu’elle permette une analyse riche. Cette étape pose notamment le problème du recueil d’informations par des personnes différentes, à des moments différents, ou même dans des endroits différents. C’est le cas dans toutes les situations où l’on doit avoir recours à plusieurs observateurs, ou à plusieurs interviewers. C’est aussi le cas lorsque les membres d’un groupe important sont interrogés oralement par deux examinateurs : comment s’assurer au maximum que les informations recueillies par les deux examinateurs soient équivalentes, et notées de la même façon ? Un problème analogue peut aussi se poser lorsqu’un même questionnaire est soumis à deux groupes à des moments différents, et qu’il y a eu des interactions entre les deux groupes dans l’intervalle de temps. Question-clé : « La façon de recueillir l’information est-elle semblable d’une personne à l’autre, d’un endroit à l’autre, d’un moment à l’autre ? »

Les principales étapes du processus d’évaluation

59

Étape 6 : confronter informations recueillies et critères posés Dans le cas de l’évaluation des performances des personnes, l’expérience montre que l’accord inter-correcteurs augmente de façon significative lorsque ceux-ci se sont mis d’accord, non seulement sur des critères de correction précis, mais aussi sur le poids relatif de chacun de ces critères. EXEMPLE

Pour corriger des réponses à la question : « quel montant puis-je retirer au maximum du distributeur automatique de billets ? », les correcteurs se sont mis d’accord sur un nombre de points à attribuer à chaque critère (la réussite à 7/10 a été établie) : critères minimaux La réponse mentionne le retrait de base : 3 points sur 10 La réponse mentionne le retrait aux pompes à essence : 2 points sur 10 La réponse mentionne le retrait par Télécash : 2 points sur 10 critères de perfectionnement La réponse mentionne le montant à l’étranger : 1 point La réponse mentionne la combinaison des 3 services énoncés ci-dessus : 1 point La réponse mentionne les frais de chaque opération : 1 point

On peut encore affiner le mode de notation proposé ci-dessus de façon à ne pas permettre la réussite de quelqu’un qui ne cite pas les trois éléments essentiels. Dans le cas d’une évaluation d’un fonctionnement ou d’un système, il s’agira également de décider du poids que l’on accorde aux différents critères. Souvent, il n’est pas possible de traduire ce poids par une note chiffrée. On aura davantage recours à une estimation, explicitée et argumentée de façon rigoureuse. EXEMPLE

On estimera que, pour telles raisons que l’on explicite, telle information que l’on a recueillie et validée peut avoir telles conséquences graves si la Direction Générale s’oriente vers tel type de décision. Par contre, la même information peut n’avoir aucune conséquence grave si la Direction Générale prend telle autre orientation.

Question-clé : « L’utilisation que je fais des critères est-elle la même pour tout le monde ? »

Étape 7 : donner du sens et formuler les conclusions de façon claire et précise L’évaluation étant orientée vers une décision à prendre, il faudra que le décideur dispose des informations de façon accessible. La dernière étape du processus d’évaluation consistera donc la plupart du temps à donner du sens aux informations recueillies ainsi qu’à leur traitement, et à formuler des conclusions. Ces dernières tiendront compte d’une éventuelle pondération des critères : c’est le problème des notations, des cotations et des barèmes. La façon dont les conclusions seront rédigées dépendra du sens que l’on peut donner aux informations recueillies, mais aussi de la personne qui doit prendre la déci-

60

Le processus de recueil d’informations au service du processus d’évaluation

sion, l’évaluateur ou une autre personne : souvent l’évaluateur n’est pas le décideur. Nous développerons plus tard cet aspect important. Selon les cas, cette formulation peut prendre différentes formes : bulletin, document de délibération, rapport d’évaluation, etc. Selon les cas également, la transmission de ces conclusions se fera entièrement par écrit, par oral, ou encore par une combinaison d’un rapport écrit et d’un rapport oral. Question-clé : « Est-ce que la communication des conclusions aux décideurs les aidera effectivement à prendre la bonne décision ? »

2.2.2 PERTINENCE,

VALIDITÉ ET FIABILITÉ

A. Six questions-clés Reprenons les six premières « questions-clés », posées lors des six premières étapes : Question 1 : « Est-ce que je ne me trompe pas d’objectif ? » Question 2 : « Mes critères permettent-ils de vérifier ce que je déclare vouloir vérifier ? » Question 3 : « Est-ce que je ne me trompe pas d’informations à recueillir ? » Question 4 : « La stratégie mise en place me donne-t-elle toutes les garanties que l’information que je vais recueillir est bien celle que je déclare vouloir recueillir ? » Question 5 : « La façon de recueillir l’information est-elle semblable d’une personne à l’autre, d’un endroit à l’autre, d’un moment à l’autre ? » Question 6 : « L’utilisation que je fais des critères est-elle la même pour tout le monde ? » Nous pouvons opérer sur ces questions un double classement. a) Pertinence, validité et fiabilité. – Les questions 1 et 3 posent la question « Est-ce que je ne me trompe pas de… ? ». C’est une question de choix de l’objet d’investigation. Il s’agit d’un problème de pertinence. La pertinence est le caractère plus ou moins approprié, qui s’inscrit dans la ligne de l’objectif visé (DE KETELE et alii, 1989).

– Les questions 2 et 4 posent une question de choix de stratégie : « La stratégie que j’ai élaborée va-t-elle me permettre d’obtenir ce que je souhaite ? » Ces questions soulèvent un problème de validité. La validité est le degré d’adéquation entre ce que l’on veut faire (évaluer, ou recueillir de l’information) et ce que l’on fait réellement. (DE KETELE et alii, 1989).

61

Les principales étapes du processus d’évaluation

– Les questions 5 et 6 posent un problème de mise en application d’une méthode, c’est-à-dire de reproductibilité dans un autre endroit, à un autre moment, par une autre personne. Elles soulèvent le problème de la fiabilité. La fiabilité est une qualité qui consiste à trouver les mêmes résultats, soit chez des personnes différentes, soit chez une même personne à des moments différents, soit par une nouvelle personne par rapport à un protocole défini, etc.

b) Évaluation et recueil d’information. Les questions 1, 2 et 6 sont relatives au processus d’évaluation. Les questions 3, 4 et 5 sont relatives au recueil d’informations proprement dit. Le tableau suivant permet de mieux comprendre ce classement. Évaluation

Recueil d’informations

Question 1 : Pertinence Adéquation de l’objet par rapport « Est-ce que je ne me trompe pas d’objectif à l’objectif visé pour remplir la fonction visée ? »

Question 3 : « Est-ce que je ne me trompe pas d’informations à recueillir ? »

Validité Adéquation de la stratégie (concordance entre le réalisé et le déclaré)

Question 2 : « Mes critères permettent-ils de vérifier ce que je déclare vouloir vérifier ? »

Question 4 : « La stratégie mise en place me donne-t-elle toutes les garanties que l’information que je vais recueillir est bien celle que je déclare vouloir recueillir ? »

Fiabilité Qualité de la mise en œuvre de la stratégie

Question 6 : Question 5 : « L’utilisation que je fais des critères est-elle « La façon de recueillir l’information est-elle la même pour tout le monde ? » semblable d’une personne à l’autre, d’un endroit à l’autre, d’un moment à l’autre ? »

Nous reviendrons encore plusieurs fois sur ces concepts importants.

B. Une septième question La septième question intègre également ces trois notions de pertinence, de validité et de fiabilité. Question 7 : « Est-ce que le sens donné aux résultats et la communication des conclusions aux décideurs les aideront effectivement à prendre la bonne décision ? »

En effet, elle revient à se poser la triple question : 7a : « Les résultats communiqués aux décideurs et le sens donné à ces résultats sont-ils pertinents ? » C’est la question de savoir si on ne se trompe pas dans le genre de résultats que l’on décide de communiquer. C’est la raison principale pour laquelle on remet un rapport intermédiaire, dans un audit par exemple. On veut être bien sûr que ce soit le genre d’informations qu’attend le décideur, compte tenu du type de décision qu’il sera amené à prendre. N’oublions pas non plus qu’une conclusion ne prend sens que si elle est replacée dans son contexte et qu’un même résultat obtenu dans deux contextes et chez deux personnes différentes n’a pas nécessairement le même sens.

62

Le processus de recueil d’informations au service du processus d’évaluation

7b : « Sont-ils suffisamment valides ? » C’est la question de savoir si les résultats que l’on communique sont bien ceux que l’on déclare communiquer. EXEMPLE

Prenons comme exemple une évaluation écrite destinée à faire le point des progrès effectués par un élève au cours d’une période donnée. Si cette évaluation pointe de façon excessive un fait particulier ou une attitude tout à fait ponctuelle sans tenir compte de l’ensemble des résultats, qui pourtant ont été établis de façon valide et fiable, on peut dire que la communication des résultats n’est pas valide : ce que l’on communique ne correspond pas à ce que l’on déclare communiquer.

7c : « Sont-ils fiables ? » C’est la question de savoir si les résultats que l’on communique sont bien les résultats auxquels l’on est arrivé. Il faut s’assurer à ce stade-ci qu’il n’y ait pas d’ambiguïté dans la présentation ou dans la rédaction, pas de raccourci excessif, pas d’estimation abusive, pas de modification de complaisance, etc. C’est ici que, malheureusement, peuvent également jouer certains problèmes d’ordre éthique : l’évaluateur n’a pas le courage de se prononcer, voire même falsifie les conclusions pour prolonger un contrat pour éviter de déplaire à son commanditaire. Le tableau élaboré ci-dessus vient dès lors s’enrichir d’une nouvelle colonne : Évaluation

Recueil d’informations

Communication

Pertinence Adéquation de l’objet par rapport à l’objectif visé

Question 1 : « Est-ce que je ne me trompe pas d’objectif pour remplir la fonction visée ? »

Question 3 : « Est-ce que je ne me trompe pas d’informations à recueillir ? »

Question 7a : « Est-ce que je ne me trompe pas dans le choix et dans le sens des résultats à communiquer, et dans la façon de les communiquer ?

Validité Adéquation de la stratégie (concordance entre le réalisé et le déclaré)

Question 2 : « Mes critères permettent-ils de vérifier ce que je déclare vouloir vérifier ? »

Question 4 : « La stratégie mise en place me donne-t-elle toutes les garanties que l’information que je vais recueillir est bien celle que je déclare vouloir recueillir ? »

Question 7b : « Est-ce que les résultats que je communique et le sens qui leur est donné sont bien ceux que je déclare vouloir communiquer ? »

Question 5 : « La façon de recueillir l’information est-elle semblable d’une personne à l’autre, d’un endroit à l’autre, d’un moment à l’autre ? »

Question 7c : « Est-ce que le décideur peut se fier à ces résultats ? »

Question 6 : Fiabilité Qualité de la mise en œuvre « L’utilisation que je fais des critères est-elle la même de la stratégie pour tout le monde ? »

Ces notions de pertinence, de validité et de fiabilité sont donc des notions-clés dans toute investigation, qu’elle soit une évaluation ou une recherche, comme nous le verrons plus tard.

63

Les principales étapes du processus d’évaluation

2.2.3 DÉFINITION

OPÉRATIONNELLE DE L’ÉVALUATION

L’approche du processus en 7 étapes, complétée par les notions de pertinence, de validité et de fiabilité, nous permet de proposer une définition plus complète de l’évaluation, exprimée en termes plus opérationnels. Évaluer signifie – recueillir un ensemble d’informations suffisamment pertinentes, valides et fiables, – examiner le degré d’adéquation entre cet ensemble d’informations et un ensemble de critères adéquats aux objectifs fixés au départ ou ajustés en cours de route, – et donner du sens aux résultats en vue de prendre une décision. (DE KETELE, 1989).

Les termes « pertinents, valides et fiables » correspondent aux questions-clés posées en 2.2.2. Exemples de processus d’évaluation EXEMPLE 1 : CAS DU CONDUCTEUR QUI DOIT PRENDRE LA DÉCISION DE DOUBLER OU NON UN VÉHICULE

Objectif de l’évaluation : doubler ou ne pas doubler (dans ce cas, l’objectif est la décision à prendre). Critères et indicateurs : Critère 1 : respect du code de la route (critère minimal) Indicateur 1.1. : c’est un endroit dans lequel je peux doubler (je ne suis pas dans un village, etc.) Indicateur 1.2. : celui que je dois dépasser ne doit pas signaler son intention de tourner à gauche Critère 2 : prudence (critère minimal) Indicateur 2.1. : aucune voiture ne peut arriver à ma hauteur sur la bande de gauche Indicateur 2.2. : le véhicule à doubler ne doit pas aller trop vite compte tenu de la visibilité dont je dispose Critère 3 : courtoisie (indicateur de perfectionnement) Indicateur 3.1. : je ne suis pas dans des conditions qui risquent d’effrayer le conducteur devant moi etc. Informations à recueillir : (cf. chacun des critères). Recueil d’informations : par observation directe. Confrontation de l’information recueillie avec les critères énoncés : tous les critères minimaux sont respectés, ou non. Prise de décision : je décide de doubler ou de ne pas doubler. Le chauffeur débutant se pose toutes ces questions-là, ce qui entraîne beaucoup de lenteur dans la prise de décision. Souvent, il prend tellement de temps qu’il doit décider de ne pas doubler. Par contre, le chauffeur chevronné ne doit plus se les poser consciemment : c’est devenu pour lui un automatisme. EXEMPLE 2 : ÉVALUATION DU FONCTIONNEMENT D’UN SERVICE DANS UNE ENTREPRISE

Décision à prendre : décider ou non une restructuration d’un service de l’entreprise. Objectif : évaluer le degré d’urgence et le gain potentiel d’une restructuration en regard du temps et des perturbations que cette dernière va nécessiter.

64

Le processus de recueil d’informations au service du processus d’évaluation Critères et indicateurs : Critère 1 : productivité Indicateur 1.1 : la productivité doit pouvoir évoluer de façon sensible Critère 2 : ambiance de travail Indicateur 2.1. : les agents concernés doivent être plus motivés Indicateur 2.2. : le fonctionnement global doit être plus simple et plus harmonieux Critère 3 : solidarité Indicateur 3.1. : il faut pouvoir maintenir l’emploi etc. Informations à recueillir : – informations sur l’origine des problèmes qui se posent ; – la productivité actuelle et la productivité prévue en cas de restructuration ; – informations sur le degré actuel et potentiel de motivation des agents ; – les chances de succès de différentes solutions possibles ; – les représentations des différents acteurs en ce qui concerne des changements éventuels ; etc. Stratégie de recueil d’informations : combinaison d’une analyse de documents et d’interviews, … Recueil d’informations, avec contrôle de la fiabilité des informations recueillies. Confrontation de l’information recueillie avec les critères énoncés et communication des résultats : conclusions sur le degré d’urgence, le gain potentiel, la production de sens et l’adéquation des différentes solutions possibles à la situation effective etc., rédigées sous une forme qui permet au décideur de décider. Prise de décision : je décide ou non de restructurer, et, le cas échéant, je choisis telle voie préférentielle. La décision prise peut également être d’approfondir l’évaluation, si des points importants restent obscurs. EXEMPLE 3 : ÉVALUATION DE RÉGULATION D’UNE ACTION DE FORMATION PAR LE FORMATEUR

Décision à prendre : adapter une session de formation de façon à la rendre plus efficace. Objectif de l’évaluation : vérifier l’adéquation des méthodes et moyens mis en œuvre pour atteindre les objectifs poursuivis. Critères et indicateurs : Critère 1 : efficacité Indicateur 1.1. : la formation doit produire les effets désirés Indicateur 1.2. : les participants doivent avoir fait preuve d’autonomie Critère 2 : ambiance de travail Indicateur 2.1. : le formateur doit être bien dans sa peau Indicateur 2.2. : les participants doivent être satisfaits du déroulement de la formation Informations à recueillir : – les effets sur le terrain, par exemple 2 semaines et 2 mois après la fin de la session (indicateur 1.1) ; – le niveau de stress du formateur (indicateur 2.1) ; – le nombre de suggestions, de questions spontanées et pertinentes, d’idées nouvelles, émises par les participants (indicateur 1.2) ;

Le processus de recueil d’informations par rapport au processus d’évaluation

65

– le niveau de satisfaction des participants en fin de session (indicateur 2.2). Stratégie de recueil d’informations : stratégies multiples, en fonction des types d’informations à recueillir. Exemples : – collaboration avec les responsables hiérarchiques des participants pour évaluer les effets sur le terrain, en termes de rendement, de changement d’attitudes, …, – présence d’un observateur extérieur pendant la session pour déterminer le nombre de questions spontanées et pertinentes etc. Confrontation de l’information recueillie avec les critères énoncés et production de sens : conclusions sur les modifications à apporter au fonctionnement de la session Prise de décision : après estimation de la faisabilité des modifications (par exemple si elles sont coûteuses, ou si elles demandent davantage de temps etc.)

2.3 Le processus de recueil d’informations par rapport au processus d’évaluation Nous venons de voir qu’en fonction d’objectifs fixés, celui qui oriente les apprentissages ou commandite l’évaluation doit prendre des décisions. Pour être adéquate, la prise de décision se fondra sur une évaluation, plus ou moins importante et complexe selon la nature de la décision à prendre. À son tour, l’évaluation suppose un processus de recueil d’informations pertinentes. Nous pouvons donc situer le recueil d’informations comme une étape d’un processus d’évaluation, dont on a fixé des critères valides (les critères sont traduits en indicateurs), et devant déboucher sur des conclusions, dont on donne le sens. Encore faut-il savoir ce qu’implique un tel processus. Le tableau qui suit met en évidence le lien entre les deux processus, en spécifiant clairement les inputs et les produits de chacun d’eux.

66

Le processus de recueil d’informations au service du processus d’évaluation

Nature de la décision à prendre

Déterminer les objectifs pertinents

Objectifs

Déterminer les critères et les indicateurs

Critères et indicateurs

Déterminer les informations à recueillir

Informations à recueillir

Déterminer une stratégie appropriée

Processus de recueil de l’information

Méthodes et moyens disponibles

Recueillir l’information

Information recueillie

Information disponible

Confronter les informations aux critères

Produire du sens et conclure

Communication des résultats

Processus d’évaluation Décision

2.3.1 PROCESSUS D’ÉVALUATION L’entrée principale du processus est la nature de la décision à prendre : avant de fixer les objectifs, je dois avoir une idée du type de décision à prendre. L’ensemble des informations, des moyens et des méthodes disponibles constituent d’autres inputs, mais qui interviennent plus tard. Le produit est la décision, ou du moins une synthèse des résultats permettant au décideur (s’il n’est pas l’évaluateur) de prendre une décision la plus valide possible. Les flèches en pointillés montrent que, dans l’évaluation, les objectifs et les critères peuvent être réajustés en cours de route. Par exemple, le recueil d’informations et la réflexion qui l’accompagne m’amène à élargir les objectifs ou à faire d’autres choix. Le schéma suivant met en évidence la place et la fonction d’un éventuel processus de contrôle dans un processus évaluatif. Il est à noter que, contrairement à l’évaluation, la production de sens est absente, ou quasi absente, d’un processus de contrôle.

67

Le processus de recueil d’informations par rapport au processus d’évaluation

Nature de la décision à prendre

Déterminer les objectifs pertinents

Objectifs

Déterminer les critères et les indicateurs

Informations à recueillir

Déterminer les informations à recueillir

informations à recueillir

Déterminer une stratégie appropriée

Processus de recueil d’informations

Processus d’évaluation

Recueillir l’information

Processus de contrôle

Information recueillie

Confronter les informations aux critères

Communication des résultats

Décision = acceptation ou rejet

2.3.2 PROCESSUS

DE RECUEIL D’INFORMATIONS

Les entrées principales du processus de recueil d’informations sont : • les critères opérationnels élaborés à partir des objectifs ; • les divers moyens et méthodes possibles pour le recueil d’informations ; • l’ensemble des informations disponibles. Le produit est l’information recueillie. Le schéma suivant intègre les concepts de pertinence, de validité et de fiabilité, au « macro-niveau » (au niveau de l’évaluation), et au « micro-niveau » (le niveau du recueil d’informations).

68

Le processus de recueil d’informations au service du processus d’évaluation

Nature de la décision à prendre

MACRO PERTINENCE

Déterminer les objectifs pertinents

Objectifs

MACRO VALIDITÉ

Déterminer des critères opérationnels et des indicateurs

Critères et indicateurs

Déterminer les informations à recueillir

MICRO PERTINENCE MICRO VALIDITÉ Processus de recueil de l’information MICRO FIABILITÉ

Informations à recueillir

Déterminer une stratégie appropriée

Recueillir l’information

Information recueillie

Confronter les informations aux critères

MACRO FIABILITÉ Produire du sens et conclure

Communication des résultats

Processus d’évaluation Décision

Rappelons encore les questions associées à chacun de ces niveaux :

Macro (évaluation) Macro-pertinence : « Est-ce que je ne me trompe pas d’objectif ? » Macro-validité :

« Mes critères permettent-ils de vérifier ce que je déclare vouloir vérifier ? »

Macro-fiabilité :

« L’utilisation que je fais des critères est-elle la même pour tout le monde ? »

Micro (recueil d’informations) Micro-pertinence : « Est-ce que je ne me trompe pas d’informations à recueillir ? »

Le processus de mesure par rapport aux processus de recueil d’informations et d’évaluation

69

Micro-validité :

« La stratégie mise en place me donne-t-elle toutes les garanties que l’information que je vais recueillir est bien celle que je déclare vouloir recueillir ? »

Micro-fiabilité :

« La façon de recueillir l’information est-elle semblable d’une personne à l’autre, d’un endroit à l’autre, d’un moment à l’autre ? »

(communication) Pertinence :

« Est-ce que je ne me trompe pas de résultats à communiquer ? »

Validité :

« Est-ce que les résultats que je communique sont bien ceux que je déclare vouloir communiquer ? »

Fiabilité :

« Est-ce que le décideur peut se fier à ces résultats ? »

2.4 Le processus de mesure par rapport aux processus de recueil d’informations et d’évaluation 2.4.1 DÉFINITION

DE LA MESURE

Mesurer est un processus par lequel on assigne des nombres à des choses selon des règles déterminées.

A. La notion de variable Une variable est une quantité ou une qualité susceptible de fluctuation, c’est-à-dire susceptible de prendre différentes valeurs appelées modalités. La performance atteinte à un test d’aptitude est une variable. Le nombre d’accidents à un carrefour est une autre variable. Le statut professionnel de chacune des personnes d’une population déterminée est encore une autre variable. Pour qu’il y ait mesure, la variable à mesurer doit être clairement définie : ce n’est pas la même chose d’étudier (de mesurer) le statut professionnel de chacune des personnes d’une population que d’étudier (de mesurer) le diplôme acquis par chacune d’elles. Selon la variable que l’on choisit, les mesures vont être différentes.

B. Variable continue et variable discrète La performance atteinte à un test d’aptitude peut revêtir une infinité de fluctuations ou de modalités comprises entre 0 et la note maximale : il s’agit d’une variable continue. Le bénéfice réalisé annuellement par une entreprise, et exprimé en pour-cent du chiffre d’affaire, est un autre exemple de variable continue. Par contre, le nombre d’accidents à un carrefour est une variable discrète, car elle ne peut revêtir qu’un nombre fini de modalités : en effet, on ne peut parler de deux accidents et demi. Il en va de même du nombre de redoublements dans une classe.

70

Le processus de recueil d’informations au service du processus d’évaluation

C. Modalités d’une variable Une seconde condition doit être réunie pour qu’il y ait mesure : les modalités de la variable à mesurer, c’est-à-dire les différentes valeurs qu’elle peut prendre, doivent être clairement définies et celui qui mesure doit savoir comment faire correspondre un chiffre à une modalité observée. Les modalités que peut prendre la variable « nombre d’accidents à un carrefour » sont 0, 1, 2, 3, 4, …. Les modalités que peut revêtir la variable « statut professionnel » sont par exemple « ouvrier », « employé », « cadre », « indépendant », « étudiant » et « sans activité professionnelle » (en définissant bien chacune de ces modalités). Dans les sciences humaines, le problème de la mesure est un problème délicat auquel il faut accorder beaucoup d’attention. Quand un physicien parle de mesure, il pense immédiatement au fait d’assigner des nombres aux observations de telle sorte que ceux-ci lui permettent, par l’intermédiaire de manipulations et d’opérations selon certaines règles, d’acquérir une nouvelle information. En physique, la mesure ne pose pas beaucoup de problèmes, car la relation entre les choses observées et les nombres qui leur sont assignés est très directe. Ainsi, par exemple, si on prend une règle de fer pesant 3 kg, en principe homogène, et qu’on la coupe en deux, il suffit pour connaître le poids de la moitié de la règle de diviser 3 kg par 2. Il s’ensuit une relation directe entre la division de la règle et la division du nombre. En est-il de même en psychologie et en pédagogie ? Absolument pas. Si le psychologue orienteur, le pédagogue ou le psychologue social agissaient comme le physicien avec les résultats d’un test d’intelligence, une note d’examen ou le degré d’une attitude mesurée, ils s’exposeraient à des dangers lourds de conséquences. Aussi nous faut-il distinguer différents types de mesure ou de variable selon le rôle que l’on fait jouer aux chiffres.

D. Les différents types de mesures Les mesures nominales Si on fait jouer aux nombres le simple rôle d’étiquette ou de numéro matricule, on parlera de mesures ou de variables nominales. C’est le cas pour la variable « sexe » qui ne présente que deux modalités que je peux coder « 1 = garçon » et « 2 = fille ». J’aurais pu coder autrement, par exemple « 1 = fille » et « 2 = garçon ». Ce qui importe, c’est d’être cohérent pendant toute l’opération de mesure. Lorsque la variable présente 2 modalités seulement, on parle de variable nominale dichotomique. Si elle présente plus de 2 modalités, on parlera de variable nominale multichotomique (exemple : la variable « style d’enseignement » avec les modalités « 1 = magistrocentré », « 2 = technocentré », « 3 = pédocentré », « 4 = sociocentré »). Dans certains cas, on peut désirer nominaliser une variable qui est au départ continue. Ainsi, il est possible de dichotomiser la variable continue « performance scolaire » à l’aide des 2 modalités

Le processus de mesure par rapport aux processus de recueil d’informations et d’évaluation

71

« 0 = échec » et « 1 = réussite ». En nominalisant cette variable, je consens à perdre beaucoup d’informations et à ne faire jouer aux chiffres qu’un rôle d’étiquette ou de nom. N.B. Il n’est pas nécessaire d’attribuer un chiffre à chaque modalité d’une variable nominale (qualitative) pour que cette dernière puisse se prêter à la mesure. Dans l’exemple ci-dessus, je peux très bien comptabiliser le nombre d’« échecs » et de « réussites », sans nécessairement coder ces deux modalités par « 0 » et « 1 ».

Les mesures ordinales Quand on fait jouer aux nombres non seulement un rôle d’étiquette, mais un rôle ordinal, on parlera de mesures ou de variables ordinales. a) J’ai au départ une variable dont les modalités sont des catégories, et je désire tenir compte de l’ordre de ces catégories. C’est le cas avec des variables telles l’estimation du niveau socio-culturel (1 = niveau inférieur, 2 = niveau moyen, 3 = niveau supérieur), le degré d’accord estimé (1 = désaccord total, 2 = désaccord partiel, 3 = accord partiel, 4 = accord total)… Dans ces cas, on parle de catégories rangées ou rangeables. b) J’ai n objets à observer et l’on me demande de les classer de 1 à n. On parle alors de mesures ordinales en termes de rangs. c) J’ai opéré une observation à l’aide d’une mesure quantitative classique, comme par exemple des notes de 1 à 20, et après coup je range mes observations, car je ne suis pas sûr de la signification des intervalles de mon échelle quantitative initiale. Ainsi, la distance réelle entre une note de 18/20 et 19/20 n’est pas la même qu’entre une note de 12/20 et 13/20. On parle alors de mesures ordinales en termes de scores rangés ou rangeables.

Les mesures d’intervalles Lorsque les distances arithmétiques entre les nombres d’une échelle de mesure trouvent un correspondant dans la réalité du phénomène observé, on aura affaire à des mesures d’intervalles. C’est le cas avec des variables tel le quotient intellectuel. En effet, par construction, la distance entre des QI de 140 et 120 a la même valeur qu’entre les QI de 80 et 60. C’est aussi le cas avec les variables qui se distribuent normalement. Ces variables sont intéressantes car on peut appliquer les opérations d’addition et de soustraction sur les intervalles de ces échelles, ce qui n’était pas le cas pour les variables nominales et ordinales. Les possibilités de traitement statistique sont donc plus grandes.

Les mesures de rapport Quand une échelle de mesure a toutes les caractéristiques d’une échelle d’intervalle et en plus un point 0 vrai comme origine, nous avons affaire à une échelle de rapport. C’est le cas pour des variables tels le poids, la taille, la densité, la mesure des angles… qui possèdent un zéro vrai. Avec de telles variables, toutes les opérations arithmétiques sont permises, non seulement sur les intervalles, mais aussi directement sur les nombres : 40 kg est 2 fois plus lourd que 20 kg alors qu’un quotient intellectuel (variable d’intervalle mais non de rapport) de 40 ne signifie pas une intelligence 2 fois supérieure à un quotient intellectuel de 20 (un quotient intellectuel de zéro n’existe pas).

72

Le processus de recueil d’informations au service du processus d’évaluation

De telles échelles sont très rares en sciences humaines. Un autre exemple d’une échelle qui n’est pas une échelle de rapport est l’exemple de la température en degrés Celsius : zéro degré (Celsius) ne signifie pas une température absolue de zéro degré.

E. Variables dépendantes et variables indépendantes Nous avons évoqué plus haut l’importance de définir avec précision la variable que l’on va mesurer. Avant de préciser cette variable, et les modalités qu’elle peut prendre, il faut la choisir soigneusement en fonction de l’objectif poursuivi. Les notions de variables dépendantes et de variables indépendantes sont liées à ce choix. Une variable dépendante est une variable dont on désire examiner la variation en fonction d’autres variables, dites indépendantes. Supposons que l’on ait décidé d’étudier l’influence de la taille d’une entreprise et du secteur d’activité sur le nombre moyen de jours qu’elle consacre à la formation pour les ouvriers, les employés et les cadres. Le nombre moyen de journées de formation des ouvriers, des employés et des cadres représentent les variables dépendantes, alors que la taille de l’entreprise (à définir selon des critères précis, chiffre d’affaire net, nombre de personnes employées, …) ainsi que le secteur d’activité représentent les variables indépendantes.

2.4.2 LE

PROCESSUS DE MESURE AU SERVICE DU PROCESSUS DE RECUEIL D’INFORMATIONS

Le recueil d’informations est un processus qui suppose un objectif organisateur, la définition d’une stratégie, la collecte proprement dite des informations et le codage des informations sélectionnées. On peut identifier quatre catégories d’informations selon le type de codage qu’elles permettent : 1. Une première catégorie reprend l’information qui est naturellement codée sous la forme d’une mesure (ordinale le plus souvent). C’est le cas du recueil de données de type numérique : chiffre d’affaires, nombre de personnes employées dans tel service, nombre de jours d’absence, résultats obtenus par tels étudiants dans telle branche, âge, etc. 2. Une deuxième catégorie reprend les informations qui peuvent être codées directement sous forme d’une mesure (nominale ou ordinale) lorsque les variables à observer et leurs modalités ont été définies au préalable. EXEMPLES

– codage des niveaux hiérarchiques dans une entreprise : Directeur Général, Cadre Supérieur, Cadre Moyen, Employé, Personnel de Maîtrise, Ouvrier (variable ordinale) ;

– codage des étudiants selon leur pays d’origine : Algérie 1, Belgique 2, France 3, Maroc 4, Tunisie 5, Turquie 6 etc.(variable nominale)

Le processus de mesure par rapport aux processus de recueil d’informations et d’évaluation

73

3. Dans une troisième catégorie, les informations ne sont pas codées au départ de façon à permettre la mesure mais peuvent faire l’objet ultérieurement d’un processus de mesure. Les cas sont potentiellement les mêmes que dans la deuxième catégorie, mais les variables et leurs modalités sont définies après le recueil d’informations, ou après le recueil d’une partie de celui-ci. 4. La dernière catégorie reprend enfin les informations qu’il n’est pas possible de coder sous forme de mesure, ou que l’on ne désire pas coder sous forme de mesure : données spécifiques, avis, sentiments, historiques etc. Le processus de mesure vient donc se mettre naturellement au service du recueil d’informations, lorsque ces dernières appartiennent à une des trois premières catégories. Le processus de mesure entre également en interaction avec le contrôle. En entreprise, le « contrôle de qualité » fait largement appel à la mesure, la plus souvent automatisée par ailleurs. Dans le monde de l’enseignement, le contrôle des connaissances recourt la plupart du temps aux notes chiffrées – que les enseignants utilisent souvent abusivement comme si celles-ci avaient les propriétés d’une échelle à intervalles égaux – ou aux échelles d’appréciation, c’est-à-dire à des mesures ordinales comme par exemple « Excellent », « Très bien », « Bien », « Faible », « Insuffisant ». Le contrôle ne requiert cependant pas nécessairement la mesure. Je peux très bien me contenter, par exemple, d’observer la présence de tel indice et, en fonction du résultat de mon observation, décider d’apporter une correction ou au contraire de continuer le processus. Puisque le contrôle est un sous-ensemble possible du processus évaluatif, la mesure peut donc se mettre au service de l’évaluation. Celle-ci, cependant, requiert le plus souvent beaucoup d’autres types d’informations, surtout si l’objet à évaluer est complexe. Le schéma ci-dessous synthétise ce rapport entre évaluation, contrôle, recueil d’informations et mesure, en présentant les trois situations les plus fréquentes.

74

Le processus de recueil d’informations au service du processus d’évaluation

Processus d’évaluation

Processus d’évaluation

Processus d’évaluation Processus de contrôle

Processus de recueil d’informations

Situation 1 Évaluation sans contrôle ni mesure

Processus de recueil d’informations

Processus de recueil d’informations

Processus de mesure

Processus de mesure

Situation 2 Évaluation avec mesure

Situation 3 Évaluation-contrôle

CHAPITRE 3

LE PROCESSUS DE RECUEIL D’INFORMATIONS AU SERVICE DU PROCESSUS DE RECHERCHE 3.1 Le processus de recherche 3.1.1 FONCTIONS

DES PROCESSUS DE RECHERCHE

À côté de l’évaluation, la recherche constitue un autre processus fondamental. Si les chercheurs s’accordent pour reconnaître une pluralité de recherches, un préjugé plus ou moins fortement enraciné rend difficiles les rapports entre chercheurs. Selon ce préjugé, il existerait des recherches plus nobles et d’autres qui le seraient moins. Les chercheurs qui se qualifient de « fondamentalistes » regardent avec dédain leurs collègues qui « descendent » sur le terrain pour faire de la recherche-action : pas de dispositif de recherche, aucun contrôle des variables, pas ou peu de mesures, peu d’attention à la validité et à la fiabilité… ! Ces collègues à leur tour leur renvoient un dédain aussi hautain : nous sommes les seuls à connaître la « vraie » réalité, « nous étudions les phénomènes dans leur complexité et nous ne découpons pas la réalité en tranches », « le chercheur doit expliciter son référentiel et non pas se retrancher derrière une pseudo-neutralité »… ! Ce dialogue de sourds est un faux débat. Si on considère que des types de recherche différents revêtent des fonctions et des exigences différentes, si on admet que chaque type de recherche doit être pensé et réalisé pour remplir une fonction prioritaire bien précise, mais que secondairement elle peut occasionnellement remplir d’autres fonctions, alors on doit reconnaître l’utilité et la noblesse de chaque type de recherche. Si la fonction prioritaire de la recherche est d’aider les acteurs à prendre conscience des déterminants de leur action et à prendre eux-mêmes des décisions spécifiques conséquentes (fonction de formation et d’émancipation des acteurs), la rechercheaction est bien plus indiquée que la recherche scientifique sur le terrain, même si celleci peut parfois avoir des retombées secondaires émancipatrices. Réciproquement, si une recherche est conçue prioritairement pour vérifier le bien-fondé d’une loi scientifique, il vaudra mieux recourir à une recherche scientifique (de laboratoire ou sur le terrain selon les cas) qui requiert d’autres exigences (dispositif de contrôle, mesures validées, etc.).

76

Le processus de recueil d’informations au service du processus de recherche

Dans bien des cas, l’hypothèse vérifiée, ou la réponse à la question de recherche, aura été apportée par un autre type de recherche (par exemple la rechercheaction, qui n’avait cependant pas cela comme fonction prioritaire). Si le type de recherche est conditionné par la fonction prioritaire à remplir, la façon dont la recherche va être menée est avant tout liée au référentiel du chercheur, c’est-à-dire le système de valeurs auxquelles il se réfère. Supposons que dans différents pays, l’on décide de mener, de façon non concertée, une recherche sur l’efficacité comparée de différentes méthodes pédagogiques pratiquées à l’école. Ces recherches seront menées sur des bases totalement différentes selon la façon de concevoir le rôle de l’école. Dans des pays comme le nôtre, où l’on attache beaucoup d’importance à l’évaluation de certification des élèves, on considérera probablement l’échec scolaire comme un indicateur de toute première importance. Dans un pays comme la Finlande, où aucune évaluation de certification n’est pratiquée avant l’âge de 15 ans, et où la notion d’échec scolaire est dès lors absente, on prendra en compte d’autres indicateurs prioritaires, comme par exemple l’adéquation entre l’orientation d’un élève et ses capacités. Dans un pays en voie de développement enfin, l’évolution du taux de fréquentation scolaire, ou encore la régression de l’analphabétisme sont les indicateurs qui seront pris en compte de façon prioritaire. Nous verrons plus loin que ce référentiel peut ne pas être défini au départ, et que le déroulement de la recherche conduit à définir ce référentiel. Ces exemples posent d’emblée la double problématique sous-jacente à toute recherche : • quelle est la fonction de la recherche dont il est question ? Quelle est la fonction prioritaire, et éventuellement, quelles sont les fonctions secondaires ? • dans quel référentiel cette recherche s’inscrit-elle ? Ce référentiel est-il bien défini au départ, ou susceptible d’être modifié, ou encore à construire ? Nous développerons plus tard ces deux questions fondamentales à propos desquelles toute personne impliquée dans une recherche doit être bien au clair, sous peine de se voir entraînée sans boussole ni gouvernail dans un océan d’informations de toutes sortes et de questions allant dans tous les sens, et de s’y noyer. En tout état de cause, ces réflexions préliminaires nous poussent à conclure que s’il existe des recherches aux fonctions prioritaires différentes, la recherche est un processus global qui s’inscrit dans la durée et qui requiert des types de recherches différents qui s’appuient les uns sur les autres. Il n’y aurait donc pas de bonne ou de mauvaise recherche au départ. Par contre, une recherche peut être plus ou moins bien menée en regard de la fonction visée et du référentiel auquel elle se réfère.

3.1.2 DÉFINITION

DE LA RECHERCHE

De façon tout à fait générale, nous définirons la recherche comme un processus systématiquement et intentionnellement orienté et ajusté, à destination de la communauté

77

Le processus de recherche

scientifique relative à un domaine donné, en vue d’innover ou d’améliorer la connaissance dans ce domaine. Selon le type de recherche, cette connaissance peut revêtir différentes formes : – un corps de connaissances sous la forme de lois condensées ; – la connaissance d’un contexte spécifique qui permet de prendre les décisions adéquates à ce contexte ; – la connaissance des déterminants de l’environnement et des comportements des acteurs d’un système ; – des connaissances hypothétiques ; – des connaissances spécifiques ; – des connaissances sous forme de création de nouveaux référentiels de pensée, ou encore la méta-connaissance ; – etc. La position du processus de recherche par rapport au processus d’évaluation est complexe. Un processus de recherche ne peut se concevoir sans évaluation, ne fût-ce que minime, mais une évaluation n’est pas nécessairement au service de la recherche. On peut illustrer ces rapports par le schéma suivant qui présente trois situations que l’on rencontre couramment.

Processus de recherche

Processus de recherche

Processus d’évaluation

Processus d’évaluation

Processus d’évaluation

Situation 1

Situation 2

Situation 3

La situation numéro 1 serait par exemple celle d’une recherche qui vise à concevoir un tout nouveau procédé de fabrication d’un produit. La phase d’évaluation joue un rôle prépondérant, en termes d’effets obtenus (qualité du produit, rentabilité, …), de fonctionnement (facilité du procédé, pollution, bruit, …) et de satisfaction. La situation numéro 2 illustrerait par exemple une recherche ethnologique s’attachant à retrouver les traces d’une civilisation ancienne. Bien que principalement orientée vers la description et l’émission d’hypothèses, cette recherche doit au moins comporter des phases d’évaluation ponctuelles, ne fût-ce que des évaluations de régulation permettant d’évaluer la pertinence et la validité de la stratégie mise en œuvre. Toutes les variantes sont possibles entre la situation 1 et la situation 2. La situation numéro 3 illustrerait par exemple un processus d’évaluation des performances des personnes, se déroulant en dehors de tout contexte de recherche.

78

Le processus de recueil d’informations au service du processus de recherche

Parfois, il se peut même qu’une recherche intervienne partiellement dans une démarche d’évaluation. C’est par exemple le cas d’une démarche d’analyse des besoins de formation qui nécessite d’effectuer une recherche descriptive sur les caractéristiques de la population en vue de constituer un échantillon pertinent. Plus tard, nous préciserons les critères qui permettent de distinguer de façon plus générale si une investigation est une recherche ou une évaluation.

3.2 Les différents types de recherche Plusieurs critères permettent de différencier de façon assez fondamentale des types de recherche. La distinction la plus courante est la distinction opérée entre recherche qualitative et quantitative, avec souvent le présupposé que la première est noble, et la deuxième manque de rigueur. Nous n’entrerons pas dans ce débat, ni même dans cette distinction, pour plusieurs raisons, reprises par DE KETELE et MAROY (2006) : – l’une comme l’autre sont soumises à des règles de fonctionnement très strictes (hypothèse, cadre théorique, rigueur et transparence du dispositif méthodologique et du traitement des informations…), et doivent répondre aux mêmes critères de qualité (pertinence, validité, fiabilité) ; – ce sont plus des types d’approches, que des types de recherches ; ces approches sont d’ailleurs souvent complémentaires, et coexistent au sein d’une même recherche ; – il existe des dérives importantes à vouloir tout quantifier : il n’est pas de bonne quantification sans une bonne qualification au départ. Nous préférons établir des distinctions d’un autre ordre. Citons notamment : – le référentiel existant au départ : un référentiel très strict et bien défini, un référentiel susceptible d’être adapté en cours de route, un référentiel implicite qu’il s’agira d’expliciter… – le produit recherché au départ : une loi scientifique, une décision généralisable, une décision contextualisée, une action-formation, une hypothèse, des caractéristiques descriptives, un référentiel, … – la valeur prioritaire à laquelle la recherche se réfère : la vérité, l’efficacité, l’émancipation des acteurs, la créativité, l’objectivité, la compréhension prospective, … – le degré de généralisabilité recherché – etc. 1. 2. 3. 4. 5. 6. 7.

Ces critères permettent de distinguer sept types principaux de recherche : La recherche scientifique (3.2.1) La recherche technologique (3.2.2) La recherche évaluative ou opérationnelle (3.2.3) La recherche-action (3.2.4) La recherche exploratoire (3.2.5) La recherche descriptive (3.2.6) La recherche spéculative (3.2.7) À la page 88, un tableau synthétisera les caractéristiques de ces différents types.

Les différents types de recherche

79

Ainsi que nous l’avons mentionné plus haut, un processus de recherche sera souvent constitué d’une combinaison de plusieurs recherches de types différents.

3.2.1 LA

RECHERCHE SCIENTIFIQUE

Dans son célèbre « Handbook of multivariate experimental psychology », CATTELL (1966) emploie tout son premier chapitre à démontrer combien a été dommageable pour les sciences humaines la conception de la recherche scientifique conçue comme un processus hypothético-déductif, procédant par l’émission d’une hypothèse à partir d’une recension des recherches publiées et la vérification de celle-ci par une recherche planifiée à cet effet. Pour se résumer, CATTELL disait en fin de chapitre : « Une certaine artificialité a prévalu dans les traités concernant la théorie et la méthode scientifiques (…). On y enseigne habituellement à l’étudiant une notion de la méthode scientifique comme de nature essentiellement hypothético-déductive et les contraintes de la vie académique encouragent la vérification ponctuelle d’hypothèses de seconde main, partielles et stériles. La recherche scientifique actuelle est au contraire une spirale inductivo-hypothético-déductive dans laquelle une recherche adéquate d’hypothèses alternatives est en constant développement » (CATTELL, 1966, p. 18). Une conception hypothético-déductive apparaît également trop souvent au niveau de la recherche pédagogique. C’est ainsi que GAGE (1963), éditeur d’un manuel de base pour les chercheurs en pédagogie, définit la recherche comme « l’activité destinée à augmenter notre pouvoir de compréhension, de prédiction et de contrôle des événements d’une sorte donnée ». « Toutes ces trois fonctions, ajoute-t-il aussitôt, enveloppent les relations entre événements ou variables. Nous comprenons un événement en le reliant logiquement aux autres… Nous prédisons un événement en le reliant empiriquement à ses antécédents dans le temps. Nous contrôlons un événement en manipulant les variables indépendantes avec lesquelles il est fonctionnellement relié ». (GAGE, 1963, p. 96)

Le principal inconvénient d’une activité de type hypothético-déductif est qu’elle ne permet pas suffisamment l’émergence d’hypothèses tout à fait nouvelles et mène souvent le chercheur dans des impasses. De plus, le recueil d’informations est une composante qui ne devient importante que lorsqu’on se rapproche de l’application. Il en va tout autrement dans la conception inductivo-hypothético-déductive où la phase inductive est une phase préliminaire nécessaire, appelée d’ailleurs très souvent phase d’observation. Plutôt que de commencer à déduire une hypothèse des résultats de recherches existantes, la conception inductivo-hypothético-déductive veut que le processus de recherche commence par une phase exploratoire ou phase inductive ou phase d’observation, d’où émergera une série d’hypothèses alternatives susceptibles d’ajustements progressifs. Ceci est d’ailleurs conforme à ce que nous rapportent les études sur l’histoire des découvertes scientifiques et sur la créativité : les hypothèses pertinentes

80

Le processus de recueil d’informations au service du processus de recherche

surgissent soit lors d’une observation prolongée en situation naturelle (comme chez BINET par exemple), soit d’une observation occasionnelle qui présente quelque analogie intéressante avec le sujet étudié (comme chez SCRIVEN), soit par l’intermédiaire d’une observation attentive des régularités non attendues ou des erreurs lors d’une expérience (comme chez PIAGET). Le processus de recherche scientifique sera donc conçu comme un processus qui évolue en spirale (CATTELL, 1966, p. 16), comme l’évoque la figure ci-dessous.

1. Expérience Observation 2. Raisonnement inductif dégageant une certaine régularité 3. Hypothèse 4. Déduction des conséquences pour l’expérience ou l’observation 5. Expérience Observation 6. Induction 7. Nouvelle hypothèse 8. Déduction

Etc.

À la base de ce processus complexe, on trouve une recherche exploratoire (aussi appelée recherche heuristique), phase ouverte dans laquelle le chercheur se situe comme un véritable explorateur, dans laquelle il se familiarise avec une situation ou un phénomène (1), tente de les décrire et de les analyser (2). De cette phase ouverte, il fait émerger, grâce au raisonnement inductif et souvent aussi grâce à de nombreux facteurs inconscients ou occasionnels, une hypothèse parmi plusieurs alternatives, cohérente avec le corps des connaissances antérieures bien établies (3), qu’il vérifie ensuite à travers une expérimentation planifiée à cette fin (4). L’expérimentation (5) débouche à son tour sur une nouvelle exploration (6) générant une nouvelle hypothèse (7), qui fait l’objet d’un autre processus d’expérimentation (8), etc.

Les différents types de recherche

81

Il faut noter avec B.-M. BARTH (1987) que l’induction et la déduction sont toutes les deux des processus d’inférence, c’est-à-dire des opérations visant à produire du sens. Dans le cas de l’induction, on infère du général (théorique) à partir du particulier, ce qui signifie que l’on tente de produire, à travers une hypothèse, une théorie chargée de sens à partir de faits particuliers ; dans le cas de la déduction, on infère du particulier à partir du général ou du théorique. Certains auteurs parlent à ce sujet d’inférences inductives et d’inférences déductives. Le concept d’inférence sera plus largement développé en 5.5.3. Certains scientifiques, tels J. LADRIERE (communication inédite au colloque de Salamanque, 1991), estiment qu’il faut ajouter une autre phase importante entre la phase d’induction et la fabrication de l’hypothèse : c’est la phase d’abduction. Une fois que l’on a dégagé certains invariants induits de l’observation et de l’exploration, on élargit le champ d’investigation en mettant en œuvre des méthodes créatives : on paramètre un certain nombre de variables (les types d’acteurs, les fonctions, …), on les combine, on fait le tour des disciplines voisines pour voir si l’on n’a pas négligé une dimension importante, etc. On fabrique ensuite un grand nombre d’hypothèses, et on dégage celles qui paraissent possibles ou non, logiques ou non, intéressantes ou non, pour ne garder qu’une hypothèse centrale. Deux phases essentielles composent donc tout processus de recherche digne de ce nom : une phase heuristique, faite d’observation et de réflexion, et une phase de confirmation, qui a pour fonction de vérifier le bien fondé d’une hypothèse au moyen d’un dispositif prévu à cet effet, assuré valide et susceptible de répétabilité. Une recherche scientifique est donc une recherche qui possède les caractéristiques suivantes. a) Un problème à résoudre et une problématique sont posés à partir d’une phase d’observation des phénomènes étudiés ou reliés ; b) Une hypothèse (c’est-à-dire une idée que, dans telles conditions, il se produit tel fait) est générée avec un doute sincère quant à sa validité ; c) Des démarches sont suivies par lesquelles on découvre ou l’on produit les conditions susdites ; d) Les faits liés au problème sont observés (ou mesurés ou évalués) et confrontés aux faits attendus par hypothèse ; e) Des restructurations sont recherchées. On en distingue deux types principaux : a) La recherche scientifique fondamentale ou de laboratoire. b) La recherche scientifique sur le terrain.

A. La recherche scientifique fondamentale ou de laboratoire Elle cherche à énoncer des lois scientifiques fondamentales, non directement applicables, comme par exemple les lois de l’apprentissage, quel qu’il soit.

82

Le processus de recueil d’informations au service du processus de recherche

B. La recherche scientifique sur le terrain Contrairement aux recherches précédentes qui visaient à énoncer des lois « désincarnées », les recherches scientifiques sur le terrain débouchent sur des lois scientifiques directement applicables (exemple : les lois de l’apprentissage de la lecture chez le jeune enfant), découvertes dans un contexte dont il faut bien préciser les caractéristiques (caractéristiques situationnelles et historiques des individus). Qu’elles soient fondamentales ou sur le terrain, les recherches scientifiques ne visent pas en premier lieu l’action (la décision) : elles visent la vérité.

3.2.2 LA

RECHERCHE DE DÉVELOPPEMENT, OU RECHERCHE TECHNOLOGIQUE

Contrairement aux recherches scientifiques, les recherches technologiques ou de développement visent essentiellement l’action. La valeur prioritaire à laquelle elles se réfèrent est l’efficacité. Grâce à sa connaissance des lois scientifiques, le chercheur essaie de construire des outils (instruments, matériels, stratégies d’intervention…) efficaces pour le praticien. L’efficacité suppose ici que l’outil soit valide et fiable, que l’on ait précisé les conditions et les limites d’application. Dans cet effort, le chercheur tentera d’énoncer des lois technologiques généralisables dans un contexte déterminé ou, plus simplement, des règles technologiques pour l’élaboration ou l’utilisation d’un instrument donné. Ce type de recherche est donc orienté vers la prise de décisions généralisables. Ses composantes (phases et caractéristiques) sont celles qui ont été décrites en 3.2.1. Ce sont les mêmes que pour la recherche scientifique, bien qu’elles interviennent à des intensités diverses. La distinction entre recherche scientifique et recherche de développement perd actuellement beaucoup de son intérêt pour de nombreuses raisons : les frontières entre les deux sont difficiles à tracer ; une tendance trop fréquente à accorder une « valeur » supérieure à la première par rapport à la seconde apparaît gênante à beaucoup de personnes. C’est une des raisons qui nous conduisent à les ranger dans une même catégorie de « recherches expérimentales ». Elles répondent aux caractéristiques énoncées en 3.2.1, et peuvent être de trois types différents : • la recherche scientifique fondamentale, ou de laboratoire ; • la recherche scientifique sur le terrain ; • la recherche technologique, ou de développement. Elles se distinguent des autres recherches avant tout par leur phase confirmatoire pensée a priori.

Les différents types de recherche

83

3.2.3 LA

RECHERCHE OPÉRATIONNELLE ET LA RECHERCHE ÉVALUATIVE

Au contraire des recherches qui ont été présentées jusqu’ici, qui avaient pour but d’émettre une loi scientifique ou une décision généralisable, les recherches dont il est question ici ont pour but de fonder une décision dans un contexte spécifique. Cette décision est une décision la plus scientifique possible, énoncée par une autorité différente du chercheur. Ces recherches ne débouchent donc pas sur une généralisation.

A. Recherche opérationnelle Une recherche opérationnelle possède un caractère exploratoire. Une recherche épidémiologique visant à mettre en évidence la corrélation entre tel facteur d’environnement et l’apparition de telle maladie est un exemple de recherche opérationnelle. De telles recherches sont souvent pratiquées à une échelle supra-nationale, nationale ou régionale, chaque fois qu’il s’agit d’émettre ou de modifier une norme de sécurité, d’hygiène, de respect de l’environnement, etc.

B. Recherche évaluative La recherche évaluative est plus complexe à cerner. Certains auteurs préfèrent parler d’« évaluation des innovations » (CARDINET, 1986), de « survey » (DE LANDSHEERE, 1979, et les anglo-saxons), ou encore de « macro-évaluation » (TOURNEUR, ROCHEZNIMAL, 1986), définie comme « une démarche systématique de recueil et d’interprétation des observations dans le but de faire connaître le déroulement et les effets d’un projet pédagogique. Le terme « projet » couvre, dans cet exposé, un ensemble d’actions et d’organisations éducatives qui sont habituellement désignées par différents vocables : programme, curriculum, innovation, système (classe, école, canton, pays, …) ». Comme le laissent entendre ces approches, la frontière entre la recherche évaluative et ce que nous avons appelé « évaluation d’un fonctionnement ou d’un système » (« évaluation d’organisation », au sens large) n’est pas toujours bien définie. On peut dire que l’on parlera davantage de recherche évaluative lorsque : – la fonction prévisionnelle ou prospective prend le pas sur la fonction de régulation ; – la décision à prendre possède un caractère innovant ; – l’objet de l’évaluation est un projet original, un plan, un produit nouveau, et non le système lui-même ; – le chercheur n’a pas à rendre compte, en cours d’investigation, de la méthodologie utilisée. EXEMPLE

C’est ainsi que l’évaluation d’un programme d’enseignement après 3 ans de fonctionnement à l’échelle d’un pays sera considérée comme une recherche évaluative. Il en va de même de l’évaluation après plusieurs années d’un vaste plan d’action visant à stopper la désertification au Sahel.

84

Le processus de recueil d’informations au service du processus de recherche L’étude comparative des performances économiques des différents pays d’un continent en regard du système politique mis en place sera également considérée comme une recherche évaluative, tandis que l’évaluation des performances d’une entreprise sera davantage associée à l’évaluation d’un système ou d’un fonctionnement.

En 3.3, nous compléterons cette approche en proposant des critères qui permettent de différencier les deux processus fondamentaux que constituent les processus de recherche et d’évaluation. Les recherches évaluatives ou opérationnelles peuvent à leur tour déboucher sur des recherches scientifiques. Par exemple, la convergence des conclusions de plusieurs recherches épidémiologiques peut faire surgir une hypothèse généralisable, à vérifier par un dispositif expérimental complémentaire, ou dans certains cas même faire force de loi, tant les convergences sont fortes.

3.2.4 LA

RECHERCHE-ACTION

Le mouvement de la recherche-action est une tentative assez récente de formalisation d’une recherche qui se veut explicitement « engagée » par opposition à une recherche qui se veut autant que possible « indépendante », « non réactive », « objective ». Il n’est pas toujours facile de raisonner sainement à propos de la recherche-action car trop souvent, des luttes passionnelles, idéologiques et institutionnelles viennent jeter le trouble : souci ou rejet de la neutralité, accusation de politisation, idéologies de droite contre idéologies de gauche, conservatisme contre progressisme, recherche instituée contre recherche créative… Parmi les nombreux écrits, celui d’ELLIOTT (1978) reste à nos yeux celui qui a le mieux cerné les caractéristiques essentielles de la recherche-action en milieu scolaire. a) La recherche-action en milieu scolaire prend comme champ d’investigation les actions humaines et les situations sociales qui sont perçues (« expériencées ») par les enseignants comme : – inacceptables sous certains aspects ; – susceptibles de changement ; – requérant une réponse pratique. b) Le but de la recherche-action est d’approfondir la compréhension que l’enseignant a de son problème. Elle adopte donc une position exploratoire. c) La recherche-action adopte une position théorique selon laquelle l’action visant à changer la situation est temporairement suspendue jusqu’à ce qu’une compréhension plus profonde du problème pratique soit trouvée. d) Dans l’explication de ce qui arrive dans la situation pratique, la recherche-action n’adopte pas des énoncés « formels » (lois causales ou corrélations statistiques) mais des énoncés « naturalistes » (succession d’événements reliés et replacés dans un contexte de contingences mutuellement interdépendantes). Elle privilégie donc la méthode historique, le récit de vie (DE GAUJELAC & LEGRAND, 2008), l’évaluation illuminante (voir CARDINET, 1975) et l’étude de cas. e) La recherche-action interprète ce qui arrive à partir du point de vue des acteurs dans la situation-problème (des »inter-acteurs »).

Les différents types de recherche

85

Elle se base donc sur : – les représentations que les divers acteurs (enseignants, élèves, directeurs, parents, …) ont de la situation ; – les intentions et les buts ; – le choix et les prises de décision ; – les reconnaissances de certaines normes, principes et valeurs fondant les représentations, les buts et les décisions. f) Puisque la recherche-action examine une situation à partir du point de vue des participants, elle décrira et expliquera ce qui arrive dans la situation en utilisant le langage des participants (langage de la vie de tous les jours et non langage technique). Les rapports de recherche-action ont pour fonction essentielle d’approfondir le dialogue entre les acteurs de la situation ou d’aider d’autres chercheurs ou acteurs. g) Puisque la recherche-action examine un problème à partir du point de vue de ceux qui y sont impliqués, elle ne peut être validée que dans le cadre d’un dialogue non contraint entre les différents participants (acteurs habituels et chercheurs participants). h) Puisque la recherche-action exige un dialogue non contraint, elle doit assurer à tous les participants un libre accès à toutes les informations susceptibles de permettre une meilleure compréhension du problème. La recherche-action conduite par QUIVY, RUQUOY et VAN CAMPENHOUDT (1989) et rapportée dans leur ouvrage « Malaise à l’école » illustre bien ces caractéristiques et peut être citée en exemple pour les chercheurs amenés à conduire des recherches-action. Une synthèse intéressante des contributions des différentes options a été effectuée en 1988 par HUGON et SEIBEL, suite au colloque organisé en 1986 par l’Institut National de Recherche Pédagogique à Paris. Certains auteurs, tels PATRY (cité in ALLAL, 1981), remettent en cause le concept de recherche-action, argumentant que la recherche scientifique de terrain peut se mettre au service de l’action. Quant à nous, nous pensons qu’il est nécessaire de laisser la place à différentes formes de recherches, qu’aucune d’elles n’a, dans l’absolu, priorité ou plus de valeur, mais que chacune d’elles a une fonction première spécifique, pour laquelle les démarches méthodologiques sont pensées en priorité. On consultera avec intérêt le « Guide de la recherche-action, la planification et l’évaluation participative » de CHEVALIER, BUCKLES et BOURASSA (2013).

3.2.5 LA

RECHERCHE (SCIENTIFIQUE OU TECHNOLOGIQUE) EXPLORATOIRE

Lorsque nous avons abordé la recherche expérimentale, nous avons souligné l’importance d’une phase heuristique à côté de la phase de confirmation. La phase heuristique est faite d’observation et de réflexion en vue de générer des hypothèses.

86

Le processus de recueil d’informations au service du processus de recherche

La plupart des rapports de recherche ne consignent cependant que les démarches et les résultats de la phase de confirmation. Selon CATTELL (1966), ceci serait une cause d’une certaine négligence pour la phase heuristique, phase capitale à ses yeux : le chercheur doit être beaucoup plus explorateur (« explorer ») et un détective (« détective ») qu’un homme de loi (« lawyer »). Malheureusement, constate-t-il, c’est souvent sur ces dernières qualités que la vie académique juge un chercheur. Cela aboutit à la pratique habituelle, dépourvue de sens, où l’on voit les recherches s’engendrer mutuellement selon des « hypothèses de seconde main » jusqu’à épuisement de la veine ou jusqu’à l’impasse. Qu’il suffise d’analyser le contenu des revues scientifiques ! Ce phénomène constaté par CATTELL n’a sans doute pas été étranger à l’acceptation par certaines revues des rapports de recherches exploratoires qui consignent les démarches menées lors d’une phase heuristique et les hypothèses qui y ont été générées. Dans de telles recherches, « le but principal n’est pas de voir ce qui se passe, ce qui est vrai, de prouver quelque chose mais de voir ce qui pourrait se passer, ce qui pourrait être vrai » (PATRY, 1981, p. 39). À nos yeux, de telles recherches jouent un rôle capital pour le chercheur lui-même : le familiariser avec le sujet à étudier et avec les situations dans lesquelles le phénomène se produit, lui permettre de faire l’inventaire des variables susceptibles de jouer (et pas seulement des variables déductives a priori)… et donc de bien cerner la problématique de l’objet de l’étude. Une bonne recherche exploratoire combine donc créativité et rigueur. Cette combinaison peut cependant se faire dans des proportions très variables. Il peut y avoir des recherches exploratoires très libres. D’autres au contraire s’appuient sur des plans expérimentaux très rigoureux. Elle est essentiellement au service de la recherche expérimentale, que ce soit la recherche scientifique ou la recherche technologique. Inversement, toute recherche peut également avoir une fonction exploratoire, c’est-à-dire qu’elle peut faire émerger d’autres hypothèses qu’il faudra vérifier par la suite, ou d’autres questions de recherche auxquelles on pourrait s’intéresser par la suite. Il ressort de ce qui précède que la recherche exploratoire est une démarche inductive qui comporte souvent des micro-processus de déduction et de vérification.

3.2.6 LA

RECHERCHE DESCRIPTIVE

On parlera souvent de « recherche descriptive » comme du processus préparatoire à une évaluation ou à une recherche, lorsque le système est d’une complexité telle qu’il est nécessaire de commencer par le décrire le plus rigoureusement possible. Elle intervient donc surtout en support aux processus d’évaluation et de recherche. Cependant, certaines recherches descriptives constituent au départ un but en ellesmêmes. Ce n’est que dans un second temps qu’elles débouchent sur d’autres recherches. Citons par exemple les recherches archéologiques, dont le processus de description minutieux est souvent générateur d’hypothèses. Actuellement, on parle aussi très souvent d’observation éthologique et d’observation visant à établir un éthogramme, c’est-à-dire « un inventaire systématique des

87

Les différents types de recherche

comportements d’un sujet dans une situation donnée » (DE LANDSHEERE, 1979, p. 109). L’observation éthologique a surtout été développée dans l’étude du comportement animal. Récemment, elle s’est étendue au comportement humain. « Elle est basée sur quelques postulats fondamentaux qui sont de plus en plus utilisés dans l’étude des sujets humains :

• La description et la classification du comportement sont un préliminaire nécessaire à son analyse.

• Le comportement d’un animal ne peut être correctement étudié sans quelque connaissance de l’environnement auquel l’espèce est parvenue à s’adapter en cours d’évolution.

• Les problèmes de la fonction évolutive et biologique du comportement sont, en principe, aussi importants que ceux de la cause immédiate « (DE LANDSHEERE, 1979, p. 109).

3.2.7 LA

RECHERCHE SPÉCULATIVE

C’est la recherche qui présente le caractère innovateur et exploratoire le plus prononcé, mais aussi le plus haut degré d’incertitude quant à la preuve. Lorsqu’elle est de qualité, la recherche spéculative est souvent menée par des savants de haut niveau : futurologues, astrophysiciens, … La recherche spéculative est essentiellement axée sur la fonction prospective, sans aucun souci de déboucher sur une décision, une action, ni même une conclusion. Loin de se conformer à un référentiel existant, elle tente plutôt de bousculer ceux-ci, de concevoir de nouveaux référentiels de base en ouvrant des pistes sur la façon de poser convenablement les problèmes. Par là même, elle fait émerger des macro-hypothèses fondamentales. Elle débouche donc naturellement sur d’autres types de recherches, mais elle oriente aussi celles-ci, dans le sens où elle peut remettre en question leur pertinence. C’est par exemple le cas des recherches spéculatives qui renversent la façon de concevoir la formation du système solaire, l’apparition de l’oxygène sur notre planète, l’origine de l’homme, etc. À titre d’illustration, il suffit de penser à des chercheurs tels COPERNIC, FREUD, EINSTEIN. L’aspect prospectif de la recherche spéculative peut aller dans un double sens. (8) Elle peut avoir pour objet d’étudier le futur. Un exemple de ce type de recherche est développé dans l’ouvrage de TOFFLER (1991). (9) Elle peut avoir pour objet d’associer ou de combiner de façon particulière des éléments que jusque là on n’avait pas pensé à mettre ensemble, produisant une nouvelle synthèse originale, apportant un autre regard compréhensif, et générant par là de nouvelles pistes de recherche.

3.2.8 SYNTHÈSE

DES DIFFÉRENTS TYPES DE RECHERCHES

Le tableau suivant (DE KETELE, 1984) reprend en synthèse les différents types de recherches, ainsi que leurs caractéristiques principales.

88

Le processus de recueil d’informations au service du processus de recherche

TYPES DE RECHERCHE

CRITÈRE 3 CRITÈRE 2 CRITÈRE 1 Recherche prioritairement orien- Nécessité de prévoir et Exigence stricte demesures tée vers … et devant avant tout de contrôler la mise en (quantitatives ou/et qualitaœuvre d’un dispositif de tives) valides et fiables (ou fonder la validité des … du moins estimation du recherche aussi valide degré de validité et fiabilité). que possible.

RS : recherche scientifique Conclusions : RSF & RSL : recherche scien- Lois scientifiques fondamentales, tifique fondamentale et de non directement applicables. laboratoire RST : recherche scientifique sur le terrain

Lois scientifiques applicables.

RD ou RT (ou RAP) : recherche de développement ou recherche technologique (ou recherche appliquée).

Décisions généralisables. Lois et règles technologiques, instruments, matériels, … valides, fiables et généralisables dans des contextes bien définis. Décisions scientifiques. Ces décisions ne sont pas énoncées par les chercheurs mais par les décideurs. La recherche a pour but de mener à bien et de communiquer une évaluation valide et fiable en vue de fonder la décision. Action-Formation. La recherche est avant tout menée pour aider les acteurs à prendre conscience des déterminants de leur action et à prendre les décisions spécifiques conséquentes.

RE ou RO : recherche évaluative ou opérationnelle.

RA : recherche-action.

RSE ou RTE : recherche scien- Hypothèses. tifique ou technologique Le but primordial est de générer exploratoire. des hypothèses. Les démarches suivies sont reconnues valides si elles permettent effectivement cette activité heuristique. RDE : recherche descriptive Lois descriptives. Caractéristiques descriptives. Le but principal est de cerner un contexte pour préparer un autre processus, heuristique, évaluatif, etc. RSP : Recherche spéculative

Oui. Recours à des dispositifs expérimentaux, quasiexpérimentaux, corrélationnels selon les cas. Idem.

Oui.

Oui. Oui. Recours à des dispositifs expérimentaux, quasiexpérimentaux ou corrélationnels selon les cas. Oui. Non. Dans la plupart des cas, le dispositif d’évaluation se construit ou s’ajuste en cours de recherche s’il veut être valide.

Non. Les étapes de la recherche sont subordonnées aux réactions des acteurs et aux événements.

Non. Le contexte ne permet pas souvent de s’assurer de la validité et de la fiabilité des observations.

Non.

Oui/Non. Oui pour les mesures déjà connues comme valides. Non pour l’observation des phénomènes peu ou mal connus. Oui, dans la seconde phase.

Oui. Après avoir exploré les pistes de description possibles, on crée dans une seconde phase un dispositif systématique de description. Construction de nouveaux référen- Non. Non. tiels de base.

89

Les différents types de recherche

CRITÈRE 4 Généralisabilité.

CRITÈRE 5 Répétabilité.

CRITÈRE 6 Destinataires premiers des rapports de recherche.

Oui aux contextes et traitements de laboratoire.

Chercheurs. Oui. La répétabilité est plus facile car la situation de laboratoire est plus contrôlable.

Oui aux catégories de contextes et de traitements « échantillonnés ». Oui. Généralisation de l’applicabilité à des contextes bien précisés.

Il est plus difficile de reproduire les mêmes catégories de contextes et de traitements. Oui. Décideurs/chercheurs.

CRITÈRE 7 Valeur prioritaire.

Vérité. (La connaissance)

Efficacité.

Décideurs préoccupés d’un Non. Non. La recherche a pour but prio- Puisque le contexte est spéci- contexte spécifique. ritaire de fonder une décision fique. valable pour un contexte déterminé et non nécessairement pour un ensemble de contextes.

Adéquation.

Non. Non. La recherche ne peut être considérée que dans le contexte où elle a été menée (praticiens-acteurs avec chercheursacteurs dans un contexte non exactement répétable). Non. Oui, dans beaucoup de cas. Un autre chercheur est susceptible de reproduire les démarches suivies.

Acteurs.

Emancipation.

Chercheurs.

Créativité.

Oui.

Oui.

Chercheurs (ou évaluateurs). Objectivité.

Non.

Non.

Chercheurs ou public cultivé de haut niveau.

Compréhension prospective.

90

Le processus de recueil d’informations au service du processus de recherche

3.3 Les critères de qualité d’une recherche On peut appliquer, pour une recherche, les mêmes critères de qualité que pour une évaluation : pertinence, validité, fiabilité (voir en 2.2.2). DE KETELE et MAROY (2006, p. 248) proposent la synthèse suivante des qualités d’une recherche : COMPOSANTES de l’activité et de la communauté scientifique

PERTINENCE

VALIDITÉ

FIABILITÉ

Conceptualisation

Est-ce que je ne me trompe pas d’objet d’étude ? de cadre conceptuel ? de cadre problématique ? (pertinence théorique)

Y a-t-il adéquation et cohérence suffisante entre, d’une part, les noms et concepts que j’attribue aux phénomènes, et, d’autre part, les phénomènes qu’ils sont censés désigner ? (validité conceptuelle)

La conceptualisation est-elle suffisamment indépendante des auteurs de la recherche pour être compréhensible et reproductible par d’autres chercheurs ? (fiabilité au plan conceptuel)

Recueil et traitement des données

Est-ce que je ne trompe pas de méthodologie : de démarches ? d’instruments ? d’acteurs ? de contextes ? (pertinence méthodologique)

Y a-t-il adéquation suffisante entre, d’une part, les informations que je déclare récolter et traiter effectivement et, d’autre part les informations effectivement recueillies et traitées ? (validité méthodologique)

Les données récoltées et traitées sont-elles suffisamment indépendantes des auteurs de la recherche pour être compréhensibles et reproductibles par d’autres chercheurs ? (fiabilité au plan méthodologique)

Énonciation des conclusions

Est-ce que je ne trompe pas d’informations à communiquer dans le rapport scientifique qui s’adresse à la communauté scientifique ? (pertinence de la communication)

Les conclusions énoncées dans le rapport de recherche correspondent-elles bien aux conclusions que l’on peut tirer ? (sur le plan théorique : validité interne ; sur le plan de la généralisabilité ou de la transférabilité : validité externe)

Les conclusions énoncées dans la recherche sont-elles suffisamment indépendantes des auteurs de la recherche au point de pouvoir être énoncées de façon équivalente par d’autres chercheurs ? (fiabilité des conclusions)

Nous développerons encore ces différentes qualités dans le chapitre 6. Le caractère scientifique d’une recherche repose sur le principe de répétabilité ou de reproductibilité : si une recherche menée est pertinente (tant sur le plan de la conceptualisation que sur les plans de la méthodologie et de la conclusion), la production de connaissance générée par celle-ci doit pouvoir être validée par la communauté scientifique dans le sens où cette connaissance doit pouvoir être reproduite par d’autres chercheurs. Ceci signifie que ceux-ci aboutiront aux mêmes résultats s’ils partent de la même conceptualisation, opèrent les mêmes démarches méthodologiques et respectent les mêmes règles d’inférence pour tirer les conclusions. En un mot, cela veut dire que

Recherche et évaluation

91

les chercheurs doivent être attentifs au respect des différents principes de validité et de fiabilité, tels que nous les avons énoncés dans le tableau ci-dessus. Si la répétabilité d’une recherche est relativement facile dans une recherche de laboratoire, elle l’est beaucoup moins lorsqu’il s’agit de recherches sur le terrain et surtout de recherches action, car les acteurs et la situation ont profondément changé suite à la recherche. On parlera alors moins de répétabilité au sens strict (correspondance terme à terme), mais de reproductibilité de l’esprit de la démarche (le plus souvent avec d’autres acteurs dans des situations comparables à celle de la recherche initiale).

3.4 Recherche et évaluation Parmi les chercheurs en sciences de l’éducation qui ont tenté d’approfondir la distinction entre les « processus systématiquement et intentionnellement orientés » que sont la recherche et l’évaluation, STUFFLEBEAM (1971) fut celui dont la contribution s’est révélée la plus importante. Il a essayé de faire la synthèse de trois positions importantes. La première est celle du célèbre statisticien TUKEY qui, en 1960, proclamait déjà qu’il fallait distinguer entre deux types de recherches (et donc de statistiques) : les recherches orientées vers les conclusions de celles orientées vers les décisions (« Conclusions vs Decisions », Technometrics, 1960, vol. 2, 423-433). La seconde est celle de SCRIVEN qui, en 1967, insistait sur le fait que toute évaluation supposait non seulement un ensemble d’informations mais aussi un ensemble de normes ou d’échelles-buts (« goal-scales ») servant de base à la confrontation. La troisième réside dans la prise de position de CRONBACH et SUPPES en 1969 qui distinguèrent d’une part la recherche fondamentale et appliquée, toutes deux orientées vers l’émission de conclusions généralisables, et d’autre part l’évaluation orientée au contraire vers la prise de décision, ce qui implique un jugement de valeur. Ces deux auteurs admettent qu’il est difficile d’établir des frontières précises entre ces deux processus qui constituent les deux pôles d’un continuum multidimensionnel : la recherche appliquée viserait « à produire une connaissance relevante pour fournir une solution (généralisable) à un problème général » tandis que « l’évaluation se centrerait sur la collecte d’une information spécifique relevante pour un problème, un programme ou un produit spécifique » (GLASS et WORTHEN, 1972, p. 152). Ces auteurs proposent alors onze caractéristiques ou paramètres qui doivent être considérés comme des continua bipolaires, permettant de mieux distinguer ces deux processus d’investigation que sont la recherche et l’évaluation. Toutes les caractéristiques proposées par eux ne sont pas pertinentes en regard de la diversité des recherches telles que nous les avons présentées. Nous ne reprendrons dès lors, en les commentant et en les complétant, que les critères qui nous paraissent pertinents. Notre objectif n’est pas de délimiter une frontière stricte entre recherche et évaluation, mais de proposer un certain nombre de points de repère qui permettent de mieux cerner chaque concept.

92

Le processus de recueil d’informations au service du processus de recherche

3.4.1 LA

MOTIVATION DE L’INVESTIGATEUR

Le chercheur est intrigué : la recherche est entreprise en grande partie pour satisfaire sa curiosité scientifique ; elle revêt souvent une rentabilité à plus long terme. L’évaluateur (ou du moins son client) est concerné : l’évaluation est avant tout motivée par un besoin à court terme et elle revêt souvent une rentabilité plus immédiate.

3.4.2 LES

OBJECTIFS DE L’INVESTIGATION

Si la recherche peut être exclusivement orientée vers l’émission de conclusions, l’évaluation doit nécessairement permettre de fonder des décisions. De plus, la recherche tend à être nomothétique, c’est-à-dire qu’elle vise à formuler des lois (nomos = loi ; tithêmi = placer). L’évaluation est plutôt idiographique, c’est-à-dire qu’elle tend à décrire le particulier (idios = particulier ; graphein = décrire). Ce n’est qu’une tendance, pas une règle absolue : comme nous l’avons vu, un certain nombre de recherches (comme la recherche-action) sont orientées vers des actions spécifiques.

3.4.3 LE

RÔLE DE L’EXPLICATION

Le souci d’explication est premier pour le chercheur : lois générales et descriptions de circonstances particulières ne peuvent entrer en contradiction. Par contre, on pourrait très bien concevoir une évaluation menée sans souci de produire une explication du « pourquoi » le résultat ou le programme à évaluer est bon ou mauvais et du « comment » ils ont produit leurs effets. « C’est d’ailleurs heureux qu’il en soit ainsi car l’évaluation en éducation est pressante et les explications crédibles des phénomènes éducationnels sont si rares » (GLASS et WORTHEN, 1972, p. 155).

3.4.4 LES

PROPRIÉTÉS DES PHÉNOMÈNES QUI SONT ÉNONCÉS

Dans la plupart des recherches, l’utilité sociale de l’énoncé des phénomènes n’est que secondaire et indirecte (tant mieux si les phénomènes validés sont utiles socialement). Par contre, l’évaluation vise avant tout et directement l’utilité sociale ; la validation est certes indispensable mais au service de l’utilité sociale et gouvernée par elle (car orientée vers la prise de décision).

3.4.5 L’«

UNIVERSALITÉ » DES PHÉNOMÈNES ÉTUDIÉS EN TERMES DE GÉNÉRALISABILITÉ

Selon GLASS et WORTHEN, les phénomènes étudiés revêtiraient à ce niveau trois aspects : • leur généralité (« generality ») à travers le temps ; • leur généralité géographique ; • leur applicabilité (« applicability »).

93

Recherche et évaluation

Le chercheur et l’évaluateur établissent tous deux les limites du champ de généralisation de leur investigation. Ils le font cependant dans des optiques différentes : le chercheur le fait en vue d’élargir un univers de connaissances bien établies, tandis que l’évaluateur le fait pour délimiter les limites à l’intérieur desquelles le jugement de valeur se révèle adéquat, pour guider au mieux celui qui doit prendre la décision.

3.4.6 L’ÉVIDENCE («

SALIENCE

»)

DE LA QUESTION DE VALEUR

Il est clair que toute investigation est dirigée vers la découverte de quelque chose de valable ou d’utile. Ceci est particulièrement évident et voyant (« salient ») pour l’évaluation car tel est bien son but premier, comme nous l’avons déjà souligné. Dans la recherche, si la question de valeur n’est jamais tout à fait absente, elle passe au second plan ; ce n’est pas son rôle premier. C’est ainsi que chercheur et évaluateur peuvent tous deux porter leur attention sur le même objet (l’amélioration de la performance ou du concept de soi, par exemple : ces exemples montrent bien qu’on n’échappe pas à la question de valeur). Mais, dans le premier cas, l’observation est conduite dans le but de découvrir les relations à l’intérieur d’un système de connaissances cohérent ; dans le second cas, l’observation sert à accumuler les informations nécessaires pour prononcer le jugement de valeur attendu. Ce sont deux rôles différents mais qui ne peuvent être considérés comme contradictoires. Le tableau suivant reprend ces 6 critères.

Recherche

Évaluation

1. Le chercheur est intrigué

1. L’évaluateur est concerné

2. Souvent orientée vers l’émission de conclusions Vise à être nomothétique (formulation de lois)

2. Nécessairement orientée vers la décision Toujours idiographique (description du particulier)

3. Le souci du « pourquoi » et du « comment » est premier

3. Le « pourquoi » et le « comment » sont parfois secondaires

4. Quand elle est présente, l’utilité sociale est liée au contenu 4. L’utilité sociale est première, et liée à la démarche 5. Les limites sont établies dans la perspective d’élargir un univers de connaissances

5. Les limites sont établies dans la perspective de guider celui qui doit prendre la décision

6. Les références à un système de valeurs ne sont présentes 6. Les références à un système de valeurs sont primordiales pour orienter la démarche que pour préciser l’objet de la recherche, ou pour attirer l’attention du lecteur sur des limites possibles de la recherche

De nombreux auteurs (CARROLL, 1963 ; CRONBACH, 1963 ; GUBA et STUFFLEBEAM, 1980) ont exprimé l’opinion que la recherche et l’évaluation devraient employer des techniques différentes pour récolter et traiter l’information.

94

Le processus de recueil d’informations au service du processus de recherche

Selon nous, ce critère ne différencie pas l’évaluation de la recherche. Bien au contraire, il en constitue une caractéristique commune. Il nous semble que derrière cette opinion se cache une conception restreinte de la recherche, rendue synonyme d’application d’un plan expérimental comparatif, soit une conception trop large (trop légère et trop licencieuse, pourrait-on dire !) de l’évaluation (tendant à en suggérer la subjectivité) : la recherche serait quelque chose de sérieux, obéissant à des lois bien strictes et pratiquement immuables, tandis que l’évaluation ne serait qu’une recherche dégradée ! Cette mise au point nous permet de dire avec WORTHEN (1968) que s’il est légitime et même souhaitable de bien distinguer recherche et évaluation comme deux procédés d’investigation différents, il y a cependant beaucoup plus de similitudes que de différences entre recherche et évaluation, si l’on se place au niveau du choix des techniques de prise d’information. De même, la base disciplinaire (multidisciplinaire ou unidisciplinaire) ne peut selon nous être invoquée comme critère de différenciation de la recherche et de l’évaluation. Le schéma suivant montre de façon purement qualitative comment on pourrait placer les différents types d’investigations, c’est-à-dire les « processus systématiquement et intentionnellement orientés », sur une échelle dont les deux pôles sont les caractères « évaluatif » d’une part et « de recherche » d’autre part, selon que le produit est plutôt un produit relatif à une évaluation (conforme à des critères fixés, à une norme) ou un produit relatif à la recherche (connaissance innovante). Aux extrêmes, on trouve :

Recherche Spéculative

Recherche exploratoire

Recherche scientifique

Recherche technologique ou de développement

Le produit tel qu’on se le représente au départ est une connaissance innovante

Recherche action

Le produit tel qu’on se le représente au départ doit être conforme à une norme

Recherche évaluative ou opérationnelle

RECHERCHE

Évaluation d’organisation

ÉVALUATION

Évaluation des performances des personnes

Contrôle

– du côté évaluation, le contrôle, qui ne présente (a priori du moins) aucun caractère de recherche : il suffit de mettre en application un outil déjà conçu à cet effet ; – du côté recherche, la recherche spéculative, qui ne présente pas de caractère évaluatif.

Le processus de recherche par rapport aux processus d’évaluation, de contrôle, de mesure et de recueil d’information

95

Les autres investigations présentent chaque caractère de façon plus ou moins prononcée, qui sera encore variable selon la nature de l’investigation. Ce schéma a tout au plus une valeur indicatrice. Il ne reflète notamment pas les composantes interactives et dynamiques dont nous avons dit qu’elles caractérisaient la plupart des processus d’investigation.

3.5 Le processus de recherche par rapport aux processus d’évaluation, de contrôle, de mesure et de recueil d’information Au-delà du lien entre évaluation et recherche, on peut examiner les liens entre la recherche et les autres processus abordés précédemment, et dont nous avions dit qu’ils constituaient une partie du processus d’évaluation : contrôle, mesure et recueil d’informations. Les rapports entre ces processus varient selon le type de recherche, compte tenu de la fonction prioritaire visée et les exigences qui en découlent. 1. Pour la recherche expérimentale, c’est-à-dire la recherche scientifique fondamentale et de laboratoire jusqu’à la recherche technologique et de développement, c’est l’optique de contrôle ou de mesure qui prévaut. Ceux-ci constituent un passage obligé : les référentiels sont déterminés à l’avance par ce contrôle. Le recueil d’informations, qui est le principe de base, est subordonné à la construction et à l’utilisation de mesures, qui elles-mêmes doivent obéir aux caractéristiques de pertinence, de validité et de fiabilité.

contrôle Recueil de l’information

mesures

Recherche expérimentale

Comme exemple, il suffit de penser au dispositif strict à mettre en place lorsqu’on recherche et lorsqu’on teste un nouveau matériau devant répondre à des critères de résistance, de poids, d’aspect, …, définis selon des normes bien précises. 2. Si par contre on se situe dans le cadre de la recherche évaluative ou opérationnelle, on peut éventuellement recourir à certaines évaluations « contrôle » mais, dans la grande majorité des cas, sinon dans tous, on a besoin d’un processus évaluatif au sens beaucoup plus large. On peut très bien avoir affaire à des

96

Le processus de recueil d’informations au service du processus de recherche

contrôles eux-mêmes basés sur des mesures, ou des mesures qui viennent directement s’insérer dans un processus évaluatif plus large. On a donc un recueil d’informations multiple. S’il y a un référentiel de départ, il peut être modifié en cours de route.

mesures Recueil de l’information

contrôle évaluation

Recherche évaluative

Si par exemple je veux étudier les effets de l’enseignement assisté par ordinateur (EAO) sur les acquis d’adultes en formation, je dois envisager un processus d’évaluation très large. Ce processus doit bien sûr englober un certain nombre de mesures de variables soigneusement définies telles : – le coût initial de l’équipement, du software ; – la fréquence d’utilisation du matériel ; – la durée comparée pour l’acquisition de tel concept ; – les taux comparés d’erreurs dans l’utilisation de telle formule ; – etc. Cet aspect de mesure n’est toutefois pas suffisant. Le processus évaluatif doit également accorder une large part aux opinions et aux démarches des formateurs et des personnes en formation, ainsi qu’à leurs représentations concernant l’EAO. 3. Enfin, si on se situe dans la recherche-action, on est essentiellement dans un processus évaluatif (l’axe central est un processus recueil d’informations / évaluation). On peut occasionnellement recourir à certaines mesures, certains contrôles, si on dispose des informations nécessaires, mais c’est relativement peu important. L’axe important est l’axe « évaluation ». L’objet de l’évaluation est essentiellement tourné vers le problème des représentations des acteurs. La recherche sera dès lors principalement orientée vers l’explicitation du référentiel, qui était implicite au départ.

Recueil de l’information

évaluation

Recherche action

Le processus de recherche par rapport aux processus d’évaluation, de contrôle, de mesure et de recueil d’information

97

C’est par exemple le cas de recherches-actions dans lesquelles on tente de cerner l’origine d’un malaise dans une équipe de personnes travaillant ensemble.

Recherche Spéculative

Recherche exploratoire

Recherche scientifique

Recherche technologique ou de développement

Le produit tel qu’on se le représente au départ est une connaissance innovante

Recherche action

Le produit tel qu’on se le représente au départ doit être conforme à une norme

Recherche évaluative ou opérationnelle

RECHERCHE

Évaluation d’organisation

ÉVALUATION

Évaluation des performances des personnes

Contrôle

Par rapport au schéma proposé en 3.3, on peut dire que « le contrôle et la mesure » viennent « manger » une place plus ou moins importante du processus d’« évaluation ».

Importance relative du contrôle dans l’évaluation

Le schéma suivant permet en outre d’illustrer le rôle que joue le référentiel dans chacun de ces types de recherche.

98

Le processus de recueil d’informations au service du processus de recherche

1. Recherche expérimentale – scientifique – technologique ou de développement référentiel

information

contrôle

Le référentiel est déterminé au départ de la phase confirmatoire, et constant tout au long de cette phase. Les mesures sont au service du contrôle dont le rôle est essentiel pour obliger les informations à rentrer dans le référentiel établi. axe du temps

2. Recherche évaluative

Un référentiel est fixé au départ. Il est ajusté en cours de route grâce aux informations recueillies. Ces dernières s’organisent progressivement. Des mesures ponctuelles, ou déjà existantes dans l’organisation, ainsi qu’un contrôle limité, viennent corriger des variations ou des déviations trop importantes.

3. Recherche-action

Le référentiel est implicite au départ. Les informations relatives aux représentations des différents acteurs viennent expliciter, et même construire petit à petit ce référentiel. Les mesures et le contrôle sont accessoires ou inexistants.

Les trois autres types de recherche, à savoir la recherche exploratoire, la recherche descriptive et la recherche spéculative, remplissent surtout la fonction (prioritaire ou secondaire) d’initiation, d’exploration ou encore de préparation à une autre recherche.

Le processus de recherche par rapport aux processus d’évaluation, de contrôle, de mesure et de recueil d’information

99

Elles constituent ce que nous pourrions appeler l’ensemble des processus préparatoires. Le schéma suivant met ces processus en évidence.

Processus préparatoire Recherche exploratoire Recherche descriptive Recherche spéculative

À côté de ces processus préparatoires, nous trouvons deux catégories de processus fondamentaux : • les processus de recherche expérimentale ; • les processus d’évaluation au sens large. Le tableau ci-dessous met ces processus en évidence, ainsi que les produits qui leur sont associés.

Processus de recherche expérimentale

Processus préparatoire

Recherche exploratoire Recherche descriptive Recherche spéculative

Recherche scientifique Recherche technologique

Processus d’évaluation d’un fonctionnement ou d’un système Analyse des besoins Recherche évaluative ou opérationnelle Recherche action Évaluation de régulation (audit)

Conclusions (lois - théorie) Autre processus préparatoire (hypothèse, …) Décisions et actions généralisables

Décisions et actions spécifiques

100

Le processus de recueil d’informations au service du processus de recherche

Quant au recueil d’informations, nous avons vu qu’il est un processus fondamental qui ne porte pas sa fin en lui-même mais se subordonne et se met au service de processus plus complexes, que ce soit une évaluation ou un des types de recherche que nous avons décrits. Il fait également appel à d’autres processus tel le processus de mesure, qui vient lui donner un éclairage complémentaire, plus ou moins important selon les cas. Le tableau suivant reprend les principales relations existant entre tous ces processus.

Processus préparatoire

Processus de recherche expérimentale

Conclusions (lois - théorie)

Recherche scientifique Recherche technologique

Autre processus préparatoire (hypothèse, …)

Processus de recueil d’informations

Recherche exploratoire Recherche descriptive Recherche spéculative

Processus de mesure

Processus de recueil d’informations

Décisions et actions généralisables

Processus d’évaluation d’un fonctionnement ou d’un système

Processus de mesure

Analyse des besoins Recherche évaluative ou opérationnelle Recherche action Évaluation de régulation (audit)

Décisions et actions spécifiques

Processus de contrôle Processus de recueil d’informations Processus de mesure

Processus d’évaluation des performances Évaluation – diagnostique – formative – certificative Processus de recueil d’informations Processus de mesure

Décisions et actions spécifiques

Le processus de recherche par rapport aux processus d’évaluation, de contrôle, de mesure et de recueil d’information

101

Ce tableau veut montrer combien il importe de toujours se poser la question primordiale suivante : pour quoi recueillir l’information ? S’agit-il de mener à bien une recherche descriptive ? Une recherche exploratoire ? Une recherche expérimentale ? Une évaluation ? De quel type ? Plus en profondeur encore : la recherche descriptive a-t-elle pour unique but de mettre en évidence des faits bien établis ? ou doit-elle déboucher sur une conceptualisation ? ou doit-elle servir une évaluation ? ou veut-elle faire surgir une hypothèse pertinente à contrôler ultérieurement par une expérimentation ? ou sert-elle comme base pour la mesure dans le cadre d’une expérimentation ? Ne pas se poser ces questions, c’est se condamner à recueillir l’observation de façon non pertinente. Dans les chapitres qui vont suivre, nous aurons l’occasion de mettre en évidence l’importance du recueil d’informations dans ces processus plus complexes, et d’examiner les conditions dans lesquelles doit se dérouler ce recueil d’informations si l’on veut garantir la validité et la fiabilité du processus.

CHAPITRE 4

FONCTIONS ET CHAMPS D’APPLICATION DU RECUEIL D’INFORMATIONS 4.1 Les principales fonctions du recueil d’informations Quatorze fonctions principales peuvent présider à la création ou à la mise en œuvre d’un processus de recueil d’informations. Ce sont les fonctions : a) prédictive, b) régulatrice, c) formative, d) certificative. e) prévisionnelle, f) prospective, g) de contrôle de qualité, h) descriptive, i) heuristique, j) de vérification, k) de développement, l) de contrôle de rentabilité, m) d’étude de faisabilité, n) de planification. Ces fonctions appartiennent pour la plupart aux trois macrofonctions évoquées à propos d’une évaluation : – macrofonction d’orientation : fonctions prédictive, prévisionnelle, d’étude de faisabilité, de planification, heuristique, prospective ; – macrofonction de régulation : fonctions régulatrice, formative ;

104

Fonctions et champs d’application du recueil d’informations

– macrofonction de certification : fonctions certificative, de contrôle de qualité, de vérification, de contrôle de rentabilité. On voit à travers cette catégorisation l’importance de la macrofonction d’orientation, que nous avons évoquée au chapitre 2. On peut ranger ces différentes fonctions selon qu’elles sont relatives aux personnes, à un système ou à la connaissance.

Fonctions relatives aux personnes

(c) formative (d) certificative

Fonctions relatives à un système

(a) prédictive (b) régulatrice

(h) descriptive

(e) prévisionnelle (f) perspective (g) contrôle de qualité (l) contrôle de rentabilité (m) étude de faisabilité (n) planification (k) de développement

(i) de vérification (j) heuristique

Fonctions relatives à la connaissance Les fonctions relatives aux personnes sont pour la plupart des fonctions d’évaluation des performances des personnes. Les fonctions relatives à un système sont des fonctions de gestion : elles contribuent à améliorer l’organisation et les performances d’un système. Comme nous le verrons, elles sont associées à une gestion à court, moyen ou long terme. Les fonctions relatives à la connaissance sont principalement des fonctions d’expérimentation. Elles contribuent à développer la connaissance, et répondent aux trois grandes phases que nous avons évoquées pour la recherche expérimentale (induction, hypothèse, déduction). Nous nous limiterons ici aux onze premières fonctions. Nous ne développerons pas les fonctions (l), (m) et (n), qui sont plus spécifiquement des fonctions de gestion courante.

4.1.1 LA

FONCTION PRÉDICTIVE

Avant d’entreprendre une nouvelle action (de formation ou autre), on pose un diagnostic pour évaluer les chances de succès de… : par exemple, les chances de réussite de tel étudiant dans telle orientation, les chances de succès d’un projet, les effets probables

Les principales fonctions du recueil d’informations

105

d’une restructuration, les chances de réussite d’une opération chirurgicale, l’adéquation du profil d’une personne à une fonction ou à un poste donné, etc. En gestion, la fonction prédictive a plus particulièrement pour objet d’extrapoler une évolution, des comportements, …, principalement à partir d’informations statistiques déjà existantes, mais aussi d’informations à recueillir et à traiter, afin de prendre les mesures nécessaires à cette évolution : courbe de vie d’un produit, évolution démographique, etc. La fonction prédictive résulte donc d’un simple prolongement d’un fonctionnement, toutes choses restant égales par ailleurs : si j’ai ceci, alors je peux m’attendre exactement à cela, dans telle fourchette, ou avec telle marge d’erreur. C’est une fonction qu’on peut associer à la gestion courante, dans laquelle la part d’inconnu est réduite au minimum.

4.1.2 LA

FONCTION DE RÉGULATION

Dans la fonction régulatrice, on recueille de l’information pour vérifier l’efficacité d’une action, d’un fonctionnement, d’un système, en vue de lui apporter des modifications éventuelles : vérifier le bon déroulement d’une session de formation, vérifier le fonctionnement d’un service. Selon l’objectif de l’évaluation, la régulation peut être au service d’un groupe de personnes (régulation d’un apprentissage, d’une formation) ou d’un système.

4.1.3 LA

FONCTION FORMATIVE

Nous avons vu que dans le cadre d’actions de formation, on parle de fonction formative, d’évaluation formative (certains parlent d’évaluation formatrice) : on recueille de l’information pour rétroagir et on retroagit pour former. Dans la formation des psychologues cliniciens, on recourt fréquemment à diverses méthodes d’observation dans le cadre des « supervisions didactiques ». De même, dans la formation des enseignants et des éducateurs, on proposera des stages professionnels, des séances d’autoscopie ou de micro-enseignement, des sessions d’animation de groupes… Si la régulation ci-dessus s’appliquait à un système ou à un groupe de personnes, la fonction formative est orientée vers l’individu.

4.1.4 LA

FONCTION CERTIFICATIVE

Dans ce cas, on recueille de l’information en vue de prendre une décision de type dichotomique : déclarer la réussite de l’apprenant ou l’arrêter. Dans ce type d’évaluation, il n’y a pas de compensation entre une maîtrise supérieure dans un domaine et une maîtrise insuffisante dans un autre domaine (on est recalé si on brûle un feu rouge, même si on embraye très bien). Parallèlement à la fonction certificative, on trouve la fonction de rangement, qui consiste à attribuer une note à différentes personnes, dans le but de comparer leurs performances.

106

Fonctions et champs d’application du recueil d’informations

Étant donné qu’un rangement sert très souvent la certification (on établit une note pour sélectionner des candidats à un concours, pour déterminer la personne que l’on doit affecter à un autre poste, etc.), nous associerons cette fonction à la fonction certificative.

4.1.5 LA

FONCTION PRÉVISIONNELLE

Dans la fonction prévisionnelle, on ne se contente pas seulement de relever des indicateurs à un moment donné, mais on anticipe telle modification du contexte, ou telle autre modification, et on examine les conséquences probables. On anticipe donc des situations et des réactions spécifiques, et ceci de façon très concrète. Ce qui la distingue de la fonction prédictive, c’est que l’on prend en considération son caractère incertain : l’évolution est prévisible, mais l’issue n’est jamais certaine. EXEMPLE

Prenons l’exemple de l’évolution démographique d’un pays pour lequel les taux de natalité et de mortalité sont, sinon constants, du moins bien stabilisés. L’évolution de la population locale relève de la prédiction : on peut estimer à une très faible marge d’erreur quelle va être l’évolution de la population à un terme de deux ou trois ans, et cela sur la base des connaissances acquises sur les taux de natalité et de mortalité. Par contre, l’afflux de population étrangère dans un pays ne possède qu’un caractère plus ou moins prévisible : on peut l’estimer en fonction de certaines informations dont on dispose. Mais dans un terme de deux ou trois ans, il peut varier dans des proportions importantes, d’un facteur 1 à 10, voire davantage en fonction d’événements particuliers. Il relève dès lors de la prévision : on peut en estimer l’importance, mais on ne peut jamais dire avec certitude que les demandes annuelles ne dépasseront pas tel taux.

C’est à propos de la fonction prévisionnelle que l’on parle le plus souvent de simulation et de modélisation. Modéliser un système consiste à dégager les principales variables nécessaires à décrire le système, et à les agencer les unes par rapport aux autres de façon à se rapprocher le plus possible du fonctionnement réel du système. Une fois le système modélisé, on peut effectuer des simulations sur ce système, c’està-dire étudier l’influence relative d’une modification d’une variable sur le fonctionnement de l’ensemble du système. C’est ainsi que l’on peut étudier l’influence des variables suivantes les unes sur les autres à l’échelle mondiale : l’évolution démographique, le niveau moyen de vie, les ressources énergétiques disponibles, la nourriture disponible (voir par exemple les études de l’OCDE).

4.1.6 LA

FONCTION PROSPECTIVE

Au-delà de la fonction prévisionnelle, on trouve encore la fonction prospective, relative à l’étude de l’avenir lointain. La prospective, ce sont les grandes tendances à très long terme, qui ne sont pas concrétisées ni opérationnalisées. Elle consiste, selon G. BERGER à « voir loin, voir large, analyser en profondeur et prendre des risques » : prospection de nouveaux marchés, lancement de nouveaux produits, recherche de moyens alternatifs de production d’énergie etc. Ces fonctions prennent principalement du sens dans le cadre d’une activité économique, scientifique (médicale, …) ou d’une recherche fondamentale, mais plus rarement

Les principales fonctions du recueil d’informations

107

dans le monde de l’enseignement, dans lequel la notion de risque à court terme est peu pertinente (l’existence même d’un établissement scolaire est rarement menacée à un terme de quelques mois). Par contre, si on envisage les risques encourus à long terme, c’est-à-dire si on parle de l’adéquation de l’école à l’évolution de la société, la fonction prospective prend tout son sens (voir par exemple DELVAUX, 2015). En entreprise, la fonction prospective sera davantage associée aux termes « risque » et « investissements stratégiques » à long terme, pour reprendre la terminologie de LE BOTERF (1988), alors que la fonction prévisionnelle est davantage associée à la réduction de risque (« risque calculé ») ou aux « investissements courants », c’est-à-dire à moyen terme. Dans le monde de la recherche, ce sont principalement la recherche exploratoire et la recherche spéculative qui assureront de telles fonctions.

4.1.7 LA

FONCTION DE CONTRÔLE DE QUALITÉ

La fonction de contrôle de qualité est une fonction de gestion associée à la production de biens ou de services. Elle consiste à vérifier régulièrement si des objectifs fixés sont respectés dans les faits. Elle s’inscrit dans une évaluation de régulation continuelle, débouchant sur des ajustements ponctuels plus ou moins importants : ajustement d’un procédé de fabrication, ajustement du réglage d’une machine, ajustement des postes de travail, ajustement des délais de fabrication, de la durée des opérations élémentaires, etc.

4.1.8 LA

FONCTION DESCRIPTIVE

Dans la fonction descriptive, on recueille de l’information pour décrire des phénomènes ou une situation, selon un point de vue déterminé, ainsi que pour nommer et caractériser un objet ou un phénomène. La catégorie des recherches descriptives constitue une catégorie à part entière. À titre d’exemple, on peut évoquer une lignée de recherche qui a eu beaucoup de succès dans la formation des enseignants : il s’agit de la recherche qui a abouti à caractériser les différentes fonctions de l’enseignant, et à donner des noms à chacune de ces fonctions : « maître instruit », « artisan », « technicien », « personne », « acteur social », « praticien réfléxif », etc. et à chacun d’eux (Paquay, 1994). Parfois même, ces recherches sont appelées « recherches anatomiques » ; leur but est de décrire et de caractériser un objet (les organes en anatomie) ou un phénomène (l’agressivité par exemple). Comme démarches associées à la recherche descriptive, on peut évoquer les stratégies d’« observation expérientielle », selon l’expression de POSTIC et DE KETELE (1988, 2e partie, chapitre 3) : méthode de RIMOLDI, observation participante, interactive, éthologique, naturelle, …. Selon l’objectif poursuivi, la fonction descriptive peut être mise au service des personnes, d’un système ou de la connaissance. À côté des recherches descriptives proprement dites, on peut également évoquer la fonction descriptive comme point de départ de la plupart des évaluations et des recherches : on décrit avant de recueillir des informations et de les interpréter.

108

4.1.9 LA

Fonctions et champs d’application du recueil d’informations

FONCTION HEURISTIQUE

On parle de fonction heuristique ou d’action invoquée lorsque l’activité est orientée vers l’émergence d’hypothèses pertinentes qui seront soumises ultérieurement à des activités de contrôle. On parle aussi de fonction exploratoire. Nous avons déjà longuement évoqué cette fonction lorsque nous avons présenté la spirale inductivo-hypothético-déductive.

4.1.10 LA

FONCTION DE VÉRIFICATION

On parlera ici d’action provoquée en ce sens qu’une situation est provoquée, recherchée ou manipulée, afin de vérifier une hypothèse. Dans ce cadre, le processus de recueil d’informations rentre dans des activités de mesure des variables concernées par l’hypothèse. Supposons, par exemple, l’hypothèse suivante : la frustration engendre l’agression. Le chercheur créera une situation propice à vérifier cette hypothèse, dans laquelle il aura à observer (mesurer) les variables « frustration » et « agression ». La validation des outils de recueil d’informations, que nous développerons au chapitre 6, est un autre exemple de mise en œuvre de la fonction de vérification.

4.1.11 LA

FONCTION DE DÉVELOPPEMENT

La fonction de développement, ou encore fonction de conception, est également une fonction étendue. Elle peut selon les cas consister à développer ou à concevoir une organisation, une théorie, un outil d’expérimentation, un ouvrage, une machine, etc. Selon l’objectif poursuivi, cette fonction est mise au service d’un système ou de la connaissance. La conception d’un outil de recueil d’informations est une illustration de cette fonction.

4.2 Description des principaux champs d’application du recueil d’informations Pour aller plus loin dans une méthodologie du recueil d’informations, nous nous trouvons confrontés à un problème de taille : nous avons défini 9 types d’investigations (7 types de recherches et 2 types d’évaluations), et 11 fonctions susceptibles d’être remplies, de façon prioritaire ou secondaire selon le type d’investigation. Le tableau ci-dessous donne une petite idée de la complexité de cette situation, et de l’imbrication des fonctions les unes dans les autres (les zones foncées représentent les fonctions prioritaires remplies pour chaque type d’investigation, et les zones plus claires les fonctions secondaires). Par souci de simplification, la fonction « contrôle de qualité » est reprise dans la fonction « régulation ».

De vérification

Prévisionnelle

Régulatrice

Formative

Certificative

Prédictive

Prospective

Type d’investigation

Heuristique

Descriptive

Fonction

De conception

109

Description des principaux champs d’application du recueil d’informations

Recherche descriptive Recherche exploratoire Recherche spéculative Recherche scientifique Recherche technologique Recherche évaluative Évaluation d’organisation Évaluation des perfomances Recherche-action

Souvent primordial

Parfois primordial, ou accessoire

Nous analyserons principalement ce tableau sous l’angle de l’apport du recueil d’informations dans chaque investigation. 1. Pour la recherche descriptive, c’est une lapalissade de dire que le recueil d’informations joue surtout une fonction descriptive. Accessoirement, il peut remplir une fonction heuristique : une information dégagée peut subitement faire naître une hypothèse nouvelle. 2. Dans une recherche exploratoire, le recueil d’informations a surtout une fonction heuristique : c’est surtout à travers l’information recueillie que le chercheur émet des hypothèses. Accessoirement, le recueil d’informations contribue à décrire le système dans lequel s’inscrit la recherche.

110

Fonctions et champs d’application du recueil d’informations

Il peut aussi donner des informations sur les chances de succès d’une recherche ultérieure (par exemple par une exploration des représentations du type d’acteurs concernés) : l’information peut donc aussi remplir une fonction prédictive ou prévisionnelle. 3. La recherche spéculative a essentiellement une fonction prospective car elle tente de produire un référentiel pour les recherches ou les décisions futures. Accessoirement, elle a une fonction heuristique. 4. Pour la recherche scientifique, le recueil d’informations va surtout permettre de confirmer ou d’infirmer l’hypothèse établie : il a donc surtout une fonction de vérification. Il sert également une autre fonction essentielle de la recherche scientifique : la fonction de prédiction. L’information recueillie à travers le dispositif expérimental permet d’augmenter la fiabilité des prédictions. Accessoirement, cette information peut servir la fonction heuristique ou prospective de la recherche scientifique. 5. Pour la recherche technologique, le recueil d’informations joue principalement un rôle plus diffus dans la vérification d’hypothèses, ou encore dans la conception d’outils. Accessoirement, la fonction prospective peut également jouer un rôle, car la concentration et le haut niveau des informations recueillies et traitées dans le laboratoire d’une entreprise peuvent en faire un puissant outil de gestion à long terme. 6. Dans une recherche-action, essentiellement tournée vers l’émancipation des acteurs, le recueil d’informations, et principalement le recueil des représentations des différents acteurs, alimente l’analyse. Il contribue donc à la fonction formative de la recherche-action et, indirectement, à la régulation du système. Comme fonctions accessoires, on peut retenir également les fonctions descriptive, heuristique, prévisionnelle et de conception. 7. Dans la recherche évaluative, le recueil d’informations va à nouveau jouer un rôle central. Il y remplira principalement deux fonctions : – une fonction prévisionnelle, qui jouera surtout dans l’évaluation préliminaire à l’implantation d’une réforme : c’est grâce à l’information recueillie, et au traitement de celle-ci, que les grandes orientations vont être dégagées, souvent à moyen terme ; – une fonction de régulation, dans le cas d’une recherche évaluative de la mise en place a posteriori d’un projet ou d’une réforme : c’est surtout l’information recueillie qui va permettre de réorienter le projet ou la réforme.

Description des principaux champs d’application du recueil d’informations

111

De façon plus secondaire, la fonction prédictive sera également remplie par le recueil d’informations : par exemple une enquête sur les représentations des acteurs va donner des indications sur la façon d’implanter une innovation. De plus, ce recueil d’informations peut mettre en évidence une hypothèse nouvelle à explorer. La fonction heuristique peut dès lors également intervenir, de façon secondaire également. 8. Dans l’évaluation d’organisation, le recueil d’informations jouera un rôle tout aussi capital que dans la recherche évaluative : il y remplira les mêmes fonctions, sauf la fonction heuristique qui n’intervient à ce niveau que de façon tout à fait marginale. 9. Enfin, au niveau de l’évaluation des performances des personnes, le recueil d’informations remplira de façon prioritaire les trois fonctions de l’évaluation liée aux personnes : prédictive, formative et certificative, en interaction continuelle. Le tableau ainsi élaboré met en évidence des zones assez bien délimitées, menant à la constatation suivante : les fonctions prioritaires remplies par le recueil d’informations sont étroitement liées à des types bien déterminés d’investigations. On peut dès lors dégager cinq grands champs d’application, définis à la fois par des types d’investigations et des fonctions remplies de façon prioritaire dans ces champs. I. Le champ « exploration d’un domaine », constitué à la fois par la recherche exploratoire, la recherche descriptive, la recherche spéculative, et principalement orienté vers les fonctions descriptive, heuristique, prospective et prédictive. II. Le champ « recherche expérimentale », constitué à la fois par la recherche scientifique et la recherche technologique, et principalement orienté vers les fonctions de vérification d’une hypothèse et de conception. III. Le champ « évaluation d’un projet ou d’un système », constitué par la recherche évaluative et l’évaluation d’organisation, et principalement orienté vers les fonctions de régulation et prévisionnelle. IV. Le champ « évaluation des performances des personnes », orienté principalement vers les fonctions d’orientation formative et certificative, en interaction continuelle. V. Le champ « évaluation émancipatrice », exclusivement orienté vers la fonction formative. C’est particulièrement le cas dans la recherche-action.

112

De vérification

Prévisionnelle

Régulatrice

Formative

Certificative

Prédictive

Prospective

Heuristique

Type d’investigation

Descriptive

Fonction

De conception

Fonctions et champs d’application du recueil d’informations

Recherche descriptive Recherche exploratoire Recherche spéculative

I

Recherche scientifique II

Recherche technologique Recherche évaluative III Évaluation d’organisation Évaluation des perfomances Recherche-action

I

Exploration d’un domaine

II

Recherche expérimentale

IV

V

III

Évaluation d’un projet, d’un système ou d’un fonctionnement

IV

Évaluation des perfomances des personnes

V

Évaluation émancipatrice

Ce sont les cinq grands champs d’application que nous développerons par la suite.

113

Caractérisation et classement des champs d’application

4.3 Caractérisation et classement des champs d’application Ainsi que nous l’avions fait précédemment pour les méthodes, nous proposons deux critères permettant de cerner les similitudes et les différences entre ces champs d’application.

CRITÈRE 1 : LE DEGRÉ EST-IL IMPORTANT ?

DE GÉNÉRALISABILITÉ RECHERCHÉ

Recherche expérimentale

Généralisation souvent primordiale (en termes de probabilité)

Exploration d’un domaine

Généralisation parfois importante (en termes de plausibilité)

Évaluation des performances des personnes

Généralisation souvent peu importante

Évaluation d’un système ou d’un fonctionnement

Évaluation émancipatrice

Généralisation peu ou pas importante

Généralisation non pertinente

Recherche de plus en plus importante en termes de généralisabilité

Le schéma suivant permet de caractériser les différents champs d’application selon ce critère.

114

Fonctions et champs d’application du recueil d’informations

CRITÈRE 2 : QUEL

EST LE DEGRÉ D’URGENCE DE L’ÉTUDE ET DES EFFETS ATTENDUS ?

Exploration d’un domaine

Caractère souvent peu urgent de l’étude Effets recherchés très divers (souvent à moyen ou à long terme)

Évaluation des performances des personnes

Caractère relativement urgent de l’action Effets recherchés souvent à moyen ou à long terme)

Évaluation d’un système ou d’un fonctionnement

Caractère souvent urgent de l’action Effets recherchés souvent à court ou à moyen terme)

Évaluation émancipatrice

Recherche d’effets précis à un terme de plus plus court

Recherche expérimentale

Caractère souvent peu urgent de l’étude Pas toujours d’effets directs recherchés (parfois 20 ou 30 ans après; phase d’ingénierie nécessaire)

Les effets recherchés et induits sont immédiats

Le tableau suivant reprend à la fois les critères qui caractérisent les méthodes (1.2.6), ceux qui caractérisent les champs d’application, ainsi que les fonctions prioritaires associées à chacun des champs d’application.

115

Caractérisation et classement des champs d’application

Accès à l’information de plus en plus large, dans le temps et dans l’espace

MÉTHODES

Interview

Observation

Questionnaire

Étude de documents

Recherche expérimentale Fonction de vérification et de conception Exploration d’un domaine

Recherche de plus en plus importante en termes de généralisabilité

Recherche d’effets précis à un terme de plus plus court

FONCTIONS

Fonction descriptive heuristique et prospective Évaluation des performances des personnes Fonction diagnostique, formative et certificative Évaluation d’un système ou d’un fonctionnement Fonction régulatrice et prévisionnelle Évaluation émancipatrice Fonction formative

Communication de plus en plus directe et interactive

CHAPITRE 5

TYPOLOGIES DU RECUEIL D’INFORMATIONS 5.1 Paramètres généraux et paramètres spécifiques Ce chapitre trouve sa justification dans le raisonnement suivant. Tout moyen (méthode, technique, outil…) doit toujours être subordonné à l’objectif recherché. Le problème du choix d’un moyen est donc un problème d’adéquation « moyen-objectif ». Une fois l’objectif bien posé, le choix d’un moyen est fonction – entre autres choses – de la connaissance de l’éventail des moyens disponibles et de leurs caractéristiques (possibilités et limites, avantages et inconvénients). Par conséquent, il est important de distinguer les différentes méthodes et techniques de recueil d’information ; ainsi est dressé un inventaire des possibilités et sont mises en évidence les caractéristiques importantes de chacune d’elles. Il nous a paru étonnant que dans les quelques centaines de pages de la littérature portant sur le recueil d’informations, quelques dizaines seulement, à notre connaissance du moins, ont trait à une classification de techniques de prise d’information. Exception doit évidemment être faite pour les techniques dites psychométriques (cf. par exemple BUROS, Association de Psychologie Appliquée et EDITEST), ainsi que SIMON & BOYER, 1974 pour les grilles d’observation. Nous proposerons ici une typologie générale des stratégies de recueil d’informations, indépendamment de la méthode ou des méthodes utilisées. Elle se base sur des paramètres généraux, valables à la fois pour l’interview, l’observation, le questionnaire d’enquête, l’étude de documents. Des typologies spécifiques à chacune des 4 méthodes de recueil d’informations pourraient affiner la première typologie, à travers des paramètres spécifiques à une méthode bien précise. Par exemple, pour la typologie générale des stratégies de recueil d’informations, on peut proposer le paramètre « le recueil d’informations porte sur des faits ou sur des représentations ». Ce paramètre est propre à la stratégie utilisée, indépendamment de la méthode mise en œuvre.

118

Typologies du recueil d’informations

Par contre, le paramètre « rôle de l’observateur » est un paramètre qui n’est pertinent que pour les méthodes d’observation. Paramètres généraux Paramètres spécifiques à l’interview

Paramètres spécifiques à l’observation

Paramètres spécifiques au questionnaire

Paramètres spécifiques à l’étude de documents

Une typologie d’une méthode sera constituée des paramètres généraux et des paramètres spécifiques correspondants. EXEMPLES

Paramètres généraux Paramètres spécifiques à l’interview

Paramètres spécifiques à l’observation

Paramètres spécifiques au questionnaire

Paramètres spécifiques à l’étude de documents

Typologie de l’observation

5.2 Établissement des paramètres caractérisant une stratégie de recueil d’informations Pour recueillir les informations nécessaires à l’évaluation ou à la recherche, l’investigateur élabore une stratégie de recueil d’informations. On pourrait définir la stratégie de la façon suivante. Une stratégie est un ensemble coordonné de méthodes, de démarches et de techniques censées être pertinentes en regard de l’objectif poursuivi.

Une stratégie implique donc notamment le recours à les méthodes et à des techniques. Nous inspirant du sens donné à ces termes dans le cadre de formations (DE KETELE et alii, 1989), nous différencierons méthode et technique selon les critères suivants : • une méthode se base sur des principes, une technique sur des démarches ; • une méthode est ouverte, tandis qu’une technique possède un caractère pré-établi ; • une technique se met toujours au service d’une méthode. Nous définirons ces termes de la façon suivante : Une méthode est un ensemble plus ou moins structuré et cohérent de principes censés orienter l’ensemble des démarches du processus dans lequel elle s’inscrit (notamment les techniques utilisées). Une technique est un ensemble de démarches pré-établies à effectuer dans un certain ordre et éventuellement dans un certain contexte, plus ou moins contraignant selon les techniques.

On parlera par exemple de méthode d’interview, mais de la technique de l’entretien dirigé (comme devant respecter un certain nombre de règles), ou encore de la technique de l’entretien d’explicitation (VERMERSCH, 1994). La méthode de l’étude de documents pourra notamment faire appel à la technique de l’échantillonnage aléatoire simple (PAQUETTE, 2005).

119

Les acteurs de l’investigation

La technique des incidents critiques sera considérée comme une technique d’observation (LESCARBEAU, 2000). Le sondage d’opinion sera une des techniques qui peuvent être mises en œuvre dans le cadre de la méthode d’enquête par questionnaire (TILLÉ, 2001). Une méthode devra donc être considérée comme un ensemble de techniques aux caractéristiques et aux implications foncièrement différentes. Elle sera choisie en fonction du type d’informations à recueillir, ainsi que du contexte dans lequel ce recueil a lieu. Pour établir notre typologie, nous utiliserons des distinctions qui doivent obéir à des exigences bien précises. Étant donné que cette typologie ne doit pas distinguer les méthodes les unes des autres, nous parlerons surtout en termes de techniques, au sens d’application particulière d’une méthode répondant à des caractéristiques déterminées. Au point de départ de l’élaboration des typologies, nous fixons nos exigences comme suit. La distinction établie doit : 1. 2. 3. 4.

relever les caractéristiques fondamentales des techniques de recueil d’information ; permettre de classer les différentes techniques employées ; permettre de nuancer les méthodes existantes ; permettre d’envisager l’élaboration de techniques nouvelles ou, du moins, peu employées.

Pour réaliser ces objectifs nous nous efforcerons principalement de dégager les paramètres fondamentaux du recueil d’informations. Dans les cas qui nous préoccupent, nous les concevons presque tous comme des continua bipolaires (ex. systématique – non systématique). Il faudrait, dans un second temps, envisager de combiner (croiser) les paramètres les uns avec les autres pour engendrer toutes les combinaisons de techniques théoriques possibles, et analyser logiquement chacune des combinaisons théoriques possibles pour trier les combinaisons compatibles et celles qui ne le sont pas. On parvient à beaucoup de combinaisons théoriques, mais si on dégage bien les paramètres incompatibles, on peut restreindre considérablement le champ.

5.3 Les acteurs de l’investigation 5.3.1 DÉFINITION

DES DIFFÉRENTS ACTEURS

Bien cerner les différents acteurs de toute investigation est un point capital : qui est le demandeur, par qui arrive la demande, sur qui les effets vont porter, etc., sont des informations de toute première importance. Nous définirons ici les 6 types d’acteurs principaux en présence dans une investigation, que ce soit dans le cadre d’une évaluation ou d’une recherche (ROEGIERS, 1997 ; 3e édition 2007) :

120

Typologies du recueil d’informations

– – – – – –

le commanditaire l’initiateur le gestionnaire l’investigateur le destinataire le bénéficiaire.

A. Le commanditaire S’il est fréquemment utilisé dans la littérature, le concept de commanditaire d’une investigation est encore mal défini. Dans leur ouvrage relatif à l’analyse des besoins en formation, R. BARBIER et M. LESNE (1977, p. 202) définissent la commande comme « l’expression institutionnalisée, contractualisée de la demande de formation ». Nous inspirant partiellement de cette définition, nous insisterons davantage sur l’aspect de décision, et rendrons également au terme commanditaire sa composante étymologique de « bailleur de fonds ». Nous appellerons dès lors le commanditaire d’un processus d’investigation (analyse des besoins, évaluation, recherche, …) la personne ou le groupe de personnes constituant l’instance hiérarchique la plus basse qui a le pouvoir de décider le financement, le démarrage et la prolongation éventuelle du processus.

Cette instance ou cette personne répondra souvent aux caractéristiques suivantes : – c’est d’elle que vient la demande officielle, et qui signe ou contresigne le contrat ; – c’est elle qui finance l’investigation, ou qui ratifie un accord de financement par un organisme extérieur. EXEMPLES

– le Directeur Général qui commandite auprès d’un bureau d’études un audit du système des formations dans l’entreprise ;

– le Ministre de la Santé ou de l’Environnement qui commandite auprès d’un laboratoire spé-

cialisé une étude visant à établir ou à modifier des normes en matière d’hygiène, de bruit, de pollution… ;

– le chef de département d’une compagnie d’assurances qui demande une expertise ; – etc. Il est important de bien cerner qui est le commanditaire de toute action menée. Ce dernier a son référentiel propre, son système de représentations, ses conceptions du travail et de la façon dont il doit être mené. Selon que ces représentations sont plus ou moins prégnantes, le travail sera mené de façon plus ou moins indépendante.

B. L’initiateur E. BOURGEOIS (1991) distingue le « commanditaire formel » et le « commanditaire informel ». Selon lui, le commanditaire formel est la personne qui a l’autorité formelle

Les acteurs de l’investigation

121

de décider de la mise en œuvre d’une action de formation (et d’une analyse des besoins) et/ou contrôle des ressources indispensables à sa mise en œuvre. Le commanditaire informel est la personne qui est à l’initiative du projet – c’est elle qui soulève certains problèmes socio-professionnels, émet l’idée que telle action pourrait être émise pour les résoudre, …- même si elle ne dispose pas de l’autorité de prendre les décisions et d’allouer les ressources nécessaires à sa mise en œuvre. Tout en gardant l’idée de la distinction qui nous paraît fondamentale, mais dans le souci de dissocier de façon plus stricte les deux fonctions, nous ne garderons le terme de « commanditaire » que pour désigner le « commanditaire formel ». Nous appellerons « initiateur » la personne de qui vient l’initiative du projet. EXEMPLES

1. Une association subsidiée annuellement par un ministère, décide de mener une enquête sur

l’origine de l’absentéisme scolaire dans tel quartier. N’étant pas compétente, elle décide de confier l’enquête à un tiers. Dans ce cas, elle est le commanditaire de l’enquête. Elle en est aussi l’initiateur. Supposons que la même association demande au ministère des crédits pour mener cette étude. Le ministère accepte, mais il souhaite examiner le questionnaire avant que celui-ci ne soit diffusé. Dans ce cas, le ministère est considéré comme le commanditaire de l’enquête aux yeux de l’association, mais celle-ci est le commanditaire aux yeux de la personne ou de la firme à laquelle elle confie l’enquête. Il s’agit d’une forme de sous-traitance. L’initiateur est toujours l’association. 2. Mécontent des performances de ses ouvriers dans un service technique, un contremaître demande au Directeur de la Production un audit du fonctionnement du service. Bien que la demande originale émane du contremaître (l’initiateur), c’est le Directeur de la Production qui est le commanditaire officiel de l’audit, même s’il délègue à quelqu’un d’autre le soin de prendre les mesures pratiques pour mener l’audit (choix du consultant, calendrier, remise du rapport, etc.). Si le Directeur de la Production avait dû en référer au Directeur Financier pour obtenir l’accord, le commanditaire officiel aurait été le supérieur hiérarchique commun au Directeur de la Production et au Directeur Financier, soit que ce soit une tierce personne (p.ex. le Directeur Général) ou le Directeur Financier lui-même. 3. Dans le cas de recherche fondamentale universitaire, l’initiateur est la plupart du temps un Professeur. Dans certains cas, l’initiateur peut être le chercheur lui-même. En ce qui concerne le commanditaire, on peut rencontrer différentes situations :

– quand la recherche doit recevoir l’aval du Recteur ou du Président d’Université, sur la nature de la recherche mais aussi sur son financement, et que celui-ci souhaite avoir un minimum de contrôle sur son déroulement, c’est lui qui sera considéré comme le commanditaire officiel de la recherche ;

– lorsque l’initiative de la recherche vient d’un Professeur, sans passer par l’assentiment du

Recteur, et que les crédits proviennent d’un fonds de recherche, il n’y a pas de commanditaire puisqu’il n’y a pas de commande précise. On peut considérer que le professeur est le gestionnaire, dans la mesure où il est délégué par les autorités pour.prendre toutes les décisions nécessaires pour mener le projet à bien ;

– lorsque la recherche relève d’une initiative ministérielle, passant par une commande, le

Ministre est le commanditaire ; l’initiateur est souvent un membre de son Cabinet, ou un Professeur qui a présenté le projet ; la commande prévoit souvent la remise d’un rapport intermédiaire qui conditionne la poursuite de la recherche ;

122

Typologies du recueil d’informations

– quand la recherche se déroule sur base d’un financement mixte université/privé, et que tous deux souhaitent exercer un contrôle, le commanditaire est double : à la fois une instance universitaire et une instance privée.

C. Le gestionnaire Le gestionnaire est celui qui a la responsabilité de mener le projet à bien : respect des délais, choix de l’investigateur, gestion financière du projet, etc. Il dispose en général du choix des moyens pour mener l’investigation, à moins que ceux-ci n’aient été fixés contractuellement, en tout ou en partie. La plupart du temps, c’est l’interlocuteur direct du commanditaire, et c’est lui qui signe le contrat. Il peut cependant arriver qu’il soit délégué par le signataire pour la réalisation du contrat. EXEMPLES

– le professeur qui coordonne une équipe de chercheurs ; – le directeur d’un bureau d’études à qui est confiée l’évaluation d’un programme de – – – –

formations ; le consultant indépendant à qui l’on confie une étude ponctuelle ; l’enseignant chargé d’évaluer les acquis de ses élèves ; le directeur d’un laboratoire de recherche chargé d’une étude importante ; etc.

Dans le cas d’investigations complexes, cette fonction peut être assurée par un groupe de personnes qui se répartissent les responsabilités. On peut par exemple attribuer à des personnes différentes : • la gestion financière ; • la coordination pédagogique ; • l’organisation matérielle.

D. L’investigateur L’investigateur est la personne ou le groupe de personnes qui mène l’investigation. Selon les cas, l’investigateur sera le professeur qui relève les résultats de ses élèves, l’auditeur spécialisé qui pratique un audit d’entreprise, un chercheur qui mène une recherche, etc. Il peut être le gestionnaire lui-même, comme dans le cas du professeur qui relève les résultats de ses élèves, ou désigné par lui, comme dans le cas de la recherche universitaire. L’investigateur sera dit interne lorsqu’il est directement subordonné au commanditaire. C’est ainsi qu’on parle d’auditeur interne dans une entreprise pour désigner celui qui, dans l’entreprise, est chargé par la Direction Générale d’effectuer des contrôles sur la façon dont les objectifs de productivité sont atteints. Dans la plupart des recherches universitaires où il n’y a pas de commande précise de recherche, le chercheur est un investigateur interne.

Les acteurs de l’investigation

123

L’investigateur sera dit externe lorsque le commanditaire n’a pas directement autorité sur lui. Un rapport contractuel limité dans le temps précise les rapports entre le commanditaire et l’investigateur. Un consultant d’un bureau privé est un investigateur externe. Dans une recherche évaluative commandée par le ministre pour évaluer la réforme des mathématiques, le chercheur est un investigateur externe. L’avantage du recours à l’auditeur interne est qu’il connaît bien le contexte dans lequel s’inscrit l’investigation. Le principal inconvénient est qu’il est lui-même impliqué dans le système, et que les informations qu’il va recueillir risquent d’être teintées de subjectivité, ou si tel n’est pas le cas, d’être perçues a priori comme douteuses par ses collègues. Selon le type d’investigation, notamment selon le caractère récurrent ou occasionnel de l’investigation, ou encore selon l’importance de la composante affective et émotionnelle de celle-ci, on fera appel à un investigateur interne ou externe.

E. Le destinataire Nous définirons le « destinataire » de l’investigation comme la personne ou le groupe de personnes à qui doit parvenir le rapport, ou plutôt celle qui doit avoir prioritairement connaissance des résultats complets de l’investigation. Pour une recherche, le destinataire sera selon les cas : – des scientifiques, des chercheurs par le biais de revues spécialisées, pour les recherches scientifiques ; – des chercheurs-ingénieurs pour les recherches technologiques ; – des décideurs, dans le cas de recherches évaluatives ou opérationnelles ; – des acteurs de terrain, dans le cas de recherches-action ; – des chercheurs dans le cas de recherches exploratoires ; – des chercheurs ou des personnes d’un haut niveau de culture pour les recherches spéculatives. Lorsqu’il s’agit d’une évaluation de performances de personnes, le destinataire peut être la personne elle-même et/ou le formateur (évaluation formative), ou le commanditaire de l’évaluation (évaluation de certification). Lorsqu’il n’y a pas de commanditaire, comme dans le cas de l’évaluation de certification dans le cadre scolaire, le destinataire peut être multiple. Dans cet exemple, il sera à la fois les parents, la direction, mais surtout l’enseignant (ou l’école) qui va recevoir l’élève l’année suivante. Dans une évaluation d’un fonctionnement ou d’un système, le destinataire est souvent le commanditaire lui-même.

F. Le bénéficiaire Le bénéficiaire de l’investigation est la personne ou le groupe de personnes qui bénéficie des résultats de l’investigation.

124

Typologies du recueil d’informations

Selon les cas, il peut être le destinataire ou non. Dans le cas de l’audit d’organisation, le bénéficiaire est souvent le destinataire, alors que dans une recherche évaluative commanditée par un organisme national ou international, le bénéficiaire sera souvent une population bien définie, au nom de laquelle le commanditaire et/ou le destinataire agit. Dans le cas de l’évaluation de certification mentionnée ci-dessus, le bénéficiaire est l’élève. Le bénéficiaire peut être également le marché du travail : c’est le cas d’une évaluation certificative au terme d’une formation professionnelle. Dans certains cas, le bénéficiaire peut ne pas être défini, comme dans la plupart des recherches scientifiques. C’est la communauté scientifique au sens large.

5.3.2 RECUEIL

LIBRE ET CONTRÔLÉ

Un paramètre relatif au commanditaire intéresse directement le recueil d’informations : PARAMÈTRE 1 : le recueil d’informations est-il libre ou au contraire contrôlé par le commanditaire, directement ou indirectement ? c’est-à-dire le commanditaire (ou la personne qui le représente) doit-il donner son accord sur la nature de l’information recherchée, sur la façon dont l’information est recherchée, traitée ou bien l’investigateur possède-t-il toute liberté d’agir à sa guise dans un cadre défini au départ ? EXEMPLES DE RECUEIL D’INFORMATIONS CONTRÔLÉES

– le Directeur Général qui a commandité un audit de fonctionnement décide de ne pas laisser à l’auditeur l’accès à certains types de documents jugés confidentiels ;

– le Ministre qui a commandité une recherche évaluative sur les représentations des enseignants à propos d’un nouveau programme exige de visionner le questionnaire d’enquête envoyé à toutes les écoles, afin de voir si aucune question n’est de nature à le mettre en porte-à-faux avec la classe politique, les syndicats ou les associations de parents.

Dans les cas de recueils contrôlés, il faudra souvent faire preuve d’astuce pour maintenir malgré tout un maximum d’objectivité à l’investigation, et pour satisfaire à des conditions suffisantes de pertinence, de validité et de fiabilité. Un contrôle n’est pas toujours explicite : un entretien auquel assiste une deuxième personne non prévue, ou encore l’exigence d’un rapport intermédiaire peut être le signe d’un contrôle implicite. Toute la difficulté pour l’investigateur sera de détecter ce contrôle implicite, et de l’intégrer à son investigation comme information supplémentaire dont il doit tenir compte.

5.4 L’objet du recueil d’informations Deux distinctions permettent de mieux cerner l’objet du recueil d’informations, et, par voie de conséquence, de caractériser les différentes méthodes de recueil d’informations : PARAMÈTRE 2 : le recueil d’informations porte-t-il sur des faits ou, au contraire, sur des représentations ?

L’objet du recueil d’informations

125

PARAMÈTRE 3 : le recueil d’informations est-il attributif ou, au contraire, narratif ?

5.4.1 FAITS

ET REPRÉSENTATIONS

PARAMÈTRE 2 : le recueil d’informations porte-t-il sur des faits ou, au contraire, sur des représentations ? On dira que le recueil d’informations porte sur des « faits » (au sens large) lorsqu’il oriente son attention sur des caractéristiques de la situation, sur des comportements ou sur des interactions entre les personnes étant entendu que ces caractéristiques ne sont contestées par personne. En effet, on peut dire qu’une information ou une interprétation est un fait « lorsqu’elle est à ce point testée et trouvée pertinente que personne ne pense à la remettre en question (FOUREZ, 2003, p. 45) ». EXEMPLE

L’information « Il y a 15 personnes dans la salle » a peu de chances d’être contestée comme fait objectif. D’autres informations, telles que « Il fait bon aujourd’hui », ou « Ce groupe n’est constitué que de scientifiques » ne sont des faits que si personne ne les remet en cause. Il suffit qu’une personne émette une objection pour qu’un débat surgisse, et qu’on modifie la formulation initiale pour que cette nouvelle formulation devienne un fait, non contesté.

On dira que le recueil d’informations porte sur des « représentations » lorsqu’il vise à recueillir des opinions, des façons de percevoir les choses ou les comportements, à préciser leur signification ou encore à leur attribuer une cause. Les notions de représentation et de champ représentatif sont des notions relativement récentes. De ce fait, il nous semble intéressant de donner l’éventail des principales représentations qui peuvent se révéler nécessaires ou utiles pour étudier un domaine particulier. À titre d’illustration, nous prendrons deux exemples. EXEMPLE 1

Les formes de perception des différents acteurs d’une classe entre eux. Nous considérerons trois acteurs principaux :

– le professeur (P) – l’élève (E) – le groupe-classe (G) et deux types de perceptions :

– la perception actuelle : ce que x pense effectivement de x ou y. C’est la perception d’une situation actuelle concernant x ou y ;

– la perception idéale : ce que x voudrait être, ou ce que x voudrait que x ou y soit. C’est la perception d’une situation attendue ou souhaitée concernant x ou y.

La liste suivante propose un certain nombre de représentations d’acteurs, vis-à-vis d’autres acteurs et de soi-même, que l’on rencontre le plus fréquemment. Elle est donc loin d’être exhaustive.

126

Typologies du recueil d’informations

a. Différentes formes de perception de soi-même

actuel

idéal

1. Ce que l’étudiant pense de lui-même

2. Ce que l’étudiant voudrait être

« Je suis fort en langues »

« Je devrais arriver à dire ce que je pense »

actuel

3. Ce que le professeur pense de lui-même « Certains de mes collègues n’ont aucune conscience professionnelle (sous-entendu : moi, bien sûr j’en ai) »

idéal

4. Ce que le professeur voudrait être « J’aimerais être plus proche de mes étudiants »

BARBIER (2006) montre par exemple en quoi l’évaluateur prend du plaisir à évaluer, en regard de l’image de soi que lui renvoie cette évaluation. Il établit dès lors un lien étroit entre la problématique de l’évaluation et la problématique identitaire. b. Différentes formes de perception de l’autre

actuel

1. Ce que le professeur pense de l’étudiant « Il a un bon esprit de synthèse »

idéal

2. Ce que le professeur voudrait que l’étudiant soit « Il devrait étudier beaucoup plus »

127

L’objet du recueil d’informations

actuel

3. Ce que l’étudiant pense du professeur « Il est sympa mais il est trop coulant »

actuel

5. Ce que le groupe-classe pense de l’étudiant « C’est une grosse tête »

actuel

7. Ce que l’étudiant pense du groupe-classe « Ce sont tous des snobs »

idéal

4. Ce que l’étudiant voudrait que le professeur soit « Il devrait prendre l’habitude de rester en classe quelques minutes après le cours, pour qu’on puisse parler avec lui »

idéal

6. Ce que le groupe-classe voudrait que l’étudiant soit « Il ferait bien de nous laisser photocopier ses notes de cours »

idéal

8. Ce que l’étudiant voudrait que le groupe-classe soit « On devrait se concerter et s’organiser pour que ce ne soit pas toujours les mêmes qui aient tout sur le dos »

128

Typologies du recueil d’informations

c. Différentes formes de perception concernant les représentations que l’autre a de lui-même

actuel

actuel

actuel

idéal

2. Ce que le professeur voudrait que l’étudiant pense de lui-même

1. Ce que le professeur croit que l’étudiant pense de lui-même « Il se croit invulnérable »

« Il devrait avoir davantage confiance en ses moyens intellectuels »

idéal

idéal actuel

3. Ce que le professeur croit que l’étudiant voudrait être « Il cherche à en faire le moins possible »

idéal

4. Ce à quoi le professeur voudrait que l’étudiant aspire « Il faudrait qu’il ait d’autres ambitions »

129

L’objet du recueil d’informations d. Différentes formes de perceptions concernant les représentations que l’autre a de soi-même

actuel

actuel

1. Ce que l’étudiant croit que le professeur pense de lui « Dire qu’il pense que je travaille beaucoup »

idéal

actuel

2. Ce que l’étudiant voudrait que le professeur pense de lui « Il devrait pourtant voir que je travaille »

actuel

actuel

3. Ce que le professeur croit que l’élève pense de lui « Il n’arrête pas de me faire sentir que je n’explique pas assez bien »

idéal

actuel

4. Ce que le professeur voudrait que l’élève pense de lui « Il devrait me considérer comme un allié »

idéal

actuel

5. Ce que l’étudiant voudrait que le groupe-classe pense de lui « Je ne veux plus qu’on me considère comme un fayot »

130

Typologies du recueil d’informations

Les représentations sont tout aussi importantes que les faits eux-mêmes. Parfois, il est possible de déterminer si une représentation est conforme à celle qu’un observateur pourrait avoir sur le même objet. Il suffit de la confronter à des faits objectifs. Par exemple, pour déterminer si le groupe classe considère l’étudiant comme un « fayot » (mot d’argot qui désigne un élève qui fait du zèle pour être bien vu de son professeur), on peut demander individuellement à chaque membre du groupe-classe ainsi qu’au professeur s’il considère que l’étudiant est un fayot. Il ne faut cependant pas conclure que si la représentation du sujet est inexacte, elle est à rejeter. Le fait que l’étudiant pense qu’on le considère comme un fayot alors que personne ne déclare avoir cette opinion, donne autant d’informations que si le fait se révélait exact. Dans les deux cas, il y a un problème : si la représentation est inexacte, il y a un problème de perception ; dans l’autre, il y a un problème de communication. Une représentation apporte donc autant d’informations si elle est inexacte que si elle se révèle conforme à la réalité. EXEMPLE 2

Les différentes formes de perception des objectifs d’une formation au sein d’une entreprise. Outre les facteurs qui garantissent la réussite d’une formation en entreprise, la perception des objectifs de celle-ci par les différents acteurs joue une place primordiale. Voici quelques questions qui permettent de préciser si tous les acteurs ont la même représentation des objectifs poursuivis. Le formateur a-t-il une représentation exacte de la politique de l’entreprise ? Si non, en estil seulement informé ? Si oui, les objectifs qu’il déclare poursuivre sont-ils en accord avec cette politique ? Poursuit-il effectivement les objectifs qu’il déclare poursuivre ? Si non, pense-t-il qu’il poursuit les objectifs déclarés ? Les participants perçoivent-ils les objectifs de la formation ? Si oui, les objectifs perçus sontils bien ceux que poursuit le formateur ? Sont-ils ceux auxquels ils s’attendaient en commençant la formation ? Les objectifs poursuivis effectivement sont-ils bien ceux que se représente le supérieur hiérarchique des participants, qui a envoyé ceux-ci en formation et qui doit obtenir des effets précis sur le terrain ? L’objectivation de ces perceptions constitue une raison suffisante pour exiger que les objectifs de tout cycle de formation soient consignés sur un document accessible à tous les acteurs concernés. Ce n’est qu’à partir de là que le supérieur hiérarchique qui envoie son personnel en formation pourra dire au formateur : « vous ne poursuivez pas les objectifs que vous déclarez », et que le formateur pourra lui dire : « ce que vous me demandez n’est pas conforme au contrat de départ ».

Dans certains cas, une même information peut être, soit un fait, soit une représentation selon l’aspect qui intéresse l’investigateur. EXEMPLE

L’information « la formation continuée des enseignants est utile à notre école » peut être traitée soit comme un fait, à vérifier à travers certains indicateurs comme le taux d’échecs scolaires,

131

L’objet du recueil d’informations

ou encore par trianguulation (6.3.4), si on cherche à vérifier l’impact de la formation continuée, soit comme une représentation si on s’intéresse à l’idée que se font de la formation continuée les différents acteurs de l’établissement scolaire.

Remarque En ce qui concerne les enquêtes par questionnaires, les informations peuvent porter sur trois types d’objets au moins : • l’identification (âge, sexe, profession, …) • les comportements déclarés (ce qu’il fait habituellement…) • les opinions déclarées (ce qu’il pense de…). Si l’identification est de l’ordre des faits, les comportements déclarés et les opinions déclarées sont en revanche de l’ordre de la représentation (les comportements affectifs sont eux, de l’ordre des faits).

5.4.2 RECUEIL D’INFORMATIONS

ATTRIBUTIF OU NARRATIF

PARAMÈTRE 3 : le recueil d’informations est-il attributif ou, au contraire, narratif ? Selon la nature de son objet, le recueil d’informations sera attributif lorsqu’il s’efforce de porter son attention : 1. sur la présence ou l’absence d’un ou plusieurs « objets » ; 2. ou/et sur la présence ou l’absence (ou le degré éventuel) de caractéristiques chez un « objet » (sujet, chose, situation, interaction, etc…) ; il s’agit d’un attribut au sens strict (LALANDE, 1968) ; 3. ou/et sur la présence ou l’absence d’une action chez un « objet » ; il s’agit d’un attribut-prédicat (LALANDE, 1968). Dans le recueil d’informations attributif, l’effort porte sur ce qui peut être affirmé ou nié de l’objet du recueil d’informations. Le recueil d’informations sera par contre dit narratif lorsqu’il s’efforce de porter son attention : 1. sur le déroulement des actions ; 2. ou/et sur la succession des états (physiques, affectifs ou autres)qui accompagnent le déroulement des actions ; 3. ou/et sur les effets de l’action ; 4. ou/et sur les conséquences ultérieures (par exemple, les décisions, les comportements, les modifications de la situation…) qui ont suivi l’action et ses effets immédiats attendus. Les techniques narratives de recueil sont en général très riches, mais d’une gestion difficile : elles nécessitent souvent plusieurs observateurs, et un matériel important. EXEMPLE 1

Une observation des actions les plus courantes effectuées par des enfants de l’école maternelle (marcher, courir, être assis, pleurer, rire, crier, jouer, sucer, …(D. ZIMMERMANN, 1982) est de type attributif si on se contente de noter la fréquence d’apparition de celles-ci, avec une intensité éventuelle, mais sans se préoccuper du déroulement de ces actions.

132

Typologies du recueil d’informations Par contre, si l’observation a pour objectif de rechercher des actions qui sont souvent présentes simultanément (par exemple, crier pendant qu’on est assis) ou qui se déroulent selon des séquences bien précises (par exemple, sucer après avoir pleuré), l’observation devient narrative. EXEMPLE 2

Pour vérifier les hypothèses selon lesquelles il y a eu détérioration des conditions de vie du salariat urbain pendant une période de crise déterminée, et que les inégalités économiques au sein du salariat se sont accentuées au Canada, J. PANET-RAYMOND et C. POIRIER (1986) ont choisi d’utiliser la technique d’entretiens par récits de vie auprès de 38 ménages, dans le but d’aller chercher des informations sur les événements qui s’étaient produits et les actions pratiques entreprises durant la période de crise. C’est un exemple d’entretien narratif : les actions décrites n’ont de sens que dans leurs interactions par rapport à d’autres. S’ils avaient choisi de procéder par questionnaire d’enquête dans le but de recueillir des données comparatives sur différents paramètres entre le début et la fin de la période crise, la méthode utilisée aurait été de type attributif.

Certains questionnaires peuvent également être de type narratif. C’est le cas par exemple : – d’un questionnaire d’enquête soumis aux mêmes personnes à quelques mois d’intervalle, afin d’analyser l’évolution des représentations ou des opinions, comme par exemple les sondages destinés à recueillir les grandes tendances politiques ; – d’un questionnaire de contrôle unique proposé en début et en fin de période d’apprentissage (pré-test et post-test), avec comme objectif de mesurer l’évolution des acquis des apprenants au cours de la période.

5.5 Le degré de guidage du recueil d’informations Nous trouvons 3 nouveaux paramètres. Les paramètres 4 et 5 relèvent du guidage en amont (avant de recueillir l’information) PARAMÈTRE 4 : La situation de recueil d’informations est-elle créée ou naturelle ? PARAMÈTRE 5 : La situation de recueil d’informations est-elle manipulée ou non ? Le paramètre 6 relève du guidage en aval (lors du traitement de l’information) PARAMÈTRE 6 : Quel est le degré d’inférence de l’information recueillie ?

5.5.1 SITUATION

CRÉÉE ET NATURELLE

PARAMÈTRE 4 : la situation de recueil d’informations est-elle créée ou naturelle ? La situation est naturelle lorsque le recueil d’informations auprès de personnes est mené dans leur cadre de vie « habituel » ou « familier », que ce soit dans le cadre d’une investigation avec ou sans contrôle d’une hypothèse ; avec ou sans plan expérimental strict….

Le degré de guidage du recueil d’informations

133

Ces termes sont mis entre guillemets, car ils englobent les événements qui apparaissent exceptionnellement dans le cadre d’une vie. C’est par exemple le cas de l’enseignant qui recueille des informations « à chaud » pour pratiquer son évaluation formative. Le recueil d’informations dans une recherche-action est un autre exemple de situation naturelle de recueil d’informations. Nous considérerons qu’un entretien est naturel lorsqu’il se déroule dans un contexte qui libère la parole, c’est-à-dire un contexte dans lequel ce qui est dit reflète ce qui est pensé et vécu. Le recueil d’informations par questionnaire sera considéré comme naturel lorsque la personne n’est pas contrainte par l’environnement lorsqu’elle remplit le questionnaire, c’est-à-dire quand elle peut décider librement du lieu et de l’endroit où elle remplit celui-ci, par exemple tranquillement chez soi. Par contre, la situation est créée lorsque l’investigateur met les sujets dans une situation qui sort du cadre « habituel » ou « familier ». EXEMPLES

Une interview réalisée en direct à la TV en est un exemple. Un sondage d’opinion réalisé en 5 secondes auprès d’une personne au coin d’une rue en est un autre exemple.

De façon générale, tout recueil d’informations en laboratoire relèvera d’une situation créée.

5.5.2 SITUATION

MANIPULÉE ET NON MANIPULÉE

PARAMÈTRE 5 : la situation de recueil d’informations est-elle manipulée ou non ? Au-delà du cadre, naturel ou artificiel, dans lequel on recueille les informations, le dispositif mis en place peut filtrer et orienter les informations recueillies à la source : nous parlerons dans ce cas de situation manipulée. De façon générale, une situation naturelle peut être manipulée ou non. De même, une situation créée peut être manipulée ou non. Nous verrons cependant que dans le cas de l’observation, une situation créée est toujours manipulée. Il faut noter qu’en matière de recueil d’informations, le terme « manipulation » d’une situation n’a pas nécessairement une connotation négative. Il renvoie très souvent à une nécessité pour mener l’investigation à bien.

A. Questionnaire Si la pratique du questionnaire est habituelle dans le contexte de vie, on dira que la situation est naturelle. C’est par exemple le cas des questionnaires d’évaluation des performances dans le cadre scolaire. La plupart des questionnaires sont conçus par des personnes autres que celles qui les remplissent : la situation est dans ce cas manipulée. Il est cependant des cas où les questionnaires sont conçus par les sujets eux-mêmes. On rencontre aussi des cas où un même questionnaire est rempli à intervalles réguliers par certaines personnes.

134

Typologies du recueil d’informations

Le tableau ci-après illustre les 4 cas possibles pour le questionnaire.

Situation

Naturelle

Créée

Non manipulée

Un questionnaire ouvert (ou dont les questions ont été produites par les participants) effectué chaque jour en fin de journée dans une session de formation

Le professeur permet à ses élèves de construire un questionnaire d’évaluation et les invite à y répondre…alors que ceci n’a jamais été fait auparavant.

Manipulée

Un questionnaire d’évaluation des per- Un questionnaire (test d’aptitude) disformances construit par l’enseignant tribué par un psychologue scolaire à dans le cadre de sa classe une classe

B. Interview Un entretien sera manipulé à partir du moment où l’interviewer veut conduire son interlocuteur sur un terrain précis. Seuls les récits de vie tout à fait ouverts, ou encore des conversations qui ne sont utilisées comme entretien qu’a posteriori peuvent présenter les caractéristiques d’une situation non manipulée. Le tableau ci-dessous illustre les 4 cas possibles pour un entretien.

Situation…

Naturelle

Créée

Non manipulée

Entretien sous la forme d’une conversa- Récit de vie, provoqué, mais tout à fait ouvert tion dans le cadre naturel avec un interviewer dont la présence est plausible, ou encore conversation dont on ne se rend compte qu’après coup qu’elle peut servir.

manipulée

Entretien dirigé mené par un interEntretien dirigé mené dans un autre viewer dans le cadre naturel de vie ou cadre que le cadre habituel (interview à de travail, lors d’un audit par exemple la radio ou à la TV par exemple)

C. Étude de documents Il est des documents qui ont été écrits dans le cadre d’activités habituelles ou familières : certains rapports de réunions, les rapports scientifiques des chercheurs, les notes prises par les étudiants pendant les cours, les plans de soins dans un service hospitalier, etc. D’autres, au contraire, sont exceptionnels ou font l’objet d’une démarche plus spécifique : un cahier de revendications, une proposition d’amélioration d’un processus de fabrication écrite par un ouvrier, une charte éducative proposée par les enseignants et les élèves, etc.

135

Le degré de guidage du recueil d’informations

Selon les cas, ces documents peuvent être manipulés ou non. On dira qu’ils sont manipulés dans la mesure où un référentiel externe a présidé à leur confection. Dans la mesure où les auteurs ont pu les écrire en fonction de leur propre référentiel, on dira qu’ils ne sont pas manipulés, ce qui n’exclut pas certaines influences. Mais il existe un autre niveau possible de manipulation par le chercheur dans le choix des documents parmi les documents déjà disponibles ou demandés. Si le choix des documents est guidé par un ou plusieurs critères déterminés par le chercheur, on peut parler de manipulation (ce qui est souhaitable pour certains objectifs). Si l’investigateur reprend tous les documents sans exception ou s’il fait un choix strictement aléatoire, on ne parlera pas de manipulation dans le choix. Le tableau suivant représente les cas possibles.

Situation… Manipulée dans la conception

Naturelle

Créée

Manipulée dans le choix

NON

NON

Tous les documents rédigés par un groupe d’enseignants dans le cadre de leur travail mené indépendamment de toute pression externe

On a demandé à des enseignants de rédiger une série de documents sur le malaise de l’école. Aucune pression sur le contenu n’a été exercée.

NON

OUI

Comme ci-dessus, mais l’investigateur sélectionne les documents ou les extraits relatifs à une « pédagogie ouverte »

Comme ci-dessus, mais l’investigateur sélectionne les documents relatifs à la « qualité de l’enseignement »

OUI

NON

Tous les journaliers d’un service de Les documents relatifs à des propofabrication (ils sont conçus en fonc- sitions concernant un nouveau processus de fabrication suite à une tion d’une grille imposée) demande de la direction accompagnée d’un cahier des charges

OUI

OUI

L’investigateur sélectionne les journaliers qui font état de difficultés avec d’autres services dans l’entreprise

Comme ci-dessus, mais le chercheur ne retient que les propositions favorisant des solutions incluant des procédures « automatiques »

D. Observation En matière d’observation, il est des situations subtiles où le sujet mène des activités habituelles sans savoir qu’il se trouve, en fait, dans une situation de laboratoire. Nous considérons alors que la situation est naturelle, mais manipulée.

136

Typologies du recueil d’informations

En effet, contrairement à un préjugé courant, la situation naturelle peut être manipulée. Définir ce qu’est une situation manipulée nous semble cependant difficile si l’on ne distingue pas deux types de manipulations : 1. la manipulation par le choix délibéré des situations à étudier ; en effet, WEICK (1968) constate avec regret (et avec raison, à nos yeux) que trop d’investigateurs n’ont pas le souci de se poser la question : étant donné l’objectif d’investigation recherché, quelles situations particulières choisir ? Ne pas poser une telle question équivaut à affirmer l’équivalence et l’interchangeabilité des situations à étudier (À ses yeux, beaucoup d’observations en situations naturelles ont donné peu de résultats satisfaisants, à cause du peu d’intérêt porté au choix de la situation naturelle) ; 2. la manipulation en cours de processus d’investigation où l’investigateur intervient sur la situation ou sur le sujet pour en modifier le sens ; ici encore, on pourrait être amené à distinguer les situations où les manipulations en cours de processus sont planifiées a priori (et doivent être rigoureusement respectées) de celles où les manipulations en cours de processus sont simplement fonction d’objectifs à atteindre et, partant, sont fonction du déroulement du processus orienté. Ces distinctions nous permettent de dresser un éventail de situations diverses dont nous ne pouvons dire a priori que l’une est meilleure que l’autre : la valeur de chaque situation dépend des objectifs recherchés et des contingences de toutes sortes. Il est donc possible de manipuler la situation naturelle sans en détruire le caractère naturel. Si l’investigateur est le professeur (professeur-observateur), cela ne fait aucun problème, car les sujets observés (élèves) restent dans un milieu familier. Lorsque l’investigateur est une personne extérieure, il est possible, comme le souligne WEICK (1968), de manipuler la situation naturelle : tout dépend de son adresse à choisir les modifications à mettre en œuvre (que ce soit dans le choix de la situation ou dans les manipulations en cours de processus). Il veillera particulièrement à ce que la situation de départ présentée ou l’intervention-manipulation soit plausible (peut-être même attendue) et non suspicieuse. C’est relativement aisé en situation naturelle. Il n’en va pas du tout de même en laboratoire où, malgré tous les efforts de l’investigateur, le sujet aura tendance à se réfugier dans la tâche qui lui est demandée et à se centrer sur ce qui est non familier ou inhabituel pour lui. Quand la manipulation de la situation naturelle s’impose de par l’objectif recherché et quand elle se révèle possible sans détruire le caractère naturel de la situation, quels en sont les avantages ? On peut les énumérer comme suit (voir également WEICK, 1968, pp. 366-368) : 1. les propriétés de la situation déterminent le comportement et le rendent significatif ; 2. la manipulation de la situation naturelle permet d’améliorer la validité et l’étude de la généralisabilité ;

Le degré de guidage du recueil d’informations

137

3. elle permet d’éliminer certaines propriétés de la situation et d’en ajouter d’autres souhaitables en vue de clarifier ou de poursuivre un objectif de contrôle ; 4. elle est intéressante pour faire apparaître plus fréquemment les comportements rares : ceux-ci sont très souvent les plus significatifs et WRIGHT (1960, p. 100) ne comprend pas pourquoi tant de chercheurs n’en tiennent pas compte ; 5. elle rend davantage équivalentes les situations à étudier (intra et interrecherches) ; 6. elle permet, suivant les cas, de poursuivre des objectifs précis, tels : – augmenter le répertoire comportemental ; – influencer l’amplitude des résultats ; – évoquer une nouvelle réponse ; – cacher le fait de l’observation ; – amplifier une réponse naissante ; – contrôler la généralité d’un résultat, etc. Les distinctions que nous avons opérées et les considérations que nous avons émises permettraient d’obtenir toute une série de cas dont on pourrait étudier la pertinence en fonction des objectifs recherchés tels – faire une description écologique des comportements (anatomie de l’apprentissage scolaire) ; – dégager les variables pertinentes d’une situation ; – étudier des variables trop dangereuses à créer en laboratoire (ex. problème des sanctions) ; – généraliser à la situation naturelle des résultats expérimentaux issus du laboratoire ; – contrôler une hypothèse ; – vérifier par une observation la mise en œuvre d’une hypothèse opérationalisée, etc. Dans le tableau suivant, nous formons l’éventail des situations possibles en fonction des distinctions opérées et pour chaque situation nous donnons un exemple d’objectif d’investigation susceptible d’être recherché.

138

Situation naturelle ou créée

Typologies du recueil d’informations

Situation manipulée ou non

Exemples d’objectifs recherchés

Naturelle

Situation non choisie

Pas d’interventions

Observation purement écologique d’un investigateur extérieur qui veut faire une étude purement descriptive de l’apprentissage scolaire

Naturelle

Situation non choisie

Avec interventions

C’est le cas d’un professeur (investigateur = professeur) qui, en cours d’apprentissage, met ses élèves dans des situations bien précises, non planifiées avant l’apprentissage mais fonction de son déroulement, pour provoquer des ajustements, contrôler des hypothèses, étudier les réactions, etc. Ce peut être aussi le cas d’un investigateur extérieur qui demande au professeur des interventions déterminées, pour mettre en évidence certaines variables.

Naturelle

Situation choisie

Pas d’interventions

Une observation écologique par un investigateur extérieur qui choisit bien la situation pour divers motifs, comme par exemple pour faire surgir des variables particulières, des événements rares…ou tout simplement pour rendre comparables des situations (inter-recherches ou intra-recherches)

Naturelle

Situation choisie

Interventions non planifiées

Une observation par un investigateur extérieur d’un apprentissage scolaire dans des conditions bien définies par le choix de la situation ; l’apprentissage se déroule naturellement avec des interventions guidées par un objectif directeur mais non planifiées.

Naturelle

Situation choisie

Interventions planifiées

Contrôle d’une hypothèse en situation naturelle ; la situation naturelle a été choisie minutieusement pour neutraliser certaines variables ; les démarches à observer sont rigoureusement planifiées.

Créée

Donc nécessairement choisie

Pas d’interventions

Les variables indépendantes de l’expérience sont simplement manipulées par le choix des situations et des sujets : expérience, en général, assez simple, qui ne nécessite pas d’interventions en cours d’expérience. Ce peut être aussi la passation d’un test sans intervention du testeur.

Créée

Donc nécessairement choisie

Interventions non planifiées

Situation précédente, mais avec intervention du testeur

Créée

Donc nécessairement choisie

Interventions planifiées

Le cas le plus courant d’expérience de laboratoire où les variables indépendantes sont manipulées par le choix des situations et des sujets, et par des interventions rigoureusement planifiées

Le degré de guidage du recueil d’informations

139

L’ordre des situations que nous présentons dans le tableau n’est pas arbitraire : il va de la situation la plus libre à la situation la plus artificielle. Notons cependant que la situation « naturelle choisie avec interventions planifiées » peut être aussi naturelle que la situation « naturelle non choisie et sans intervention » si l’investigateur est suffisamment adroit. Mais avant de clore la section présente, nous voudrions encore insister sur le fait que les exemples donnés pour chacune des situations de l’éventail de notre tableau, ne sont que des exemples parmi beaucoup d’autres possibles. Ainsi, nous aurions pu envisager le cas où l’investigateur est un élève qui, au cours de l’apprentissage, crée une situation d’observation dans laquelle il interviendra selon des démarches prévues pour contrôler une hypothèse émise. C’est un autre exemple de situation créée avec interventions planifiées (dernière ligne du tableau).

5.5.3 L’INFÉRENCE PARAMÈTRE 6 : Quel est le degré d’inférence de l’information recueillie ? On peut associer l’inférence à la tendance à donner du sens à l’information recueillie. Nous n’aborderons pas ici le problème de l’inférence lors de la phase de traitement des données récoltées : il est clair qu’elle est indispensable et que son rôle est décisif pour l’énoncé des conclusions. Nous nous limiterons à l’inférence relative au recueil même des informations. Cette inférence peut être plus ou moins acceptable selon les cas : dans certains cas, elle sera parasite, mais, dans d’autres cas, elle est souhaitable. Dans un recueil d’informations avec inférence faible, l’investigateur énonce scrupuleusement ce qu’il voit ou ce qu’il entend sans se soucier de la signification que les faits ou les représentations revêtent. Dans un recueil d’informations avec inférence forte, l’investigateur énonce soit des intentions, soit des motifs, soit des sentiments…, en un mot attribue une signification à ce qu’il perçoit. Ce processus d’inférence se fonde sur les effets du comportement, les relations entre les éléments de la situation, les antécédents et les conséquents… et sur la propre expérience personnelle de l’observateur. Un recueil d’informations non inférentiel est exceptionnellement rare. Même une étude de documents présente un certain degré d’inférence, parce qu’il y a un décalage entre le référentiel de la source et le référentiel de l’investigateur. Le schéma suivant permet de mieux comprendre ce phénomène (l’ordonnée représenterait quelque chose comme une échelle de valeurs).

140

Typologies du recueil d’informations

Référentiel de la source Décalage entre les deux éléments Information recueillie

La même information consignée

Interférence, ou décalage résiduel dans la consignation (malgré la localisation dans des zones du référentiel proches l’une de l’autre)

Référentiel de l’investigateur

Nous avons également déjà évoqué les grands problèmes d’inférence liés à la correction lors d’évaluations de performances de personnes (voir en 2.2.1). Selon la nature de l’évaluation pratiquée, l’inférence sera très forte (examen oral) ou très faible (questionnaire à choix multiple). Le degré d’inférence joue également un rôle particulièrement important dans l’interview et dans l’observation. L’inférence peut aussi bien être due à la nature des variables à observer qu’à la façon dont les informations sont transcrites, et qui peut selon les cas amplifier ou non l’inférence naturelle des variables. Le schéma suivant illustre cette situation.

Variable à inférence faible

Faible inférence dans le recueil

Forte inférence dans le recueil

Variable à inférence forte

I

III

II

IV

Inférence totale

Le degré de guidage du recueil d’informations

141

Illustrons chaque cas par un exemple. Variable de faible inférence : le nombre de fois qu’une personne prend la parole lors d’une réunion. Le degré d’inférence est faible, mais cependant présent : si elle prend la parole deux fois d’affilée, après un silence, est-ce comptabilisé comme une ou deux prises de parole ? On peut limiter les effets, par exemple, en se donnant un temps de silence maximum. I:

Faible inférence dans le recueil d’informations : enregistrement de la réunion pour contrôle ultérieur éventuel, ou observation menée par deux personnes.

II : Forte inférence dans le recueil d’informations : même situation avec un seul observateur qui se contente de noter le nombre d’interventions. Variable de forte inférence : le nombre de fois qu’une personne prend spontanément la parole lors d’une réunion, c’est-à-dire prend l’initiative d’intervenir. Plusieurs cas-limites seront présents, qu’il est possible de codifier et de décoder si on dispose du recul nécessaire, mais qu’il est difficile de décoder en situation. III : Faible inférence dans le recueil d’informations : la réunion est filmée, puis analysée par plusieurs observateurs sur base d’indicateurs précis. IV : Forte inférence dans le recueil d’informations : l’observateur décode la situation en fonction d’une grille. Eventuellement, il met les informations douteuses entre parenthèses pour les reprendre par la suite. On pourrait avoir tendance à poser le problème en termes de « comment réduire l’inférence lors d’un recueil d’informations ? », et tenter de trouver une solution satisfaisante au problème que souligne WEICK (1968) : souvent, les inférences ne sont pas facilement décelables. Elles sont nichées dans les formulations des catégories ou des signes à observer, dans les pièges du langage, ainsi que dans la façon personnelle de l’observateur à voir les choses. Ce n’est toutefois pas la bonne question, parce que c’est présupposer le fait que le dispositif mis en place doit limiter au maximum l’effet de l’inférence. C’est loin d’être toujours le cas. Au contraire, la plupart des investigations nécessitent le recours à certaines variables de forte inférence, plus riches en nuances. Par exemple, ROSENSHINE (1971) a entrepris une revue des recherches ayant étudié la relation entre les comportements des professeurs (prédicteurs) et la performance des élèves ; il en ressort que les corrélations les plus fortes ont été obtenues avec des instruments à haut niveau d’inférence. D’autre part, WEICK (1968) souligne qu’il est très facile d’obtenir des informations « fiables »… sur des matières peu importantes. La question n’est donc pas de savoir comment réduire l’inférence, mais de pouvoir préciser le niveau de l’inférence souhaitable dans chaque investigation, et de contrôler cette inférence par un dispositif adéquat. ROSENSHINE & FURST (1973) suggèrent que la position la plus sage est d’observer un grand nombre de variables les unes à hauts niveaux d’inférence, les autres à faibles niveaux d’inférence ; ceci permet de lutter efficacement contre le fait que « tout système observationnel déforme les événements actuels » (ROSENSHINE & FURST, 1973, p. 136).

142

Typologies du recueil d’informations

D’autre part, WRIGHSTONE (1960, p. 929) a montré que certains objets évaluatifs étaient plus dociles à l’évaluation que d’autres. Parmi les premiers, il relève les objets évaluatifs suivants : « efficience, originalité, persévérance, rapidité, bon sens, énergie, savoir, leadership et intelligence ». Étudiant l’évaluation des apprentissages dans les disciplines artistiques, GERARD (2015) met en évidence le caractère inévitable de l’inférence et propose des démarches pour la contrôler. Parmi les seconds : « courage, égoïsme, bonne humeur, sens de la justice, bonté, tact ». À ces considérations, nous en ajouterons encore deux autres : 1. le choix du degré d’inférence de l’objet dépend de l’objectif recherché : si l’intention de l’investigateur est prédictive, les variables à haut niveau d’inférence seront préférables ; si l’intention de l’investigateur est diagnostique et prévisionnelle, le recours à une observation à faible niveau d’inférence sera le plus recommandable si l’on ne veut pas cumuler les risques provoqués par les nombreuses inférences. 2. il ne faut pas oublier que l’on peut procéder à une observation avec un niveau d’inférence faible (enregistrement de données brutes) et procéder aux inférences nécessaires lors des phases ultérieures. S’il est parfois souhaitable de recourir à des variables d’inférence forte, il faut en revanche limiter au maximum l’inférence lors de la transcription des informations recueillies. Le choix se révèle donc fonction de multiples facteurs, parmi lesquels on peut encore noter les suivants. 1. Lorsque le niveau d’inférence augmente, – le niveau d’accord inter-observateurs tend à diminuer. – l’entraînement des observateurs nécessite plus de temps et plus d’effort. – le travail de spécification et d’opérationalisation devient plus lourd (éventail des cas qui peuvent se présenter). – l’accord inter-équipes de chercheurs (cf. chapitre 6) tend également à diminuer. 2. Lorsque le niveau d’inférence diminue, – la validité se trouve parfois sujette à caution (on a observé un geste qui est multivoque, ou que l’on ne peut expliquer). 3. L’inférence est d’autant plus facile à effectuer – que le nombre d’indices perceptuels augmente. – qu’elle s’étend sur une période plus longue (ce qui s’explique par le point précédent).

5.6 Le référentiel de l’investigateur Au chapitre 3, nous avons déjà abordé le problème du référentiel. On pourrait définir celui-ci comme « l’ensemble d’éléments formant un système de références » (DE KETELE et alii, 1989, p. 227), ou encore la norme à laquelle l’investigation doit répondre (référentiel prescrit) ou répond (référentiel agissant) : selon les cas, le référentiel est donné au départ, ou il est le produit d’une référentialisation, c’est-à-

Le référentiel de l’investigateur

143

dire d’une démarche active de repérage de référents, et de construction d’instruments d’analyse dans lesquels les critères trouvent leur justification (FIGARI, 2006). Un référentiel fait appel à un système de valeurs. Selon les cas, il peut être plus ou moins défini au départ, et plus ou moins contraignant. Par exemple, dans le cas d’une recherche scientifique visant à vérifier une hypothèse, le référentiel est fixé au départ de façon très stricte : le chercheur doit tenir compte de la littérature existant sur le sujet, il doit intégrer telles études antérieures portant sur le même sujet, son dispositif expérimental doit être validé, les résultats ne seront considérés comme fiables que s’ils respectent telles conditions, etc. Par contre, dans le cas d’une évaluation d’un système, le référentiel de départ, constitué des normes du système, d’une méthodologie antérieure qui a fait ses preuves dans un cas similaire, etc., s’adapte petit à petit pour intégrer des références nouvelles, que l’investigateur juge bon d’intégrer pour arriver à ses fins. Dans le cas de l’évaluation des performances des personnes, on recourt de plus en plus au référentiel de métier, au référentiel de compétences, au référentiel d’évaluation, qui précisent le cadre dans lequel s’inscrivent les opérations d’évaluation. À la différence du paramètre précédent qui faisait appel aux procédures de recueil d’informations, ce paramètre fait davantage appel à l’orientation prise par le recueil d’informations (quelles questions poser, …). Nous énoncerons de la façon suivante le paramètre relatif au référentiel de l’investigateur : PARAMÈTRE 7 : Le référentiel de l’investigateur est-il plus ou moins explicité lors du recueil d’informations ?

a.

QUESTIONNAIRE

De façon générale, la qualité d’un questionnaire est liée à l’explicitation du référentiel agissant. C’est ainsi qu’un enseignant gagnera à préciser ses critères d’évaluation, ou à expliciter ce qu’il attend de ses élèves. EXEMPLE

Un an après la fin d’une formation professionnelle, on souhaite évaluer l’acquis de la formation à moyen terme, et on envoie à cette fin un petit questionnaire aux ouvriers qui ont suivi cette formation. S’il n’est pas précisé dans quel cadre cette information est demandée (le « pourquoi ? », le « pour qui ? », le « en fonction de quoi ? »), s’il n’est pas stipulé que le questionnaire est anonyme, si les questions elles-mêmes ne sont pas orientées en ce sens, l’information recueillie sera certainement de moins bonne qualité parce que les personnes interrogées vont craindre que cette information ne soit consignée dans leur dossier.

Il est cependant des investigations dans lesquelles il n’est pas adéquat d’expliciter un référentiel. C’est par exemple le cas d’une recherche exploratoire, où on va justement poser quelques grandes questions très larges, très ouvertes, pour essayer de faire surgir le référentiel de celui qui va répondre, plutôt que de faire coller des réponses à un référentiel préexistant.

144

b.

Typologies du recueil d’informations

INTERVIEW

Le caractère explicite du référentiel de l’investigateur est lié en partie au type d’entretien pratiqué : dans un entretien dirigé, le référentiel de l’interviewer est en général explicite (à moins que l’on ne décide de poser des questions parasites pour masquer ce référentiel). Dans un entretien libre, le référentiel n’est en général pas explicite. De même que pour certains questionnaires, on peut même poursuivre le but de faire apparaître le référentiel de la personne interviewée. Le cas des entretiens semi-dirigés est moins clair. On peut avoir un canevas très rigide, basé sur un questionnaire très détaillé, et pourtant laisser à la personne interviewée l’impression qu’il est inexistant : c’est par petites touches que l’on amène la personne sur un terrain déterminé. Dans ce cas, l’entretien ne sera considéré comme terminé que lorsque l’interviewer aura récolté toutes les informations correspondant au canevas préparé. Symétriquement, un entretien conduit sur quelques points de repère peut être très explicite sur le référentiel : l’interviewer peut par exemple commencer par citer les quelques questions qu’il va poser, permettant par là à l’interviewé de prendre connaissance de son référentiel.

c.

ÉTUDE

DE DOCUMENTS

Selon le cadre de l’investigation dans laquelle elle s’inscrit, une étude documentaire pourra être menée sur base d’un référentiel très clair, ou au contraire être menée de façon très large, très ouverte, dans le but de forger petit à petit ce référentiel.

d.

OBSERVATION

L’explicitation du référentiel de l’investigateur est liée à la fois à la conception de l’outil d’observation et à la participation de l’observateur. Lorsque l’outil d’observation est une grille pré-établie, le référentiel sera d’autant plus explicite qu’elle aura été construite sur une théorie bien précise, ou sur une théorisation de pratiques observées au préalable ; malheureusement, trop de grilles ont été construites sur une vague intuition. Lorsque l’observation est libre, le choix des informations retenues et le sens qui leur est donné est fonction du référentiel de l’observateur, plus ou moins explicité selon les cas.

5.7 Les procédures mises en œuvre Les procédures vont en partie dépendre du référentiel de l’investigateur (voir en 5.6), mais également d’un autre nombre de facteurs : quantité d’information, accessibilité de l’information, degré de généralisabilité recherché, degré d’urgence du recueil, etc. Nous énoncerons un paramètre relatif aux procédures mises en œuvre : PARAMÈTRE 8 : Le recueil d’informations présente-t-il un caractère systématique ou non ?

Les procédures mises en œuvre

145

Nous dirons qu’un recueil d’informations tend à être systématique quand il répond à un référentiel explicité (prescrit ou agissant) qui va déterminer : • l’emploi des procédures cohérentes et répétables • la définition des conditions du recueil d’informations (standardisation) • l’emploi de techniques rigoureuses : – de recueil – de notation – de codification

a.

QUESTIONNAIRE

Dans le cadre d’une enquête par questionnaire, c’est surtout la représentativité de l’échantillon qui déterminera le caractère systématique du recueil d’informations. L’enquête sera exhaustive si l’on interroge toutes les personnes de la population ; elle sera plus ou moins partielle dans le cas inverse avec des degrés variés de représentativité selon la technique d’échantillonnage utilisée ou/et la présence ou l’absence de méthode de redressement de l’échantillon. Nous y reviendrons quand nous aborderons les techniques d’échantillonnage. Les problèmes de standardisation peuvent être également très importants, surtout lorsque le questionnaire est utilisé à des fins de comparaison. EXEMPLE

Si l’on veut comparer les opinions de la population de deux pays différents à propos de la peine de mort, il faudra que le canevas du questionnaire ait été soigneusement mis au point, et mis en œuvre dans des conditions similaires (échantillon, …) pour que les résultats puissent être comparables. Supposons la situation suivante. Dans un pays X, la question posée à un moment où la criminalité est en recrudescence est : « Estimez-vous que la peine de mort contribue à limiter la criminalité dans un pays ? », question à laquelle 65 % des personnes interrogées répondent positivement. Dans le pays Y la question posée dans une période calme est : « Êtes-vous pour le rétablissement de la peine de mort dans ce pays ? », question à laquelle 45 % des personnes interrogées répondent positivement. On ne peut pas tirer de ces informations la conclusion selon laquelle la population du pays X est plus favorable à la peine de mort que celle du pays Y, parce que les bases de comparaison ne sont pas identiques, tant au niveau de la nature de la question posée que des conditions dans lesquelles elle a été posée : les conditions de standardisation n’ont pas été respectées.

b.

INTERVIEW

Nous avons vu qu’on dit d’un entretien qu’il est dirigé, semi-dirigé ou libre (voir en 1.2.1). Dans un entretien dirigé, des questions soigneusement préparées à l’avance sont posées dans un ordre bien précis. L’interviewer devra d’autant plus respecter rigoureusement ce canevas : – qu’il n’est pas le seul à mener les entretiens ; – que ceux-ci s’étalent dans le temps ; – que l’on désire limiter l’inférence lors du recueil d’informations.

146

Typologies du recueil d’informations

Les formes les plus fermées d’entretiens dirigés sont très proches de la méthode par questionnaires d’enquêtes. À l’autre extrême, on trouve l’entretien libre, dans lequel l’interviewer s’abstient de poser des questions. L’entretien thérapeutique et le récit de vie non orienté sont des exemples d’entretiens libres (voir par exemple DE GAUJELAC & LEGRAND, 2008). Un entretien semi-dirigé est identifié par la présence de deux caractéristiques : – il produit de la part de l’interviewé un discours qui n’est pas linéaire, ce qui signifie que l’interviewer réoriente l’entretien à certains moments ; – les interventions de l’interviewer ne sont pas toutes prévues à l’avance. Tout au plus, celui-ci prévoit-il quelques questions importantes, ou quelques points de repère. L’entretien semi-dirigé est en partie directif (au niveau des thèmes, des objets sur lesquels on veut recueillir des informations), et en partie non directif (à l’intérieur des thèmes). Il présente deux grands avantages : – les informations que l’on souhaite recueillir reflètent mieux les représentations que dans un entretien dirigé, puisque la personne interviewée a davantage de liberté dans la façon de s’exprimer ; – les informations que l’on souhaite recueillir le sont dans un temps beaucoup plus court que dans un entretien libre, qui ne donne jamais la garantie que des informations pertinentes vont y être livrées. Le choix entre entretien libre et entretien semi-dirigé ou dirigé est souvent fonction du degré d’élaboration des hypothèses a priori : l’on ne recourt en général à l’entretien libre que si on veut se forger une hypothèse. Le tableau ci-dessous reprend ces caractéristiques en synthèse.

Entretien dirigé

Entretien semi-dirigé

Entretien libre

Discours non continu, qui suit l’ordre des questions posées

Discours « par paquets », dont l’ordre Discours continu peut être plus ou moins bien déterminé selon la réactivité de l’interviewé

Questions préparées à l’avance et posées dans un ordre bien précis Information partielle et raccourcie

Aucune question préparée à l’avance Quelques points de repère (passages Information de très bonne qualité, mais obligés) pour l’interviewer Information de bonne qualité, orientée pas nécessairement pertinente vers le but poursuivi

Information recueillie rapidement ou très rapidement

Information recueillie dans un laps de temps raisonnable

Durée de recueil d’informations non prévisible

Inférence assez faible

Inférence modérée

Inférence exclusivement fonction du mode de recueil

Les procédures mises en œuvre

ÉTUDE

c.

147

DE DOCUMENTS

Le paramètre de recueil « systématique ou non » joue également un rôle important dans l’étude de documents. EXEMPLE

Supposons par exemple que cette étude s’inscrive dans le cadre d’une recherche descriptive qui compare les approches de plusieurs auteurs différents à propos des différents types d’objectifs pédagogiques. Il est clair que cette comparaison ne pourra être menée valablement que si l’on se donne un certain nombre de critères significatifs pour mener la comparaison. – les niveaux auxquels l’auteur fait allusion pour ce type d’objectif (cours, période, année, cycle de formation, …) ; – les domaines taxonomiques concernés par ce type d’objectif : savoirs, savoir-faire cognitifs, savoir-faire gestuels, savoir-être, savoir-devenir (DE KETELE, 1986) ; – les domaines concernés : enseignement, entreprise, administration, … ; – la formulation proposée ; – la référence à un autre auteur, ou l’approche personnelle ; – le niveau taxonomique ; etc.

Par contre dans une recherche exploratoire, toutes les informations qui seraient susceptibles de produire une hypothèse sont bonnes à prendre. La nature de ces informations va être importante, non la méthodologie mise en œuvre pour les recueillir. Il existe également des recherches intermédiaires (semi-inductives/déductives) où l’on recherche a priori certaines informations en fonction d’hypothèses ou de questions déterminées a priori, mais où l’on ouvre aussi à de l’information nouvelle, inattendue.

OBSERVATION

d.

Enfin sur le plan de l’observation, la distinction entre observation systématique et non systématique englobe les distinctions que font différents auteurs : • • • •

systématique ou occasionnelle (REUCHLIN, 1969) méthodique ou commune (RANZONI, 1968) systématique ou au hasard (« haphasard or opportunistic » ; MOULY, 1963) structurée ou non structurée (WEICK, 1968).

Deux préjugés sont bien établis, même dans les laboratoires. Le premier consiste à croire que l’observation est à la portée de n’importe qui (MOULY, 1963). Le second, tout aussi tenace, identifie observation systématique et observation scientifique. Si le premier préjugé ne mérite guère de commentaire, par contre le second se révèle plus difficile à écarter. Pour qu’une telle équation soit vraie – et encore ! – il faudrait restreindre le processus scientifique de recherche à la seule phase de contrôle d’une hypothèse déjà bien élaborée. Or, cela n’est pas vrai, comme nous l’avons souligné par ailleurs. Le scientifique n’est donc pas celui qui ne recourt qu’à la seule observation systématique.

148

Typologies du recueil d’informations

En effet : 1. dans la phase inductive d’une recherche, le problème est d’étudier un « phénomène comme un fait » (WEICK, 1968, p. 363), et il est nécessaire de maintenir la plus grande flexibilité possible afin de ne pas passer à côté des variables significatives et du véritable problème. Oserait-on prétendre que cette phase de la recherche n’est pas requise de qui prétend avoir l’esprit scientifique ? 2. s’il est vrai que dans la phase de contrôle d’une hypothèse bien posée, le chercheur doit veiller à systématiser ses observations (restriction du champ et des variables, choix de la situation, définition des conditions et des démarches d’observation) de telle façon que la procédure employée puisse autant que possible être répétée dans des conditions semblables (ainsi jamais identiques), il n’en reste pas moins vrai que : – une observation libre complémentaire puisse – doive dans certains cas- être menée afin de débusquer des variables significatives négligées, les variables perturbatrices ou mal contrôlées ou tout simplement les opérationalisations inadéquates du plan expérimental projeté (bien plus fréquent qu’il n’y paraît) – une observation libre peut, dans certains cas, être une des sources d’information, importantes, à ne pas négliger (ex. une recherche portant sur l’évaluation formative ne pourrait négliger une telle source). L’esprit scientifique ne se réduit donc pas à la capacité d’utiliser des procédures systématiques d’observation et d’expérimentation. Il se caractérise bien plus comme la capacité – à bien définir un problème et les objectifs à rechercher – à choisir les moyens adéquats pour les réaliser – à être conscient (d’une conscience « aiguisée ») des limites de son observation (biais de l’observation, situation de l’objet observé dans le tout, savoir discerner gain et opinion, …) – à discerner la sphère de généralisation de ses résultats. Le recours à la seule observation systématique ou à la seule observation libre ne répond pas à ces règles. La recherche est un processus systématiquement et intentionnellement orienté, …, soumis lui aussi à des ajustements successifs. Le tableau qui suit dresse les avantages respectifs des deux types d’observation.

Observation systématique – Caractère

- orienté - répétable – Grand souci d’obtenir des données « fiables »

Observation non systématique – Fournit un type particulier de données - détail - immédiateté - un « tout » - fugitif – Fournit une première idée des paramètres relevants – Contrôle des phénomènes irrelevants non prévus – Pour pallier les limites de l’observation systématique

Les procédures mises en œuvre

149

Ce tableau nous rappellera encore une fois qu’il n’y a pas de « bonnes » techniques d’observation mais des techniques plus ou moins adéquates à l’objectif donné. Il est bon de se souvenir que les aspects « systématique-non systématique » sont les deux pôles d’un continuum. Du côté systématique, nous trouvons des méthodes observationnelles telles que les tests, questionnaires, appareillages de mesure, grilles d’observation (ex. FLANDERS)… À l’autre bout, l’observation commune, les « enregistrements anecdotiques », les observations lors de conseil de classe… Il est à noter que les observations occasionnelles peuvent être plus ou moins systématisées quant à leur emploi… Pour certaines méthodes de recueil d’informations, l’interview et l’observation, un autre paramètre relatif aux procédures peut être également cité : La notation est-elle immédiate et directe ? a) La notation est immédiate lorsqu’elle suit directement le recueil d’informations (observation ou interview). Inversement, la notation sera différée lorsqu’un temps plus ou moins long sépare l’événement de la notation. Il peut s’agir du temps qui s’écoule entre l’événement et le recueil d’informations, comme dans le cas de l’anamnèse. Il peut également s’agir du temps entre le recueil d’informations (l’état actuel du champ représentatif de l’interviewé) et la retranscription de cette information. Ce paramètre représente un continuum aux degrés intermédiaires multiples, en fonction de l’unité temporelle choisie. Le cas de l’interview est un cas particulièrement intéressant car non seulement il permet de mettre en relief l’opposition entre notation immédiate et différée, mais il souligne aussi la relation qui unit ce paramètre avec le paramètre relatif à l’inférence (voir en 5.5.3) : plus la notation est différée, plus le processus d’inférence peut jouer. b) Il est un autre problème qui se trouve associé au paramètre « notation immédiate ou différée » – La question suivante l’illustre : comment un système de recueil d’informations qui opère sur enregistrements (sonores, filmiques, écrits, …) doit-il être caractérisé du point de vue de la notation ? C’est là tout le problème de l’instrumentation qui mériterait peut-être que l’on s’attarde à un paramètre supplémentaire : observation directe ou médiatisée. En effet, l’observation directe, comme l’observation médiatisée, peuvent toutes deux prôner la notation immédiate (dès que le comportement est observé, de façon directe ou médiate) ou différée (fin de la période d’observation directe ou fin de l’enregistrement, par exemple). L’un et l’autre type de recueil d’informations ont leurs problèmes, avantages et limites spécifiques. Les avantages de l’observation médiate, habituellement reconnus, sont les suivants : 1. elle est particulièrement indiquée lorsque l’observation directe se révèle impossible ou difficile (ex. : caractère trop fugitif des objets d’observation).

150

Typologies du recueil d’informations

2. elle réduit l’exigence d’attention de l’observateur 3. elle permet le stockage de l’information brute et donc – le codage ultérieur ; – le retour en arrière ; – le contrôle du codage ; – des traitements nouveaux de l’observation ; – le codage multiple ; – etc. Chaque instrument a ses avantages et ses inconvénients, des possibilités et des limites. Ces avantages et limites seront développés dans un autre ouvrage.

5.8 La dimension temporelle du recueil d’informations PARAMÈTRE 9 : le recueil d’informations présente-t-il un caractère longitudinal ou transversal ? Le recueil d’informations sera longitudinal lorsqu’il sera mené dans le but de décrire une situation, un système ou les comportements des sujets, en fonction de la dimension temporelle. C’est exemple le cas de l’évaluation des savoir-être, qui ne peuvent faire l’objet que d’un recueil longitudinal, en situation non contrainte, Le recueil d’informations sera au contraire transversal lorsqu’il vise à fournir un tableau suffisamment représentatif du système ou des comportements du sujet pendant une période donnée face à une situation plus ou moins bien circonscrite.

a.

QUESTIONNAIRE

Un questionnaire peut être utilisé à des fins d’étude longitudinale comme par exemple l’ensemble des interrogations d’une année scolaire, pour évaluer les progrès réalisés par un élève. C’est aussi le cas de questionnaires dans lesquels on tente de cerner l’évolution de différents paramètres dans le temps, comme l’utilisation d’un acquis lors d’une formation après 3 mois, 6 mois, 1 an. Par contre, un questionnaire du type de ceux qui sont mis en œuvre dans le cadre d’une étude de marché est utilisé pour un recueil d’informations transversal : on fait le point sur les habitudes d’une population à un moment déterminé.

b.

INTERVIEW

Des entretiens peuvent être menés de façon longitudinale, comme les entretiens qui jalonnent une thérapie, une analyse. Ils peuvent l’être également de façon transversale, comme les entretiens que l’on mène dans le cadre d’une évaluation d’un fonctionnement ou d’un système.

Synthèse des paramètres

c.

ÉTUDE

151

DE DOCUMENTS

Une étude est longitudinale si elle considère l’évolution d’un phénomène ou d’un comportement dans le temps, comme les études historiques ou prospectives en démographie. Au contraire, elle est transversale si elle ne s’inscrit pas dans le temps.

d.

OBSERVATION

Les observations narratives sont souvent de type longitudinal. Mais les observations de type attributif peuvent être également longitudinales : ce sera le cas chaque fois qu’un investigateur désirera étudier l’évolution des « attributs » dans le temps ou lorsqu’il tentera d’étudier les conditions d’apparition et les effets de l’apparition d’attributs déterminés. Les investigateurs ont souvent recouru aux techniques observationnelles appelées « time sampling methods ». Le principe de base de la technique est le suivant : les sujets sont observés dans un ordre prédéterminé pendant de courtes périodes fixées. Sur cette base peuvent être établis des plans d’observation relativement complexes combinant temps de repos et contrôle de fiabilité (plusieurs observateurs observant, sans le savoir, le même sujet en même temps : cf. par exemple LEYENS, CAMINO, PARKE & BERKOWITZ, 1975). Choisir une méthode transversale ou longitudinale est une question de relation à l’objectif poursuivi. Si l’on désire contrôler l’hypothèse de la relation entre plusieurs variables, on adoptera une exploration transversale de ces variables, le dénombrement de leurs comportements signes fournissant une mesure au même titre qu’un test ou un instrument de mesure quelconque. De même, le professeur-observateur qui note un incident critique (observation narrative) dans le but d’alimenter les discussions d’un conseil de classe, fait une observation transversale, comme le conseiller d’orientation qui fait passer un test ou observe le comportement du sujet lors de la passation de ce test. Par contre, lorsque l’investigateur (professeur ou personne extérieure) désire étudier un processus, son déroulement, son « fonctionnement », ses conditions et ses effets, alors l’observation longitudinale s’imposera. La plupart des techniques observationnelles ont été conçues comme des techniques transversales, le cas est manifeste pour les échelles d’appréciation. Malgré la prise en considération de la durée, la plupart des grilles d’observation restent, malgré tout, dans leur conception ou dans leur emploi, des méthodes transversales.

5.9 Synthèse des paramètres Nous élaborerons une double synthèse :

152

Typologies du recueil d’informations

1. Nous reprendrons chaque paramètre, en mettant en évidence sa signification particulière pour chaque méthode de recueil d’informations. Paramètres

Interview

Observation

Questionnaire

Étude de documents

1. Recueil libre ou contrôlé ?

Entretiens avec observateur

Problèmes d’accessibilité

Problèmes éthiques, politiques, …

2. Recueil portant sur des faits ou des représentations ?

Distinction entre faits et représentations

Distinction entre faits et représentations

Identification, compor- Événements et tements déclarés et opinions opinions déclarées

3. Recueil attributif ou Technique du récit de narratif ? vie

Technique des incidents critiques

Enquête répétée Pré-test et post-test

Étude quantitative ou analyse de contenu

4. Situation créée ou naturelle ?

Dans le cadre « habituel » ou « familier »

Dans le contexte habituel de travail

Dans le cadre d’activités habituelles

Conçu par le sujet 5. Situation manipulée Conduite vers un point Manipulation de la ou non ? précis situation, ou interven- lui-même ou non tions de l’investigateur, planifiées ou non

Référentiel externe présidant à leur élaboration ou choix de documents guidé

Dans un contexte qui libère la parole

Problèmes d’accessibilité

Faible (dans un questionnaire. à choix multiple) Forte (dans un questionnaire ouvert ou dans un examen oral)

Décalage entre le référentiel de la source et celui de l’investigateur Exégèse, littéraire, historique, biblique

Canevas visible ou peu Participation de visible l’observateur et conception de l’outil d’observation

Explicitation du référentiel dans le questionnaire

Degré d’ouverture de l’étude

Dirigée, semi-dirigée ou libre

Représentativité de l’échantillon et standardisation

Élaboration de critères

Dimension temporelle prise en compte rétrospectivement ou non

Dimension temporelle prise en compte ou non : étude historique ou prospective

6. Degré d’inférence

Inférence dans la retranscription

7. Explicitation du référentiel de l’investigateur 8. Caractère systématique ou non du recueil

Variable à haut degré d’inférence ou à faible degré d’inférence/ inférence dans le recueil

Une observation scientifique n’est pas nécessairement une observation systématique

9. Recueil longitudinal Dimension temporelle Dimension temporelle prise en compte ou ou transversal prise en compte (anamnèse) ou non non

153

Synthèse des paramètres

2. Nous resituerons ces paramètres dans la démarche générale de recueil d’informations.

Je fixe les caractéristiques du recueil d’informations, commandées par les objectifs de l’investigation.

Les informations doivent-elles être attributives ou narratives ? Le recueil doit-il être longitudinal ou transversal ?

PERTINENCE

Dois-je recueillir des faits ou des représentations ?

Quel est le niveau d’inférence nécessaire ou admis ? Je fixe le type d’informations à recueillir. Les informations que je déclare vouloir obtenir sont-elles les bonnes informations ? Pourrais-je avoir accès à ces informations ?

Vais-je les recueillir en situation naturelle ou créée ? Vais-je manipuler la situation de recueil ? Comment limiter l’inférence parasite au niveau du recueil proprement dit ? Je décide de la stratégie de recueil. Suis-je sûr d’obtenir les informations que je déclare vouloir obtenir ? La mise en œuvre de la méthode doit-elle être systématique ? Quelles modalités pratiques dois-je mettre en œuvre ?

FIABILITÉ

VALIDITÉ

Quelle(s) méthode(s) choisir ?

J’ai recueilli les informations Sont-elles fiables ? Seraient-elles recueillies de la même façon par quelqu’un d’autre ? À un autre moment ?

CHAPITRE 6

MÉTHODOLOGIE GÉNÉRALE DU RECUEIL D’INFORMATIONS 6.1 Les différentes phases d’une investigation On peut dégager 6 grandes phases de travail dans toute investigation. 1. La définition de la problématique de départ. 2. La définition d’une hypothèse guidant la recherche, ou d’objectifs devant permettre la prise de décision. 3. L’élaboration d’un outil de recueil de données pertinent, valide et fiable. 4. La constitution d’une base de données, et sa validation, à savoir la vérification de sa pertinence, sa validité, sa fiabilité. 5. La mise au point d’une démarche du traitement de l’information, et sa justification en termes de pertinence, de validité, de fiabilité. 6. La formulation des conclusions et leur communication de façon pertinente, valide et fiable. Nous avons déjà beaucoup insisté sur les phases 1 et 2. Tout en revenant continuellement sur ces deux premières phases, et traçant des pistes pour les deux dernières phases, ce chapitre développera principalement les phases 3 et 4, relatives à la préparation, à la constitution de la base de données, ainsi qu’à la vérification de sa pertinence, sa validité et sa fiabilité. Il mettra également en évidence les interactions constantes entre ces 6 phases.

6.2 L’élaboration d’un outil d’investigation INTRODUCTION Tout recueil d’informations nécessite l’élaboration d’un ou de plusieurs outils de travail : • une grille d’observation ; • un questionnaire ;

156

Méthodologie générale du recueil d’informations

• un guide d’interview ; • une grille d’évaluation ; etc. Dans la plupart des cas, cet outil est un outil physique. Il peut cependant arriver que l’outil reste un outil conceptuel, ou même non structuré. C’est le cas d’un recueil d’informations dans la phase inductive d’une recherche, d’un entretien libre (voir en 1.2.1), ou même de certaines formes d’entretiens semi-dirigés dans lesquels l’investigateur se contente d’avoir dans la tête quelques questions « repères ». Nous évoquerons ici principalement les investigations nécessitant le passage par un outil physique. Ce n’est pas pour cela que les autres investigations ne doivent pas s’inspirer des suggestions émises. Même si elles se déroulent de façon plus informelle (la base de données se construit petit à petit, la méthodologie n’est pas définie au départ, …), ces investigations doivent respecter des exigences similaires, qui seront précisées en 6.3.4. Dans les chapitres précédents, nous avons souligné que tout processus expérimental devait être conçu comme une démarche inductivo-hypothético-déductive. Bien que la problématique soit différente, les processus d’évaluation s’inspirent aussi de cette démarche inductivo-hypothético-déductive : déterminer un objectif d’évaluation, c’est en quelque sorte poser une hypothèse. Dans une évaluation de certification, on formule l’hypothèse selon laquelle la personne à évaluer possède un niveau de maîtrise suffisant, selon laquelle un projet peut être poursuivi, etc. Cette hypothèse est opérationalisée par des critères valides, et le processus de recueil d’informations doit confirmer ou infirmer cette hypothèse à travers le respect des critères. Dans une évaluation de régulation, c’est l’hypothèse d’un bon fonctionnement que l’on confirme ou que l’on infirme. Mais la fonction principale d’une évaluation de régulation, c’est de générer des hypothèses explicatives. L’évaluation de régulation pourrait en ce sens être mise en parallèle avec une recherche exploratoire. On peut donc dire que la détermination des objectifs d’évaluation correspond à cette phase d’élaboration d’hypothèses dans une recherche : de même qu’une hypothèse de recherche doit être pertinente en regard des intentions du chercheur et de son référentiel, l’objectif d’une évaluation doit être pertinent en regard de la décision à prendre. Le parallèle entre recherche et évaluation ne s’arrête pas là. Dans l’une comme dans l’autre, le processus de recueil d’informations proprement dit devrait lui aussi s’inspirer de la démarche inductivo-hypothético-déductive. C’est ainsi qu’avant de construire son outil, l’investigateur doit commencer par se familiariser avec le contexte de son investigation, mettre au point un outil dont il présume qu’il va remplir au mieux la fonction visée et enfin valider cet outil. Nous proposerons ci-dessous les étapes intervenant dans un processus de recueil d’informations, selon cette optique.

L’élaboration d’un outil d’investigation

157

L’ordre des étapes n’est évidemment pas strictement impératif et il faut concevoir l’ensemble des démarches comme nécessitant constamment des ajustements successifs. 1. Recueil d’informations libre pour se familiariser avec le domaine, la situation, les personnes. 2. Enregistrement d’un matériel comportemental suffisamment étendu. 3. Premier tri des indicateurs. 4. Premier tri parmi les méthodes de recueil d’informations susceptibles d’être envisagés en termes de pertinence. 5. Revue critique de la littérature scientifique dans le domaine et contacts avec des spécialistes chercheurs et praticiens. 6. Construction (ou choix) d’un cadre théorique et conceptuel. 7. Ajustements et approfondissements des démarches empiriques en fonction de l’étape précédente. 8. Spécification des composantes de la situation à étudier ou de la définition du concept à observer. 9. Choix des indicateurs susceptibles d’être explorés. 10. Choix et construction d’un (ou de plusieurs) instruments(s) suffisamment pertinent(s), valide(s) et fiable(s). 11. Entraînement des personnes chargées de recueillir l’information, standardisation et ajustements de l’instrument. 12. Expérience de validation.

ÉTAPE 1 : RECUEIL D’INFORMATIONS LIBRE (OBSERVATION, QUESTIONNAIRES, ENTRETIENS) POUR SE FAMILIARISER AVEC LE DOMAINE, LA SITUATION, LES PERSONNES Cette étape est trop souvent négligée. Beaucoup trop de grilles ou de questionnaires sont élaborés « en chambre » à partir d’une revue critique de la littérature, pas nécessairement complète ou pertinente. De plus, un fossé parfois considérable peut séparer une compréhension purement conceptuelle d’un phénomène d’une compréhension expérienciée et conceptualisée par des démarches inductives. On a également vu trop souvent des chercheurs arriver dans des institutions dans le but d’observer un phénomène avec une grille bien pensée rationnellement… et se heurter à une foule d’obstacles de tous ordres. Enfin, il faut se souvenir que des comportements observés ou déclarés risquent de perdre leur véritable signification s’ils sont déconnectés de leur contexte spatial et temporel. EXEMPLE

Des observateurs notent les comportements des élèves dans le couloir d’un établissement scolaire pendant la récréation ; ils remarquent que trois filles du groupe restent ensemble dans un recoin, souvent en compagnie de la femme de ménage qui par hasard passe par là. Cette observation peut rester banale ; elle peut devenir au contraire très significative s’ils replacent

158

Méthodologie générale du recueil d’informations l’observation dans son contexte ; il peut, en effet, s’agir de 3 filles à la recherche d’un soutien affectif. De même, les observations peuvent perdre de leur signification si elles ne sont pas reliées aux objectifs recherchés : la disposition observée des élèves dans une classe ne revêt pas la même valeur si l’objectif est un objectif de transmission d’informations, de découverte, de participation, de travail individuel…

Lorsque l’investigation doit faire l’objet d’un contrat entre deux parties, cette étape est celle qui doit permettre de déterminer à quelles conditions l’investigateur peut s’engager. Signer un contrat sans s’être imprégné préalablement du contexte dans lequel il devrait être amené à travailler ne peut être que source de déboires et de malentendus.

ÉTAPE 2 : ENREGISTREMENT D’UN

MATÉRIEL COMPORTEMENTAL SUFFISAMMENT ÉTENDU

Surtout si le domaine à étudier est nouveau ou peu familier, il importe de faire un relevé le plus étendu possible des caractéristiques qui lui sont reliées. Il est bon de prendre suffisamment de précautions pour être à même de recueillir cette première information dans un éventail suffisamment large de situations : observer les comportements d’attention des élèves dans une seule classe, avec un seul professeur, avec un même type de leçon… peut conduire à une vue réductrice et fausse du problème. De même, n’entrer en contact qu’avec une seule personne, ou même avec deux ou trois personnes d’un même statut dans une entreprise pour se faire une idée des problèmes rencontrés peut amener à démarrer sur des bases erronées ou incomplètes. Il importe aussi que les différents indicateurs soient autant que possible mis en relation avec leur signification présumée. À ce propos, plusieurs auteurs proposent d’enregistrer les phénomènes, de les faire visionner aux acteurs de la situation et de leur demander d’ »expliquer » la signification des comportements.

ÉTAPE 3 : PREMIER

TRI DES INDICATEURS

Un premier tri des indicateurs peut être alors opéré afin de relever les plus pertinents. L’indicateur est-il : – nécessaire ? – suffisant pour décrire un aspect du phénomène ? – facilement observable ? – facilement interprétable ?… Il faut se méfier du critère de « fréquence d’apparition du comportement ou du phénomène rencontré » : un comportement fréquent peut dans certains cas ne pas être discriminatif ; un comportement rare peut parfois être très significatif ; une opinion timidement émise peut se révéler capitale ; une conversation de couloir en apprend parfois plus qu’une heure d’interviews, etc. Dans tous les cas, le critère le plus important sera l’utilité du comportement pour mener à bien l’objectif de l’investigation : s’agit-il d’une évaluation de régulation ? d’une évaluation certificative ? prédictive ? d’une recherche descriptive ? évaluative ? heuristique ? de vérification d’une hypothèse ? Selon les cas, le comportement ou le

L’élaboration d’un outil d’investigation

159

phénomène pourra être ou ne pas être retenu. À cette étape de la construction d’un outil, il ne faut pas trop vite rejeter des éléments relevés.

ÉTAPE 4 : PREMIER TRI PARMI LES MÉTHODES DE RECUEIL D’INFORMATIONS SUSCEPTIBLES D’ÊTRE ENVISAGÉES EN TERMES DE PERTINENCE

C’est ici qu’il est intéressant de se référer à notre typologie du chapitre 5 pour faire un choix pertinent en fonction de l’objectif recherché. En effet, comme nous l’avons souligné à maintes reprises, il n’est pas de meilleur système dans l’absolu. De même, les critères d’« applicabilité » joueront un rôle important dans ce choix. Ainsi, par exemple, il ne sert à rien de vouloir mener une enquête par questionnaire dans un pays dans lequel le taux d’analphabétisme de la population-cible dépasse 50 %. De même, un système d’observation à partir d’un échantillon aléatoirement choisi avant l’expérience (unités temporelles échantillonnées) n’est pas pertinent si le contexte d’observation se révèle fort variable et peu susceptible de planification… Dans cette étape, il s’agit d’un premier tri et il ne faut pas trop vite éliminer un système de recueil d’informations : les étapes ultérieures permettent de faire un choix judicieux.

ÉTAPE 5 : REVUE

CRITIQUE DE LA LITTÉRATURE SCIENTIFIQUE DANS LE DOMAINE ET CONTACTS AVEC DES SPÉCIALISTES CHERCHEURS ET PRATICIENS

Quoique l’ordre chronologique des étapes soit loin d’être strict, il est bon d’aller sur le terrain avant d’aborder cette étape. Le contraire a trop souvent comme conséquence de voir l’investigateur s’engouffrer dans des voies bien connues qui ne sont pas nécessairement les plus pertinentes. En plus de ce caractère réducteur, il faut souligner le point suivant : cette première prise de contact pour se familiariser avec les phénomènes permet par la suite de comprendre en profondeur les informations fournies par la littérature scientifique et par les experts rencontrés. Cette cinquième étape est importante à plus d’un titre. Elle permet de mettre en évidence des dimensions négligées dans les premières étapes. Elle soulève des problèmes de pertinence, de validité, de fiabilité, de transférabilité. Elle pointe des difficultés concrètes rencontrées dans les situations de recueil d’informations, mais propose aussi des stratégies pour les surmonter. Et surtout, elle permet à l’investigateur de construire un cadre conceptuel cohérent et suffisamment exhaustif. On trouvera dans l’ouvrage de BERTRAND BASCHWITZ (2010) des indications et des techniques intéressantes pour mener à bien cette étape.

ÉTAPE 6 : CONSTRUCTION (OU CHOIX) D’UN CADRE THÉORIQUE ET CONCEPTUEL Une théorie sans pratique forme des personnes stériles et encombrantes pour les praticiens. Une pratique sans théorie forme des bricoleurs pouvant difficilement progresser.

160

Méthodologie générale du recueil d’informations

Rien de plus pratique qu’une bonne théorie. Ces trois phrases mettent bien en évidence l’importance d’une théorie et les conditions optimales de son utilisation. Ceci renvoie de nouveau au processus inductivo-hypothético-déductif. Cette étape revient donc à élaborer un cadre théorique, qui consiste en : – un ensemble de problèmes bien posés ; – un ensemble de concepts bien définis et bien distingués ; – un ensemble d’hypothèses cohérentes entre elles, et cohérentes par rapport à des hypothèses déjà vérifiées. Il n’est pas toujours évident de définir ce cadre théorique, et notamment de faire référence aux mêmes concepts.

Perfomance

À titre d’illustration, supposons deux investigateurs différents qui veulent observer le « climat éducationnel » d’une classe et étudier son impact sur les performances des élèves. Tous deux s’appuient sur la théorie de l’activation résumée dans la figure suivante :

Éveil Sommeil

Attention

Intérêt

Application mais dissipation

Anxiété

Niveau d’activation

Implication positive, et volonté d’agir en fonction d’un projet

Selon la théorie de l’activation, la performance n’est pas une fonction linéaire du niveau d’activation, mais est une fonction mettant en évidence un niveau optimal d’activation. Nos deux investigateurs croient que l’influence du climat éducationnel doit être étudiée dans le cadre de cette théorie, mais leurs définitions du concept du climat éducationnel varient et vont donc orienter différemment leurs systèmes d’observation. En effet, le premier le définit comme « l’ambiance affective au sein d’un groupe », déterminée par les attitudes et le style d’approche adoptée par la personne qui contrôle le groupe ou en assure la direction. En développant cette définition, le chercheur met en évidence le rôle fondamental de l’enseignant qui aurait ou n’aurait pas les aptitudes nécessaires pour créer un climat dans une classe, c’est-à-dire des niveaux d’activation optimaux chez ses élèves. Dans cette perspective, l’observation va donc s’attacher prioritairement aux comportements de l’enseignant qui révèlent ce type d’attitude ou de style d’approche.

L’élaboration d’un outil d’investigation

161

Le second chercheur définit le climat éducationnel comme une « construction hypothétique inférée des accords et désaccords dans les perceptions qu’ont les sujets des diverses dimensions politiques (objectifs et valeurs), organisationnelles, sociales et spatiales (physiques et architecturales) de leur environnement ». En développant cette définition, le chercheur insiste sur la nécessité d’une double observation : l’environnement sous l’angle « objectif » et la représentation qu’en ont les personnes impliquées, c’est-à-dire l’angle « subjectif ». D’autre part, il relève différentes dimensions à prendre en considération : les objectifs, les valeurs, les modes d’organisation et de prise de décision, les modes relationnels, l’environnement physique. Ces deux exemples montrent combien les systèmes d’observation peuvent différer, même s’ils se basent sur une même théorie de départ (la théorie de l’activation). Pour certains types d’investigations limités dans le temps (évaluation, audit, …), cette étape est capitale, mais n’a pas lieu à chaque intervention. L’évaluateur dispose au départ d’un cadre théorique et conceptuel solide auquel il se réfère pour chacune de ses investigations. De temps en temps, il ajuste ou complète ce cadre en fonction de contacts avec d’autres spécialistes, de découvertes faites, etc.

ÉTAPE 7 : AJUSTEMENTS

ET APPROFONDISSEMENTS DES DÉMARCHES EMPIRIQUES EN FONCTION DE L’ÉTAPE PRÉCÉDENTE

Le cadre théorique et conceptuel a permis à l’investigateur d’enrichir sa connaissance du phénomène. Il importe qu’il retourne sur le terrain pour la confronter avec les faits, pour analyser les conditions d’élaboration de son instrument à la lumière des ressources et des contraintes et surtout pour permettre la réalisation des étapes suivantes.

ÉTAPE 8 : SPÉCIFICATION

DES COMPOSANTES DE LA SITUATION À ÉTUDIER OU DE LA DÉFINITION DU CONCEPT À OBSERVER

Dans cette étape, il s’agit, à la lumière des étapes précédentes, d’appliquer les concepts à la situation particulière de l’investigation en vue d’en opérationaliser les composantes.

A. Pour une investigation ponctuelle Il s’agit de confronter au cadre de référence théorique les premières observations de la situation, afin de mieux cerner celle-ci ; c’est à cette étape par exemple que l’on donnera un nom à certains phénomènes perçus, en termes organisationnels, socio-affectifs, cognitifs, etc. EXEMPLE

Si on est chargé d’évaluer le système des formations dans une entreprise, on dira par exemple : « les formateurs semblent accorder une importance excessive aux savoirs et aux savoir-faire par rapport aux savoir-être » ; « il y a des réticences à développer des formations transhiérarchiques » ; « dans cette institution, on semble ne recourir qu’à des évaluations sommatives » ;

162

Méthodologie générale du recueil d’informations « les méthodes sont principalement expositives » ; etc.

B. Pour une investigation expérimentale Il s’agit de passer de la définition conceptuelle à une définition plus opérationnelle en spécifiant les composantes de la définition. EXEMPLE

Lors d’une recherche sur l’alphabétisation fonctionnelle d’adultes et d’adolescents en mathématiques (ROEGIERS, 1991), nous avons été amené à passer d’une définition générale de l’appropriation d’un concept à une définition opérationnelle, en précisant les variables d’entrée, les caractéristiques du processus d’appropriation et les caractéristiques du contexte. Définition de l’appropriation : L’appropriation est une étape de l’apprentissage dans laquelle l’objet de l’apprentissage rencontre la sensibilité et le vécu de l’apprenant, selon un processus propre à chaque individu, au cours duquel l’apprenant a modifié sa perception initiale de l’objet, et au cours duquel il est capable de le réinvestir de façon opérationnelle, autrement que par reproduction ou application à court terme. Variables d’entrée

– le vécu de l’apprenant avant que ne démarre l’apprentissage ; – la représentation initiale qu’a l’apprenant de l’objet de l’apprentissage ; – la sensibilité de l’apprenant, et plus particulièrement les expériences positives et négatives qu’il a emmagasinées ;

– sa motivation à apprendre ; – sa base de données cognitives ; – … Caractéristiques du processus d’appropriation (liées à l’apprenant)

– – – – – – –

aspect de propriété, de conformité, voire d’exclusivité ; aspect de diversité des processus possibles ; aspect imprévisible ou même éventuellement sauvage du processus ; aspect de transformateur de l’objet de l’apprentissage ; aspect potentiellement opérationnel, d’orientation vers une action, vers un usage ; aspect irréversible du processus ; …

Caractéristiques du contexte

– l’appropriation est automatique dans le cas d’un apprentissage naturel ou spontané, à condition toutefois qu’il y ait conscience ;

– l’objet de l’appropriation devrait avoir été activé immédiatement, et souvent dans une situation plus large et plus complexe (situation d’intégration élémentaire) ;

– … C’est également lors de cette étape qu’il faut se poser la question de la transférabilité que l’on souhaite des résultats ou de la démarche (voir en 6.3.5).

163

L’élaboration d’un outil d’investigation

ÉTAPE 9 : CHOIX D’ÊTRE EXPLORÉS

DES INDICATEURS SUSCEPTIBLES

Grâce aux différentes démarches sur le terrain et à la lumière du cadre théorique et conceptuel, l’investigateur choisit les indicateurs du concept à propos duquel on doit recueillir de l’information. EXEMPLE

Dans le premier des exemples proposés ci-dessus, l’investigateur peut décider d’analyser si son hypothèse « il y a des réticences à organiser des formations transhiérarchiques » est valable, et d’étudier l’origine de ces réticences. Il va d’abord rechercher s’il y a des indicateurs « objectifs », comme par exemple l’existence d’une lettre de refus de participer à un tel type de formation émanant d’un cadre supérieur, ou encore une réticence exprimée clairement par certaines personnes-clés. Il va aussi rechercher s’il y a des indicateurs « subjectifs », comme des représentations qu’ont certaines personnes d’autres personnes, des renseignements obtenus de façon indirecte : « un jour, il m’a dit que… », etc. Dans le second exemple proposé, nous avons élaboré une série d’indicateurs permettant d’apprécier l’appropriation du concept (ou de façon plus générale de l’invariant) par l’apprenant. On pourrait dire qu’il y a appropriation du concept (de l’invariant) x à partir du moment où l’on observe chez l’apprenant l’un des comportements suivants : 1. Redire x en d’autres mots personnels. 2. Identifier x bien qu’on ne parle pas explicitement de lui. 3. Identifier la présence ou l’absence de x dans une situation complexe. 4. Identifier des situations construites sur le même mode que x. 5. Construire un produit nouveau résultant de x. 6. Reproduire x (savoir redire/refaire) 6 mois plus tard. 7. Faire spontanément appel à x dans la résolution d’une situation. 8. Citer une situation (originale) de son vécu qui fasse appel à x. 9. Transformer x pour l’utiliser. 10.Utiliser x dans une situation paramétrée différemment. 11.Comparer x et y, mettre x en relation avec y.

ÉTAPE 10 : CHOIX ET CONSTRUCTION D’UN (OU DE PLUSIEURS) INSTRUMENT(S) SUFFISAMMENT PERTINENT(S), VALIDE(S) ET

FIABLE(S)

Cette étape est semblable à l’étape 4, mais cette fois l’investigateur est censé posséder l’ensemble des informations pour faire un choix fondé. Dans bien des cas, un seul type d’instrument se révèlera insuffisant pour recueillir toute l’information nécessaire. Ceci est particulièrement clair pour observer le climat éducationnel dans le cadre de la deuxième définition donnée dans l’étape 6. Dans la construction de l’instrument, il importe de veiller à être concret et réaliste (se référer constamment à la situation d’application de l’instrument). Un soin particulier doit être accordé à la rédaction des consignes. Dans les cas où l’outil doit être utilisé par plusieurs personnes, ou à plusieurs moments différents, la rédaction de consignes pour la passation se révèle indispensable. Ces consignes peuvent prendre des formes très différentes selon le type

164

Méthodologie générale du recueil d’informations

d’investigation : un manuel de l’observateur, des commentaires accompagnant un guide d’interview, des directives orales pour un questionnaire d’enquête, etc. Parfois, ce seront uniquement des notes personnelles, comme dans le cas où, à un mois d’intervalle, une même personne fait passer un pré-test et qu’elle tient à faire passer le posttest, dans les mêmes conditions.

ÉTAPE 11 : ENTRAÎNEMENT DES PERSONNES CHARGÉES DE RECUEILLIR L’INFORMATION, STANDARDISATION ET AJUSTEMENTS DE L’INSTRUMENT Cette étape est un prolongement de la remarque émise ci-dessus. Son intensité varie fort selon le type d’investigation dont il est question. Elle prend une importance particulière dans le cas de l’observation : pour éviter les nombreuses erreurs susceptibles de se produire lors de l’observation, il importe d’entraîner les observateurs et de n’arrêter cet entraînement que lorsque l’on aura obtenu un niveau de fiabilité suffisant (voir 6.3.1, C). Cet entraînement permettra d’ailleurs de compléter et d’affiner le manuel de l’observateur. C’est aussi l’occasion d’opérer tous les ajustements nécessaires à l’instrument. Ces démarches seront approfondies dans l’unité suivante.

ÉTAPE 12 : EXPÉRIENCE

DE VALIDATION

Les dix premières étapes ont été conçues pour examiner la pertinence et la validité a priori de l’instrument. La onzième étape était essentiellement orientée vers la détermination de certaines formes de fiabilité. Dans certains cas, une douzième étape est indispensable pour confirmer la validité de l’instrument en confrontant les résultats obtenus à l’aide l’instrument avec les critères externes. Par exemple, même si les 20 questions d’un questionnaire ont été validées lors des étapes précédentes, on peut s’apercevoir que 10 questions constituent un maximum compte tenu des caractéristiques du public visé. Dans les autres cas, une validation « a posteriori » des informations recueillies est nécessaire avant de traiter ces informations. Ces notions de validation « a priori » et « a posteriori » seront largement développées ci-dessous.

CONCLUSION En guise de conclusion, on pourrait poser la question suivante : est-il réaliste de passer chaque fois par chacune de ces douze étapes ? La réponse est oui et non. Chacune est nécessaire pour mener à bien l’investigation, mais l’expérience permet d’en réaliser un certain nombre de façon automatique. On pourrait reprendre ici le parallèle qui avait été fait en 2.2.3 entre le conducteur débutant et le conducteur chevronné. Cependant, automatisme ne doit pas être confondu avec routine. Dans toute démarche d’évaluation comme de recherche, ce qui doit avant tout guider l’investiga-

La validation du processus de recueil d’informations

165

teur, autant que le savoir-faire acquis, ce sont les questions, le doute permanent et la réflexion épistémologique : « Un scientifique qui ne doute plus n’est plus un vrai scientifique » (propos recueillis auprès de L. D’HAINAUT, 1991) « On épistémologise l’observation par un regard réflexif sur le processus de connaissance engagé. Les acquisitions méthodologiques, outils pour analyser une démarche, constituent en elles-mêmes des connaissances considérables permettant à tous une poursuite ultérieure de leur propre formation, au-delà de la situation de formation instituée. » (KOHN, 1982)

6.3 La validation du processus de recueil d’informations 6.3.1 CE

QU’EST UNE VALIDATION D’UN RECUEIL D’INFORMATIONS

Avant de traiter des informations, il faut s’assurer que ces informations sont nécessaires, suffisantes, et qu’elles reflètent bien la réalité. C’est là le rôle de la validation du recueil d’informations. Celle-ci doit garantir la constitution d’une base de données solide, avant de traiter ces données. La validation du recueil d’informations est le processus par lequel le chercheur ou l’évaluateur s’assure que ce qu’il veut recueillir comme informations, les informations qu’il recueille réellement et la façon dont il les recueille servent adéquatement l’objectif de l’investigation (évaluation ou recherche).

VALIDATION DU PROCESSUS DE RECUEIL D’INFORMATIONS En regard de l’objectif visé, les informations à traiter sont-elles nécessaires, suffisantes et accessibles ? Reflètent-elles effectivement la réalité ? Peut-on se fier aux procédures de recueil des informations ? Cette validation se déroule en trois étapes, à envisager de façon chronologique.

A. Une vérification de la pertinence des informations à recueillir Il s’agit de l’accord ou de l’adéquation entre le type d’informations que l’on recueille et l’objectif de l’investigation. « Les informations que je veux recueillir sont-elles nécessaires, suffisantes et accessibles ? » EXEMPLE 1

Avant de décider de mettre en service un permis de conduire à points, et dans le souci éventuel de ne pas pénaliser les personnes dont la voiture est le principal outil de travail (représentants, chauffeurs de taxis, etc.), le Ministre des transports décide de mener une enquête qui doit déterminer si le nombre moyen de contraventions que reçoit un chauffeur est en relation avec la fréquence d’utilisation de la voiture.

166

Méthodologie générale du recueil d’informations L’enquête est menée sur un échantillon de 1000 personnes, qui répondent à trois questions : « Sexe (M/F) ? » « Combien de kilomètres parcourez-vous en moyenne par an ? » « Combien de contraventions avez-vous reçues au cours des 5 dernières années ? » L’enquête révèle qu’il y a augmentation significative du nombre de contraventions pour ceux qui parcourent un grand nombre de kilomètres. Cette augmentation est plus marquée pour les hommes que pour les femmes. Au vu de cette enquête, le Ministre se dit alors qu’il pourrait assouplir la mesure pour certaines catégories socio-professionnelles. Mais il manque de données sur les types de catégories pénalisées, et la proportion dans laquelle il doit assouplir la mesure….Et il doit recommencer une autre enquête parce qu’il n’a pas pris la peine de prendre l’information supplémentaire : « Quelle est votre occupation professionnelle ? », et « Pour quel type d’infraction avez-vous reçu la contravention ? ». Il ne s’est pas posé au départ la question de savoir « Quel genre de décision pourrais-je être amené à prendre ? », question qui doit permettre de déterminer quelle information il faut prendre. Dans cet exemple, l’information recueillie n’est pas pertinente, pour deux raisons :

– elle n’est pas suffisante : l’occupation professionnelle et la ventilation des contraventions étaient des informations nécessaires à obtenir ; – l’information « Sexe » n’est pas nécessaire : on ne voit pas quelle décision le ministre pourrait prendre qui tienne compte de cette variable, sans qu’automatiquement cette décision ne soit taxée de discriminatoire. EXEMPLE 2

Un évaluateur externe est chargé d’évaluer l’opportunité de modifier le système informatique dans une entreprise. Il prend toutes les informations nécessaires sur la rentabilité comparée du nouveau système par rapport à l’ancien, et conclut qu’il faut effectuer le changement, prévoyant une augmentation immédiate de la vitesse des opérations, et estimant que le nouvel investissement serait amorti en deux ans. Le changement proposé a lieu effectivement. Un an plus tard, l’évaluateur est convoqué par son ex-commanditaire, qui lui dit obtenir des résultats inverses à ceux qui avaient été annoncés : bien que le nouveau système soit plus rapide, le travail effectif est plus lent. La raison de cet écart entre les résultats annoncés et les résultats effectifs est claire : l’information recueillie lors de l’évaluation n’était pas pertinente, parce que non suffisante. Il avait oublié de prendre en compte un facteur capital : la capacité et la volonté des utilisateurs de répondre à un changement de système informatique. L’interview de quelques utilisateurs lui aurait appris que quelques années auparavant, ceux-ci avaient déjà fourni un effort d’adaptation considérable lorsqu’on avait informatisé l’entreprise, et qu’ils n’avaient jamais été récompensés de leurs efforts… L’évaluateur aurait également pu prendre des informations sur la rentabilité du même système dans une entreprise concurrente. Cette information aurait été intéressante à obtenir, mais non pertinente parce que sans doute pas accessible.

Dégager des variables à observer qui soient pertinentes est un art difficile qui allie connaissance théorique scientifique, réflexion logique et expérience, d’une part, et se révèle fort différent selon les objectifs d’investigation, d’autre part. L’expérience jouera différemment selon le type d’investigateur.

La validation du processus de recueil d’informations

167

Si l’investigateur est un « chercheur » ou un « évaluateur externe », expérience signifiera : – le degré de familiarité avec le domaine – une revue critique de la littérature scientifique – des contacts scientifiques avec les personnes compétentes – une coopération authentique avec les personnes intégrées au processus étudié… Si l’investigateur est un praticien, l’expérience signifiera principalement : – les leçons de son histoire de praticien – la consultation de ses collègues (contacts informels ou lors de réunions) – une coopération avec des experts, voire avec une équipe d’experts extérieurs comme cela commence à se faire dans certains domaines. Le problème de la pertinence est un problème trop souvent négligé… parce qu’il présente un aspect peu rassurant. En effet, nul indice statistique ne donnerait à l’investigateur l’assurance qu’il ne se trompe pas !

B. Une vérification de la validité des informations Il s’agit de l’adéquation entre les informations recueillies et celles que l’on déclare vouloir recueillir. « Les informations recueillies sont-elles bien les informations que je déclarais recueillir ? » EXEMPLE 3

Les responsables politiques s’inquiètent de la diminution des inscriptions que l’on observe depuis plusieurs années dans les écoles d’infirmières. Ils décident de mener une campagne publicitaire en faveur des études d’infirmières. Pour cela, ils commanditent une enquête qui doit déterminer quels arguments développer pour cette campagne. La firme chargée de l’enquête projette de récolter de l’information sur les facteurs qui motivent le choix de tel ou tel type d’études auprès des jeunes qui sortent de l’enseignement secondaire. Pour cela, on présente sous forme d’une petite bande dessinée les cas d’une dizaine de jeunes qui ont effectué un choix en fonction de différents critères. On demande aux étudiants de s’identifier à un des dix jeunes présentés. Afin d’économiser les frais de traduction des bandes dessinées, et de réduire les frais d’impression, on décide de ne mener l’enquête qu’auprès de la population anglophone, majoritaire à 60 % dans le pays. L’information recueillie (les motivations des jeunes) est pertinente : elle est nécessaire, suffisante et accessible en regard de l’objectif visé. Mais elle n’est pas valide, parce que les dix cas proposés ne permettent pas d’isoler chacun des facteurs susceptibles d’intervenir dans un choix d’études (la reconnaissance sociale de la profession, la rémunération, le coût des études, la longueur des études, l’autonomie dans la profession, etc.). L’étudiant doit poser un choix global sur un cas. Celui pour qui le critère « rémunération » est prépondérant peut très bien sélectionner un cas dans lequel ce critère est absent, parce que tous les autres critères auxquels il est sensible sont présents. L’information recueillie n’est pas celle que l’on souhaite recueillir.

168

Méthodologie générale du recueil d’informations Le fait que l’enquête ne soit soumise qu’à une partie de la population est également lié à la validité de l’information. Il s’agit plus spécifiquement d’un problème de transférabilité des résultats à l’ensemble des étudiants (voir en 6.3.5).

D’autres exemples de recueils non valides seront proposées ci-dessous, en opposition à la notion de fiabilité.

C. Une vérification de la fiabilité des procédures de recueil

des informations

Il s’agit surtout d’examiner si l’on pourrait reproduire les procédures avec toutes les garanties de pouvoir considérer les nouvelles informations recueillies comme équivalentes aux précédentes. Elle consiste à se demander si les mêmes informations seraient recueillies à un autre moment par le même investigateur, au même moment par un autre investigateur, à un autre moment par un autre investigateur, etc. « La façon de recueillir les informations est-elle adéquate pour satisfaire aux exigences de l’objectif de l’investigation ? »

Cette question implique comme corrolaire la question suivante : « Les résultats recueillis par deux procédures différentes seront-ils suffisamment semblables ? ». EXEMPLE 4

Le directeur d’une petite entreprise apprend que des bruits courent selon lesquels plusieurs employés sont très mécontents des nouveaux horaires. Or, c’est lui-même qui a proposé de décaler d’une heure ces horaires, dans un souci d’augmentation des performances dans le travail. En posant la question à 2 ou 3 personnes autour de lui, il lui avait semblé que cela ne faisait pas de problème. Scénario 1 Pour en avoir le cœur net, il décide de convoquer l’un après l’autre un certain nombre d’employés. Il leur pose la question : « Est-il vrai que vous avez manifesté un mécontentement par rapport à l’horaire que j’ai établi ? » Il conclut que, tout compte fait, les employés ne sont pas si mécontents que cela de l’horaire. Scénario 2 Après avoir eu confirmation de l’information, il confie à un collègue le soin de tenter d’aménager un nouvel horaire qui concilie les demandes des employés et ses exigences de rentabilité. Pour cela, le collègue demande à chacun d’émettre par écrit ses desiderata, précisant que le directeur tentera d’y répondre dans la mesure du possible. Scénario 3 Il convoque sur le champ un employé, et lui demande de lui retransmettre de mémoire les avis de chacun, afin qu’il puisse se faire une idée de l’importance des mécontentements, et de pouvoir émettre des suggestions de modifications. Dans chacun de ces scénarios, l’information est pertinente (elle constitue une réponse au problème). Mais dans le scénario 1, l’information n’est pas nécessairement fiable : elle serait sans doute différente si elle était recueillie par une tierce personne, qui n’est pas impliquée dans la situation.

La validation du processus de recueil d’informations

169

Dans le scénario 2, l’information est fiable. La même information serait probablement recueillie si cela se faisait quelques jours plus tard, ou si c’était une autre personne qui avait été désignée pour coordonner le travail. Dans le scénario 3, l’information n’est pas nécessairement valide parce qu’elle est transmise par un intermédiaire. Rien ne dit que cet intermédiaire ne transmet pas tout simplement ses propres perceptions. Elle n’est pas nécessairement fiable non plus parce qu’elle est retransmise à chaud. Il est probable qu’à un moment plus calme, cette information serait différente, sans doute plus nuancée. EXEMPLE 5

Un inspecteur décide de se faire une idée de l’image qu’ont d’eux-mêmes les enseignants qu’il a sous sa responsabilité. Il envoie à chaque directeur d’école une petite lettre lui demandant que chaque enseignant lui renvoie le document suivant, dûment complété : « Quelle est la proportion d’élèves de votre classe dont vous accepteriez que les performances soient comparées à celles du même pourcentage d’élèves issus d’une classe similaire d’autres écoles ? 20 % – 50 % – 80 % – 100 % » Les questions sont pertinentes en regard de l’objectif visé : un enseignant qui a une bonne image de lui-même devrait pouvoir dire « 100 % », et un enseignant qui doute de lui-même devrait minimiser le pourcentage. Elles sont valides aussi. Les pourcentages proposés auraient pu faire l’objet d’une petite étude préliminaire de la part de l’inspecteur, montrant que ce sont les principaux pourcentages auxquels les enseignants se réfèrent. Cependant, l’information n’est pas fiable. Il a négligé une chose très importante : il n’a pas clarifié auprès des destinataires quel était l’objectif de cette petite enquête, et la façon dont ces résultats seraient utilisés. S’il avait par exemple précisé : « Ces informations sont destinées à me faire une idée générale de l’image que les enseignants ont d’eux-mêmes, et à déterminer s’il est opportun de mettre sur pied un module de formation continuée visant à développer l’image de soi. Les réponses peuvent être anonymes. », il aurait obtenu d’autres informations que dans le cas présent. Il est probable qu’ayant peur que cette information ne soit utilisée contre eux s’ils mettent un pourcentage trop faible (être taxé de mauvais professeur, ou de professeur élitiste), ou ayant peur que l’on ne mette à exécution cette confrontation s’ils mettent un pourcentage maximum, les enseignants vont répondre de façon assez prudente et mitigée (50 %, ou 80 %). EXEMPLE 6

Dans l’exemple 3, supposons que l’enquête ait lieu le lendemain d’un jour où a été présentée une émission télévisée très marquante sur le travail des infirmières à la Croix-rouge. Les résultats de l’enquête font apparaître que les jeunes choisiraient davantage cette profession si elle était mieux rémunérée et si davantage de facilités leur étaient accordées par le gouvernement pour partir à l’étranger. Dans ce cas, l’information n’est pas fiable. L’influence probable de l’émission télévisée est manifeste : une bonne partie des jeunes risquent de répercuter l’image idéale qu’ils ont de la profession, et non l’image réelle qu’ils en ont. Le manque de fiabilité n’est pas dû aux personnes impliquées, mais au moment où se déroule l’investigation. Dans certains cas, un recueil d’informations peut être tout à fait fiable, mais pas valide, comme en témoignent les deux exemples suivants.

170

Méthodologie générale du recueil d’informations EXEMPLE 7

Dans une cour de récréation, deux observateurs notent les comportements d’agressivité des élèves. Chacun des deux a noté que, dans l’espace d’un quart d’heure, Sébastien a frappé Corentin, alors que pour les deux garçons ce geste est peut-être un signe d’amitié. C’est un exemple d’observation très fiable (la même information est rapportée par deux observateurs différents), mais elle n’est pas valide parce qu’elle ne reflète pas l’information que l’on souhaite recueillir (des comportements agressifs). EXEMPLE 8

Pour mesurer l’efficacité de différents fonctionnaires, on a choisi l’indicateur « nombre de dossiers traités en une semaine ». On peut relever exactement le nombre de dossiers traités par deux fonctionnaires différents (information fiable), mais dans des cas particuliers, il peut ne pas refléter l’efficacité des fonctionnaires (non valide) : en effet, il se peut qu’un employé traite un plus petit nombre de dossiers plus conséquents, ou qui demandent un niveau de responsabilité plus élevé.

Le tableau suivant reprend les trois étapes de la validation du processus de recueil d’informations.

VALIDATION A PRIORI DU PROCESSUS DE RECUEIL D’INFORMATIONS En regard de l’objectif visé, les informations à traiter sont-elles nécessaires, suffisantes et accessibles ? Reflètent-elles effectivement la réalité ? Peut-on se fier aux procédures de recueil des informations ? 1. Pertinence de l’information

2. Validité de l’outil

3. Fiabilité des procédures

Les informations à recueillir sont-elles nécessaires, suffisantes et accessibles ?

Les informations recueillies serontelles bien celles que je déclare vouloir recueillir ?

Les informations seraient-elles les mêmes si elles étaient recueillies par une autre personne ou à un autre moment ?

Les exemples développés ci-dessus montrent qu’un recueil d’informations peut, selon les cas, présenter une, deux ou trois des caractéristiques énoncées : – une information peut être pertinente, mais non valide et non fiable ; – elle peut être pertinente et valide, mais non fiable ; – elle peut même être non pertinente, mais tout à fait valide et fiable. Les exemples 1 et 2 en sont des illustrations. C’est un des cas les plus graves, parce qu’il donne l’illusion que tout se déroule convenablement. L’investigateur est souvent à cent lieues de penser que ce sont les fondements mêmes qu’il doit remettre en cause : il est beaucoup plus facile de détecter un manque de fiabilité et d’y remédier, qu’un manque de validité, et encore plus qu’un manque de pertinence.

6.3.2 VALIDATION

A PRIORI ET VALIDATION A POSTERIORI

Selon les types d’investigations, on peut distinguer deux types de validation. 1. Lorsqu’un dispositif est basé sur l’utilisation d’un outil déterminé, il faut valider cet outil avant de l’utiliser.

La validation du processus de recueil d’informations

171

Cette validation est une validation a priori. Elle est centrée sur l’outil de recueil d’informations. Autrement dit, la validation du recueil d’informations est surtout une validation de l’outil de recueil d’informations, et de son utilisation. C’est le cas de la recherche scientifique, de la recherche technologique, ainsi que de bon nombre d’évaluations, principalement de certification. Le recueil d’informations se fait principalement de façon fermée, c’est-à-dire qu’une information d’un type non prévu à l’avance est écartée, ou traitée séparément. 2. Lorsque le dispositif de recherche ne se base pas sur un outil précis devant être validé a priori, il est nécessaire de recourir à une validation a posteriori du recueil d’informations. C’est par exemple le cas de l’audit, de la recherche action, de la recherche spéculative, de la recherche exploratoire, …, dans lesquels il serait contraire à l’esprit même de l’intervention d’avoir un outil entièrement déterminé à l’avance. Le recueil d’informations se fait donc de façon ouverte. La validation est centrée sur l’information elle-même, résultant du recueil d’informations.

6.3.3 LA VALIDATION A D’INFORMATIONS

PRIORI D’UN OUTIL DE RECUEIL

Dans tous les cas où l’investigation se base sur un outil déterminé à l’avance, la validation consiste en une triple vérification. Ce sont les trois étapes qui ont été développées en 6.3.1, plus spécifiquement adaptées à l’outil du recueil d’informations.

A. Une vérification de la pertinence des informations à recueillir

à travers l’outil

La pertinence comprend trois composantes : 1. L’information doit être nécessaire. 2. L’information doit être suffisante. 3. L’information doit être accessible. Ces termes ont déjà été développés plus haut. Nous ne pourrions qu’insister une nouvelle fois sur l’importance capitale de bien cerner l’information pertinente à recueillir, faute de quoi tout ce qui suit est vide de sens : valider un outil sans se poser la question de la pertinence et de la signification des informations qu’il veut recueillir n’a pas de sens.

B. Une vérification de la validité de l’outil utilisé La validité de l’outil comprend deux composantes :

172

Méthodologie générale du recueil d’informations

1. LA VALIDITÉ INTERNE DE L’OUTIL « Le travail de spécification et d’opérationalisation de ce que l’on observe, évalue ou mesure est-il adéquat à ce que l’on déclare observer, évaluer ou mesurer ? »

Cette validité est : – une validité de contenu : elle mesure la cohérence du contenu, à travers différents indicateurs : un même terme a-t-il une signification univoque tout au long de l’outil, les variables sont-elles bien isolées, etc. ; – une validité de construction : elle mesure la cohérence de la construction de l’outil : succession des rubriques, des items, … ; – une validité de communication : elle détermine si tous les utilisateurs comprennent de la même façon l’information qui doit être recueillie ; elle s’approche à travers des indicateurs relatifs à ce qu’on veut communiquer : un terme évoqué est-il défini ? est-il accompagné d’un exemple ?, etc.

2. LA VALIDITÉ EXTERNE DE L’OUTIL « Y a-t-il adéquation entre les informations recueillies et un critère externe ? »

On se pose par exemple la question de savoir si les informations recueillies ne vont pas à l’encontre d’une loi théorique démontrée scientifiquement, à l’encontre du bon sens ou d’autres informations apportées par un autre outil semblable déjà validé. Par exemple, si les résultats d’un questionnaire font apparaître le fait que les habitants d’un immeuble s’estiment satisfaits de leurs conditions de logement, alors qu’on sait bien par ailleurs qu’auparavant un grand nombre de problèmes ont été évoqués oralement et par écrit, on peut se dire qu’il faut probablement revoir la façon de rédiger les questions de l’enquête. Pour d’autres exemples concrets, voir aussi ALBARELLO (2007). Il y a deux types principaux de validité externe : • la validité externe particulière : on recherche s’il y a une relation suffisante entre l’information recueillie et un ensemble d’informations tirés d’une autre situation et qui doivent lui être reliées. EXEMPLE

« en faisant la somme des résultats obtenus à ces trois items, on doit normalement trouver les taux d’absentéisme calculés à partir d’un relevé de présences » ;

• la validité externe conceptuelle : on recherche s’il y a une relation suffisante entre l’information recueillie et un concept abstrait qui doit lui être relié. EXEMPLE

On sait expérimentalement que dans les cas de correction de copies par différents correcteurs, le recours aux valeurs centrées réduites (même moyenne et même écart-type pour tous les correcteurs) permet d’augmenter l’accord inter-correcteurs de 5 % environ. Si les informations recueillies mentionnent une augmentation de 30 % de l’accord lorsqu’on a appliqué les valeurs centrées réduites, on est en droit de se poser des questions sur la validité de cette information.

La validation du processus de recueil d’informations

173

EXEMPLE DE SYNTHÈSE

À la question portant sur le pourcentage du chiffre d’affaires consacré à la formation, deux entreprises du même secteur d’activité, et qui ont manifestement un fonctionnement similaire, déclarent l’une consacrer 0,8 % du chiffre d’affaires à la formation, et l’autre 6 % du chiffre d’affaires. On peut se poser trois types de questions face à cet écart. a) L’outil est-il suffisamment précis quant aux éléments sur lesquels ce pourcentage doit être calculé ?

– faut-il comptabiliser ou non les salaires perçus par les personnes formées pendant les jours de formation ?

– faut-il tenir compte à la fois des formations techniques et des formations des cadres ? – faut-il prendre en compte l’amortissement des locaux de formation ? du matériel de formation ?

– faut-il considérer le pourcentage du chiffre d’affaires, ou seulement de la masse salariale ? – etc. On se pose dans ce cas le problème de la validité interne de l’outil. b) Peut-on rattacher ces données à d’autres données comparables ? On sait par exemple que dans les pays voisins la plupart des entreprises de ce type consacrent entre 0,7 % et 1,5 % du chiffre d’affaires à la formation. Ces éléments font apparaître que la deuxième donnée (6 %) ne peut probablement pas être considérée comme valide. On applique un critère de validité externe particulière. c) Un éclairage théorique peut-il venir en aide ? La réponse est négative dans cet exemple. Cette question fait référence à la validité externe conceptuelle.

Quand on met au point un nouvel outil de recueil d’informations, il faut essayer, dans la mesure du possible, de ne pas attendre d’avoir recueilli toutes les informations pour commencer la validation externe de l’outil. Il est souvent intéressant de tester l’outil auprès d’un petit nombre de personnes, ce qui peut déjà donner un certain nombre d’indications sur la validité externe de l’outil.

C. Une vérification de la fiabilité des procédures de recueil

des informations à l’aide de l’outil

La fiabilité comprend dans l’idéal six composantes :

1. L’ACCORD NOTATION-RENOTATION « Le même investigateur va-t-il coder de la même façon lors d’un deuxième codage immédiat ? » Il est très dépendant de la précision avec laquelle les indicateurs qu’on utilise sont définis.

2. L’ACCORD INTER-NOTATEURS « Deux ou plusieurs investigateurs coderaient-ils la même information de la même façon ? »

174

Méthodologie générale du recueil d’informations

3. L’ACCORD INTRA-NOTATEUR « Les événements qui se reproduisent plusieurs fois durant l’investigation sont-ils codés de la même façon par un même investigateur ? »

4. L’ACCORD INTER-STAFF « Deux staffs d’investigateurs (appartenant à des équipes de recherche différentes) utilisant le même instrument coderont-ils un même protocole de la même façon ? »

5. L’ACCORD INTRA-STAFF « À l’intérieur d’un même staff, les investigateurs coderont-ils de la même façon les mêmes protocoles en cours et en fin de recherche ? »

6. L’ACCORD NOTATEUR-PROTOCOLE CRITÈRE « Un investigateur codant un protocole-critère obtiendra-t-il la même cotation que ce protocole-critère ? » Faisons remarquer que les publications scientifiques sont de plus en plus nombreuses à exiger que la fiabilité soit contrôlée. Des traitements statistiques existent à cet effet (voir annexe). Le schéma suivant reprend en synthèse ces différents concepts.

VALIDATION A PRIORI DU PROCESSUS DE RECUEIL D’INFORMATIONS En regard de l’objectif visé, les informations à traiter sont-elles nécessaires, suffisantes et accessibles ? Reflètent-elles effectivement la réalité ? Peut-on se fier aux procédures de recueil des informations ? 1. Pertinence de l’information

2. Validité de l’outil

3. Fiabilité des procédures

Les informations à recueillir sont-elles nécessaires, suffisantes et accessibles ?

Les informations recueillies serontelles bien celles que je déclare vouloir recueillir ?

Les informations seraient-elles les mêmes si elles étaient recueillies par une autre personne ou à un autre moment ?

1.1 Nécessaires 1.2 Suffisantes 1.3 Accessibles

2.1 Validité interne 2.2 Validité externe

3.1 Accord notation-renotation 3.2 Accord internotateurs 3.3. Accord intranotateur 3.4 Accord interstaff 3.5 Accord intrastaff 3.6 Accord notateur-protocole

La validation du processus de recueil d’informations

175

D. L’homogénéité d’un outil de recueil d’informations Un outil est également caractérisé par son homogénéité. L’homogénéité pose la question de savoir si l’outil est unidimensionnel ou pluridimensionnel, ou encore s’il consiste en la juxtaposition de plusieurs outils unidimensionnels, de plusieurs rubriques différentes. Cette propriété est le reflet de l’unicité ou au contraire de la multiplicité de l’objectif visé, ou des variables mesurées. Selon les cas, l’outil est dit homogène ou hétérogène. Un test de performance peut par exemple mesurer le degré de maîtrise de différents objectifs spécifiques appartenant à un même domaine. Le test est hétérogène parce que l’on mesure différentes variables, mais il comporte des parties homogènes : il faut rechercher une homogénéité à l’intérieur d’une rubrique qui mesure le degré de maîtrise d’un objectif donné, ainsi qu’une homogénéité entre différentes rubriques mesurant le degré de maîtrise du même objectif. L’homogénéité et l’hétérogénéité d’un outil sont donc reliées à des questions de pertinence (nécessité d’une ou de plusieurs dimensions) et de validité (de construction notamment). Bien qu’elle soit liée à des questions de pertinence et de validité, l’homogénéité ne constitue pas véritablement un critère de validation de l’outil au même titre que la pertinence, la validité, et la fiabilité : il arrive souvent que l’on recherche l’hétérogénéité au sein d’un outil. L’homogénéité constitue donc seulement une caractéristique de l’outil. Un outil non homogène peut être tout à fait pertinent, valide, et fiable : l’homogénéité d’un outil ne peut donc pas être utilisée pour mesurer le niveau de validité de l’outil. La seule homogénéité souhaitée, et donc évaluable, est l’homogénéité intrarubriques ou inter-rubriques censées mesurer la même variable.

6.3.4 LA VALIDATION A D’INFORMATIONS

POSTERIORI D’UN RECUEIL

Cette validation « a posteriori » concerne toutes les investigations dans lesquelles l’outil de recueil d’informations est un outil ouvert, c’est-à-dire non entièrement déterminé à l’avance. C’est le cas de l’audit, de la recherche action, des phases exploratoires de bon nombre de recherches. Elle consiste à se demander si on peut se baser sur l’information recueillie pour effectuer le traitement dans les meilleures conditions d’objectivité et de rapidité. Une difficulté fréquente à laquelle est confronté l’évaluateur ou le chercheur est de se trouver face à une masse importante d’informations, souvent désordonnées : de nombreuses expériences accumulées dans le cas d’une recherche action, un grand nombre de livres et de documents de tous genres dans la phase exploratoire de certaines recherches, des cassettes audio de plusieurs heures d’enregistrements lors d’un audit, etc.

176

Méthodologie générale du recueil d’informations

Il est très souvent nécessaire d’éliminer de l’information pour pouvoir se concentrer sur l’information utile. Il s’agit de garder le minimum d’informations qui donnent le maximum de renseignements. Il faut donc travailler à l’économie, en prenant toutes les garanties de ne pas perdre de l’information importante. La présentation de l’information est importante à ce stade : il faut veiller à présenter l’information d’une façon telle qu’elle facilite le traitement ultérieur. HUBERMAN et MILES (1991, p. 35) parlent à ce sujet d’un « format de présentation, qui signifie un assemblage organisé d’informations qui permet de tirer des conclusions et de passer à l’action ». Il s’agit de déterminer quelles informations seront plus facilement utilisables sous la forme d’un tableau à double entrée, sous la forme de fiches, lesquelles il est pertinent d’informatiser : probablement la plupart des données quantitatives, mais pas toutes les données qualitatives, etc. Il faut enfin se poser la question de savoir si toute l’information nécessaire a été recueillie. Ces différences vont modifier sensiblement la conception de la validation a priori d’un processus de recueil d’informations. a) Il faudra se poser la question de la qualité et de la quantité de l’information recueillie. C’est principalement un problème de pertinence. b) Au lieu de se poser la question de la validité de l’outil, on va plutôt se poser la question de la validité des informations qu’on a recueillies. c) Le concept de fiabilité sera différent puisqu’on travaille dans un contexte particulier. Elle sera autant liée à des aspects relationnels qu’à des aspects organisationnels.

A. Les informations recueillies sont-elles nécessaires et suffisantes

(en qualité et en quantité) en regard de l’objectif ?

Cette question est en lien avec la pertinence de l’information, c’est-à-dire à son adéquation aux objectifs que l’on s’est fixés. Ce n’est pas pour cela qu’il faut rejeter une information non prévue lorsqu’on a établi l’information pertinente à recueillir : il arrive souvent que l’on recueille de l’information à laquelle on ne s’attendait pas au départ. EXEMPLE

Dans un pays en voie de développement, on a engagé 6 consultants locaux pour produire des documents de formation destinés aux élèves-maîtres de l’enseignement primaire (les normaliens). Ce projet est financé par une organisation internationale, qui demande une évaluation du projet, conformément au contrat signé avec le Ministre de l’Éducation Nationale. Lors d’un entretien semi-structuré, l’évaluateur apprend (information 1) qu’un des consultants locaux est le mari de la directrice de l’enseignement primaire. Il apprend aussi (information 2) qu’au cours de la dernière année, les étudiants des écoles normales ont été en grève la moitié du temps. Il s’agit là d’informations qu’il n’avait pas prévu au départ de recueillir. Il se pose à juste titre la question de savoir s’il doit utiliser ces informations ou si elles ne lui seront d’aucune utilité. Pour le savoir, il s’en réfère à l’objectif du recueil d’informations, en se posant la question « Quel type de décision est-on amené à prendre ? ». a) S’il s’agit d’une évaluation en fin de projet, devant déboucher sur la décision de publier ces documents tels quels ou de les mettre en expérimentation, l’information 1 n’est

La validation du processus de recueil d’informations

177

d’aucune utilité. Par contre, l’information 2 est capitale : elle indique que les consultants ont probablement travaillé « en chambre », et qu’il est indispensable de tester si les documents produits rencontrent les attentes des destinataires.

b) S’il s’agit au contraire d’une évaluation en début de projet, et que la décision à prendre est

de continuer à travailler avec les mêmes consultants ou d’en choisir d’autres, l’information 1 est probablement très importante. Elle peut signifier que si le consultant n’a pas produit le travail qu’on attendait de lui, et qu’on veut le remplacer par un autre, on doit notamment s’attendre à des pressions politiques, voire même un refus de suivre les recommandations. Par contre, l’information 2 ne semble pas utile dans ce cas.

Ce n’est donc pas parce qu’une information n’était pas prévue au départ qu’elle n’est pas utile. Elle peut se révéler être en rapport avec l’intervention, de façon directe ou indirecte. Parfois même, une information recueillie au hasard peut se révéler capitale. Dans une recherche exploratoire, c’est un phénomène qui se produit très fréquemment. C’est ainsi qu’un grand nombre de découvertes scientifiques sont dues à une erreur de manipulation, et même au hasard. Deux autres questions peuvent compléter cette étude de la pertinence des informations.

1. L’INFORMATION N’EST-ELLE PAS REDONDANTE, OU CONTENUE DANS UNE AUTRE INFORMATION ? Il est inutile de tenir compte de la description de l’ordinogramme décisionnel d’une société qu’en fait oralement un directeur si on a par ailleurs accès à cet ordinogramme, clairement présenté. Par contre, si en décrivant l’ordinogramme décisionnel le directeur émet des sentiments, des avis, …, il s’agit là d’informations d’un autre ordre. Elles doivent être considérées comme des informations complémentaires. C’est aussi le moment de vérifier une dernière fois si une partie de l’information n’a pas déjà été traitée par quelqu’un d’autre, et si l’on peut s’appuyer sur les résultats obtenus.

2. EST-ELLE SUFFISAMMENT COMPLÈTE ? Dans une bonne partie de ces types d’investigations (audit, recherche-action), il est rare que l’on puisse clairement distinguer la phase de recueil des informations et la phase de traitement. Souvent, l’investigateur a besoin de compléter l’information initiale, même en cours de traitement. Ceci est valable aussi pour les investigations pour lesquelles un outil de recueil a été élaboré au départ. Ces compléments peuvent avoir lieu de différentes façons. EXEMPLES

– compléter un échantillon dans le cas où le taux de mortalité d’une enquête est trop important ;

– compléter une documentation parce qu’on estime qu’une tendance est représentée de façon excessive ou insuffisante dans les ouvrages sur lesquels on a travaillé jusqu’à présent ;

– donner un coup de téléphone à la suite d’un entretien pour compléter une information ;

178

Méthodologie générale du recueil d’informations

– décider de prolonger une période d’observation parce que la période initiale n’a pas été jugée significative, ou parce que les conditions de standardisation n’ont pas été respectées ; – diversifier des sources sur le plan linguistique ; – etc.

Ces exemples montrent une fois encore que le processus de recueil d’informations n’est pas un processus linéaire, mais qu’il consiste en un va-et-vient continuel entre ce que l’on veut chercher, la réalité à laquelle on est confronté, et l’évolution de la réflexion personnelle.

B. L’information est-elle valide ? Dans ce type d’investigations, une information est valide si elle reflète la réalité, autrement dit si elle est bien le reflet de l’information que l’on déclarait vouloir recueillir. Il arrive souvent que l’on recueille des informations issues d’une source unique. EXEMPLES

– lors d’un entretien dans le cadre de l’évaluation du fonctionnement d’un service, le chef de

service déclare qu’un de ses employés a obtenu le poste non pas pour sa compétence, mais suite à des pressions politiques ; – lors d’un audit d’un établissement scolaire, un étudiant déclare que tel professeur arrive systématiquement 1/2 h en retard au cours. – lors de l’examen d’une dizaine d’ouvrages dans le cadre d’une recherche ethnologique sur une population précise, le chercheur s’aperçoit qu’un seul auteur déclare avoir observé un comportement particulier.

Dans tous ces cas, la question est de savoir s’il faut tenir compte de cette information isolée ou s’il faut adopter une autre attitude. En règle générale, on peut se baser sur le principe de la triangulation d’une information pour asseoir sa validité. Ce principe consiste à dire qu’une information ne doit être prise en compte que si elle est issue de trois sources différentes et indépendantes. Si ce n’est pas le cas, l’évaluateur ou le chercheur ne peut pas considérer l’information comme valide. Plusieurs choix s’offrent alors à lui. Il peut : – mentionner l’information en précisant qu’elle n’a pas été validée. C’est probablement le cas du premier exemple donné ci-dessus : si effectivement la personne a été engagée sur base de pressions politiques, il sera difficile d’avoir confirmation de l’information ; – compléter l’information de façon à la rendre valide. Dans le cas du professeur qui arrive systématiquement en retard, la chose est simple : il suffit de poser la question à d’autres étudiants, au professeur lui-même, au directeur. Dans le cas de la recherche ethnologique, il s’agit éventuellement de rechercher d’autres documents permettant de confirmer ou d’invalider cette information ; dans le cas extrême, si cette information est capitale pour lui, le chercheur n’a d’autre recours que de mettre en place lui-même un dispositif scientifique valide pour la vérifier ; – la faire figurer comme une perception d’une personne, et non comme une information objective (voir ci-dessous) ;

La validation du processus de recueil d’informations

179

– écarter purement et simplement l’information. On peut distinguer 3 niveaux de triangulation d’une information. Une triangulation de niveau 1 : l’information est rapportée par 3 sources de même statut (3 étudiants, 3 secrétaires, 3 employés du même service, etc.). Une triangulation de niveau 2 : l’information est rapportée par 3 sources de statut différent (un étudiant, un professeur, le directeur, ou encore un employé, son chef de service, le chef d’un service voisin, trois personnes qui ont rapporté la même histoire sans s’être concertées, etc.). Une triangulation de niveau 3 : l’information est rapportée de 3 sources différentes, mais selon des méthodologies différentes (par exemple une note de service, les dires d’un employé et des recoupements effectués par l’évaluateur). Encore faut-il que l’information ait été obtenue de source directe. On ne peut pas considérer comme valide une information rapportée par trois personnes qui disent « J’ai entendu dire que… ». Il se peut que ces trois « ouï-dire » proviennent d’une source unique et tout à fait fantaisiste. Plus une information est jugée importante par l’évaluateur ou le chercheur, plus le niveau de validation doit être lui aussi élevé. Le chercheur ou l’évaluateur ne peut pas se permettre d’utiliser une information non validée pour confirmer ou infirmer son hypothèse. La triangulation joue seulement pour des informations objectives. Elle ne s’applique pas aux représentations qu’une personne a d’une situation particulière. Lorsqu’on retranscrit l’information, il faut cependant bien préciser qu’il s’agit là d’une représentation et non d’une information objective. EXEMPLE

Si un employé affirme que son directeur fait exprès de ne pas l’informer des choses importantes, le rapport devra stipuler : »Monsieur X a l’impression que son directeur fait exprès de… », et non « Le directeur de Monsieur X fait exprès de… ».

On pense souvent que la réalité objective a davantage de valeur que la réalité subjective. Il n’en est rien : la réalité subjective est souvent plus pertinente que la réalité objective. Encore faut-il s’assurer de la validité de cette réalité subjective : l’information recueillie correspond-elle bien à la réprésentation du sujet ? Si cette information subjective est importante, il faudra donc la valider au même titre que les informations objectives, par exemple en la recueillant à trois moments différents, ou à l’aide de trois instruments différents.

C. L’information est-elle fiable ? Pour chaque information recueillie, il faut se poser la question : « Obtiendrait-on la même information par une autre personne, à un autre moment, à un autre endroit, par un autre outil, à une autre source… ? ».

180

Méthodologie générale du recueil d’informations

Un manque de fiabilité peut être lié à deux types de facteurs. a) Des facteurs liés à l’investigateur lui-même. Il peut s’agir : – d’un problème d’inférence excessive : l’investigateur attribue de façon excessive une signification à ce qu’il observe, à ce qu’il entend, …, – d’un problème lié à son statut : les informations recueillies par un chef de service ne sont pas les mêmes que celles qui sont recueillies par un collègue de travail, et encore différentes de celles qui sont recueillies par un investigateur externe ; – d’un problème lié à une relation investigateur/investigué dans laquelle les variables affectives ne sont pas neutralisées (énervement, parti pris, séduction, sympathie ou antipathie excessive, etc.). b) Des facteurs extérieurs à l’investigateur : – le destinataire lui-même (résistance, …) ; – la présence d’une tierce personne dans un local dans lequel se déroule un entretien ; – un manque de temps attribué pour remplir un questionnaire ; – une interprétation douteuse de l’écrit d’un auteur ; – une mauvaise traduction ; – un document difficile à déchiffrer, mal structuré etc. – etc. Selon la méthode qui est pratiquée, on aura une facilité plus ou moins grande de réduire ces facteurs. C’est par exemple le cas dans une observation entièrement standardisée, dans laquelle les observateurs ont reçu un entraînement. C’est plus difficile dans une intervention dans laquelle plusieurs personnes effectuent des entretiens en parallèle, surtout si elles n’ont pas mis au point un guide d’interviews commun. Le schéma suivant reprend en synthèse ces quelques variantes par rapport au schéma proposé en 6.3.3.

VALIDATION A POSTERIORI DU PROCESSUS DE RECUEIL D’INFORMATIONS En regard de l’objectif visé, les informations à traiter sont-elles nécessaires, suffisantes et accessibles ? Reflètent-elles effectivement la réalité ? Peut-on se fier aux procédures de recueil des informations ? 1. Pertinence de l’information

2. Validité de l’outil

3. Fiabilité des procédures

Les informations à recueillir sont-elles nécessaires et suffisantes (en qualité et en quantité) en regard de l’objectif ?

Les informations recueillies reflètentelles la réalité ?

Les informations seraient-elles les mêmes si elles étaient recueillies par une autre personne, à un autre moment, à un autre endroit, à l’aide d’un autre outil ?

La validation du processus de recueil d’informations

6.3.5 LA

181

TRANSFÉRABILITÉ

Outre la question de la pertinence, de la validité et de la fiabilité de l’outil, il faut également se poser la question de la transférabilité de l’ensemble de la démarche : on recherche si les résultats sont transférables à la population de référence d’où est extrait l’échantillon, à d’autres cultures, à d’autres situations, à d’autres moments. a) Lorsque le recueil d’informations se fait de façon fermée, à l’aide d’un outil validé, la transférabilité porte principalement sur cet outil. Elle comprend 4 composantes : 1. La transférabilité échantillon-population. « Les résultats issus des procédures sont-ils transférables à la population de référence à laquelle l’investigateur voulait généraliser les résultats ? » Ce type de transférabilité est le plus important. L’exemple 3 en 6.3.1 donne un exemple de démarche non transférable à la population de référence. 2. La transférabilité transculturelle « Les résultats issus des procédures sont-ils transférables à d’autres ‘cultures’ (populations) ? » 3. La transférabilité transsituationnelle « Les résultats issus des procédures sont-ils transférables à d’autres situations ? » 4. La transférabilité transtemporelle « Les résultats issus des procédures sont-ils transférables à d’autres « moments » ? » La question de la transférabilité de l’outil est une question à se poser au départ de l’investigation, en amont de la validation du recueil d’informations. En effet, le désir que l’on a de transférer l’outil va conditionner au départ : – la stratégie d’échantillonnage ; – le choix de certaines variables que l’on n’aurait peut-être pas prises si l’on ne souhaitait pas la transférabilité (pertinence) ; – et parfois même la situation dans laquelle on va recueillir l’information. Il faudra confronter cette transférabilité souhaitée au départ à la transférabilité permise à l’arrivée : compte tenu des informations recueillies, des biais rencontrés,etc. Au point de départ, il faut donc déjà avoir une petite idée de l’étendue du type de conclusions, mais c’est surtout à l’arrivée que l’on peut déterminer le degré de transférabilité. En aval, la transférabilité est en lien étroit avec les dernières étapes de l’investigation : le traitement des informations, une reproblématisation productrice de sens, une discussion sur les conditions de généralisabilité de la démarche. b) Dans les cas où le recueil d’informations se fait de façon ouverte, la transférabilité des résultats a peu de sens ; par contre, il est intéressant d’envisager la transférabilité des démarches de recueil des informations. C’est le cas de l’évaluateur-expert qui utilise son acquis au profit des investigations qui lui sont confiées. Il sait bien qu’étant donné la spécificité des contextes dans lesquels il est amené à évoluer (diversité de lieux, de domaines, de taille,

182

Méthodologie générale du recueil d’informations

de structures, de personnes, etc.), il a peu de chances de transférer des résultats. Par contre, il examine avec soin en quoi une démarche utilisée avec fruit peut être transférée dans une autre investigation.

6.4 La présentation des informations Il est important que l’investigateur (le chercheur, l’évaluateur…) qui présente une information expose celle-ci en toute transparence, c’est-à-dire qu’il donne au lecteur, de manière très claire, les clés qui lui permettent d’identifier avec précision le statut de cette information (ROEGIERS, 1997 ; 3e édition 2007). Quelques questions peuvent orienter cette transparence dans la présentation : 1. Dans quelle mesure l’information est-elle objectivée ? 2. En quoi l’investigateur a-t-il traduit une information qui lui a été livrée ? 3. Quel est le type de source de l’information ? 1. Dans quelle mesure l’information est-elle objectivée ? Il s’agit de cerner quelle est la nature de l’information : • Un fait reconnu comme tel, c’est-à-dire une information qui n’est contestée par personne • Un fait ayant un caractère officiel (loi, décret…) • Un fait scientifiquement prouvé, à travers une étude, une recherche • Un fait établi comme tel par l’investigateur, parce que validé dans le cadre d’un des niveaux possibles de triangulation (voir en 6.3.4, page 178) – Niveau 1 : 3 personnes de la même catégorie – Niveau 2 : 3 personnes de catégories différentes – Niveau 3 : 3 méthodologies différentes • Une tentative d’objectivation par un acteur qui a une bonne connaissance de la problématique • Une représentation d’acteur(s) – émanant d’un acteur unique – partagée par quelques acteurs appartenant à des catégories différentes – partagée par quelques acteurs de la même catégorie – partagée par une catégorie d’acteurs – partagée par plusieurs catégories d’acteurs – partagée par l’ensemble des acteurs concernés • La représentation de l’investigateur, élaborée en synthèse d’informations fournies • Une hypothèse que pose l’investigateur Cette objectivation nécessite d’établir une distinction claire entre les acteurs auprès desquels l’information est recueillie d’une part, et l’investigateur d’autre part. C’est une distinction qu’il n’est parfois pas facile à réaliser, en particulier dans les recherches en sciences sociales, où la personne qui présente les infor-

Le traitement des résultats

183

mations doit se mettre réellement dans une posture de chercheur, plutôt que de rester dans sa posture d’acteur social (ALBARELLO, 2003). 2. En quoi l’investigateur a-t-il traduit une information qui lui a été livrée ? •Reprise d’une information brute •Information inférée •Reformulation partielle d’une information •Reformulation complète d’une information 3. Quel est le type de source de l’information ? •Document écrit (officiel, ou moins officiel) •Information orale •Observation

6.5 Le traitement des résultats Le traitement devra lui aussi être pertinent, valide et fiable. Il doit être pertinent, c’est-à-dire qu’il faut être sûr de ne pas se tromper dans le type de traitement à effectuer : il ne faut pas se tromper dans les objectifs du traitement. Il doit être valide, c’est-à-dire que l’on doit s’assurer que le traitement effectué est bien celui que l’on déclare effectuer. Il doit être fiable, c’est-à-dire qu’il doit permettre de rédiger des conclusions sur des bases solides. Les stratégies de traitement de l’information sont multiples, et très variables selon les différentes méthodes de recueil d’informations. Souvent elles consistent en une stratégie composite à plusieurs composantes telles : – – – – –

un traitement statistique ; une représentation particulièrement parlante ; un calcul d’indices ; une réflexion originale à partir des données recueillies ; etc.

Pour certains types d’investigations, que nous avons qualifiés de « fermés », le traitement sera pré-établi, et fonction d’outils développés a priori sur base d’hypothèses formulées au départ. Pour ces investigations, traiter des résultats n’a pas de signification si ce n’est en relation avec des hypothèses de travail soigneusement opérationalisées, fondées sur une revue critique de la littérature, sur une réflexion approfondie, sur une étude fouillée du contexte dans lequel s’insère l’investigation, etc. Quand on a recueilli l’information, il est bien trop tard pour se poser la question : « Comment traiter cette information ? ». C’est une question à laquelle il faut avoir une réponse précise avant de recueillir l’information, même si à ce moment il s’avère opportun de modifier ou de compléter le traitement initialement choisi. En effet, une nouvelle hypothèse peut émerger en cours de route, et nécessiter un traitement complémentaire.

184

Méthodologie générale du recueil d’informations

À l’inverse, pour d’autres types d’investigations plus « ouverts », il se peut qu’au départ on n’ait aucune idée du traitement à effectuer. Celui-ci sera fonction des hypothèses qui émergent en cours de route, et du type d’informations que l’on recueille. Il est bon toutefois d’avoir déjà une première idée de ce traitement : celle-ci peut donner des indications sur la nature et la quantité des informations à recueillir. Ce n’est pas parce qu’il n’est pas défini au départ que le traitement peut se permettre de manquer de rigueur, au contraire. L’investigateur doit à tout moment concilier créativité et rigueur, en s’adaptant continuellement au contexte et à l’évolution de l’investigation, et en ne perdant pas de vue les exigences dictées par son cadre conceptuel de référence. Créativité, rigueur et respect du cadre théorique doivent converger vers la production de sens, qui est si importante dans les démarches évoquées, et qui doit inspirer l’investigateur d’un bout à l’autre du processus. La production de sens est liée à deux facteurs principaux. Le premier est la non-réduction de la complexité qui se présente à lui (ARDOINO, 1993). La deuxième est l’exigence de production de connaissance nouvelle, de liens nouveaux, de points de vue nouveaux, qui doivent rechercher une plus-value pour le lecteur ou l’utilisateur. Et cette plus-value doit être anticipée par lui/ elle. Auteur d’un « Manuel d’analyse qualitative. Analyser sans compter ni classer », LEJEUNE (2014) décrit bien le malaise de personnes ayant réalisé un travail énorme de traitement sur leurs données recueillies pour finalement avoir « l’impression d’enfoncer des portes ouvertes ou d’accoucher d’une souris » (p. 7). Ou encore de personnes mettant tout leur espoir dans l’utilisation de logiciels d’analyse de textes, mais ne s’apercevant pas que « les fonctionnalités des outils informatiques pourraient entraîner leurs usagers dans la mauvaise direction » (p. 7). Combiner nouveauté, rigueur, sens et non-réduction de la complexité, tout en restant accessible dans ses écrits, est un véritable défi pour tout investigateur aujourd’hui.

EN GUISE DE CONCLUSION On pourrait penser, à la lecture de cet ouvrage, qu’un recueil d’informations est une démarche linéaire, et que, à un moment donné, la technicité se substitue à la réflexion. Il n’en est rien. En effet, non seulement la démarche est souvent itérative, mais chercheur, l’évaluateur, l’investigateur doit rester en éveil à tout moment du processus ; son rôle ne s’arrête que quand l’ensemble du processus est terminé. On peut dire que trois grandes propriétés caractérisent toute méthode de recueil d’information : – la créativité que nécessite sa mise en œuvre ; – son incomplétude ; – la nécessité de contrôle. Commençons par développer ces trois caractéristiques à propos de l’observation, qui est sans doute la méthode pour laquelle ces caractéristiques sont les plus évidentes.

L’observation, un processus créatif Une certaine naïveté inciterait à croire que l’observateur idéal serait un photographe ou un cinéaste ou un vidéophile qui, armé de son appareil, saisirait l’objet ou la scène. « Saisie objective ? », se demande DROZ (MICHIELS-PHILIPPE, 1984). Non évidemment répond le même auteur. « Le photographe choisit son emplacement, la sensibilité de son film, la focale de son objectif, les filtres, les relations entre le plan du sujet, le plan de l’objectif, le plan de la surface sensible, la technique de développement, la nature du papier. Il opère avec les éclairages, les temps de pose, des profondeurs de champ. Quoi qu’il puisse en penser, son but ne peut jamais être de conserver le réel tel qu’il est. Le photographe reproduit une impression. Mieux, il crée cette impression » (p. 10). Derrière toute observation dans un contexte donné, situé spatialement et historiquement, il y a un observateur avec une intentionnalité, plus ou moins consciente, une histoire personnelle, une formation inscrite dans un courant donné, une familiarité plus ou moins grande avec le contexte de l’observation. La même personne n’observera pas la même chose et de la même façon selon qu’elle se trouve en position de chercheur opérant avec un dispositif expérimental conçu a priori, qu’elle se retrouve en position de chercheur dans une recherche action, qu’elle observe ses étudiants lors d’un cours, qu’elle est en position d’évaluateur. Dans le premier cas (position d’expérimentateur),

186

Méthodologie du recueil d’informations

elle sélectionne les stimuli en rapport avec une grille d’observation préétablie et reste attentive aux éléments du contexte qui pourraient constituer des biais par rapport au dispositif prévu. Dans le second cas (chercheur dans l’action), elle tentera de donner du sens à la situation observée en mettant en relation des éléments du contexte en fonction de l’expérience acquise antérieurement (rôle important des différents types de savoirs, dont les savoirs scientifiques et les savoirs d’expérience ; rôle important de la confrontation des savoirs des différents acteurs). Dans le troisième cas (l’enseignant praticien), elle repérera plus ou moins intentionnellement les indices en relation avec les préoccupations du moment (mes étudiants sont-ils attentifs ? comprennent-ils ?). Dans le quatrième cas (évaluateur), elle sélectionne dans la production de l’élève les informations qui correspondent à des indicateurs censés opérationnaliser les critères liés à la performance visée (du moins si un tel travail a été fait dans ce sens). Certes, ce sont là des cas bien différents. Mais ce qui les réunit, c’est qu’il y a un processus orienté de sélection d’informations et de combinaison de celles-ci pour créer du sens dans un contexte donné en relation avec un objectif poursuivi. Ce processus repose sur la créativité de l’observateur. C’est là la force de l’observation et sa « faiblesse ».

L’observation, un processus marqué par l’incomplétude Si l’observation est un processus créatif, elle est aussi marquée par l’incomplétude comme le savent très bien les artistes. Les artistes ont un regard particulièrement créatif sur les objets qu’ils observent : ils ne voient pas les mêmes choses que l’homme de la rue ; ils sélectionnent certains stimuli et les combinent de façon originale ; ils tentent de créer un sens à cette vision et ils souffrent à le traduire dans une œuvre matérielle (peinture, roman, film…), au point de ne jamais être satisfait et de poursuivre ce sens dans de nouvelles oeuvres. Cette incomplétude, on la retrouve, mais de façon différente, chez le chercheur expérimentaliste, le chercheur dans l’action, le praticien, l’évaluateur. Chez l’expérimentateur, toute catégorie observée suppose des mises en relation avec d’autres catégories observées (au point de recourir parfois à des traitements sophistiqués comme l’analyse factorielle) ; toute grille d’observation utilisée dans une recherche suppose une confrontation avec la même grille utilisée dans d’autres recherches ou avec d’autres grilles. Le chercheur dans l’action va constamment remettre en question le sens accordé à un phénomène observé en observant le même phénomène dans des situations différentes, en fonction d’une évolution de sa problématique, en fonction d’un processus participatif de recherche de nature socioconstructiviste. Le praticien, avec l’expérience acquise progressivement, cherchera à conforter ou au contraire à remettre en question le sens donné jusqu’à présent aux situations rencontrées dans sa pratique, en fonction de l’évolution de ses préoccupations ou des enjeux à défendre. L’évaluateur se questionnera sur le sens à donner à la confrontation des informations recueillies et des critères censés traduire les objectifs à faire maîtriser. En un mot, on peut dire que si l’observation produit déjà du sens, elle initie une quête qui contribue certes à créer une symphonie, mais une symphonie perpétuellement inachevée.

En guise de conclusion

187

L’observation, un processus marqué par la nécessité d’un contrôle L’observation peut être vue comme un système dynamique intégrant des systèmes sous-jacents (la perception, la mise en mémoire, l’activation) et susceptible d’être intégré lui-même dans des systèmes ou fonctions plus complexes, comme la recherche, l’intervention, l’évaluation. Ces dernières sont des processus éminemment sociaux : le produit de la recherche doit être validé par la communauté scientifique ; le praticien doit rendre des comptes aux utilisateurs concernés ; l’évaluateur contribue à des prises de décision qui engagent des personnes, voire la société comme dans la certification. Puisque l’observation est une composante de base de ces différentes fonctions, elle doit être suffisamment pertinente (servir effectivement la fonction visée), valide (faire correspondre ce qui est réellement observé avec ce qui est déclaré observé) et fiable (pouvoir assurer que le produit de l’observation est suffisamment indépendant de l’observateur ou des circonstances, sous peine de ne pouvoir faire aucune généralisation). Entendons-nous : il est légitime que des personnes différentes dans un même contexte ne donnent pas le même sens aux phénomènes observés, car ils peuvent poursuivre des objectifs différents et adopter des postures différentes. Mais lorsqu’ils adoptent un même objectif et se mettent d’accord sur une posture donnée, si par ailleurs ils doivent aboutir à des produits ou des conclusions quelque peu généralisables, le contrôle de l’observation de départ et des traitements qui en seront faits est tout à fait indispensable. Si tel n’est pas le cas, le chercheur ne produit pas de la science mais du journalisme de plus ou moins bonne qualité ; le praticien est susceptible de faire beaucoup de dégâts ; l’évaluateur produit du jugement sur les personnes plutôt que de fonder une prise de décision valide. Dans un ouvrage antérieur « Observer les situations éducatives » (POSTIC & DE KETELE, 1988, p. 45), nous écrivions : « L’observateur est remis en cause, autant que l’observé, par les résultats de son observation. La procédure objectivante n’est pas seulement méthodologique, elle est aussi philosophique, au sens où MERLEAU-PONTY (1964, p. 47) dit que la philosophie est l’ensemble des questions où celui qui questionne est lui-même mis en cause par la question ». Le questionneur est questionné et questionnable ; l’observateur l’est tout autant.

Les dispositifs de recueil d’informations : des points communs dans la diversité Les caractéristiques développées ci-dessus pour les dispositifs d’observation se retrouvent – certes à des degrés divers – dans les autres dispositifs de recueil d’information, en particulier dans l’entretien et le questionnaire. Précisions tout d’abord que, comme nous l’avons vu, chacun de ces types de dispositif peuvent eux-mêmes revêtir des formes diverses, comme par exemple : grille d’observation ou observation libre ; entretien structuré, semi-structuré, libre ; questionnaire ou test fermé, semi-fermé ou ouvert. Ces différentes formes peuvent ellesmêmes varier dans leur conception, leur mode de passation et leur mode de traitement. Si l’on analyse les processus sous-jacents à des outils en apparence si diversifiés, on y

188

Méthodologie du recueil d’informations

retrouve cependant les trois caractéristiques évoquées, à savoir celles de processus créatif, d’incomplétude et de nécessité de contrôle. Montrons-le à travers quelques exemples parmi d’autres. À première vue, on pourrait croire que derrière un questionnaire très fermé (sous forme de QCM par exemple) ou un test international de performances (objet d’un processus exigeant de validation), on ne trouve guère de processus créatif, d’incomplétude et de besoin de contrôle. C’est un leurre que de le croire. Tous les experts le savent : concevoir un bon questionnaire ou un bon test est un processus complexe et difficile. Il exige en amont énormément de créativité dans la conceptualisation de l’objet à évaluer, dans la recherche des items potentiels et des distracteurs, dans leur formulation. Toujours en amont (et parfois a posteriori), il exige tout un travail de contrôle de validité à travers des procédures parfois complexes : – le chercheur sera amené à calculer des scores comme des alpha de Cronbach pour vérifier le degré d’homogénéité du questionnaire, ou à lui appliquer des modèles d’analyse factorielle pour déterminer si les variables choisies expliquent réellement le phénomène ; – les experts des tests internationaux valideront le test avec la Théorie des Réponses aux Items – reposant sur un modèle mathématique complexe –, qui permet de déterminer si un item est indépendant d’un groupe cible particulier ; – ce même questionnaire exige également un contrôle de fiabilité qui peut aller jusqu’à des procédures d’entraînement des correcteurs et des calculs d’accord inter-évaluateurs. Et, même si l’on a eu recours à de telles techniques aussi sophistiquées, il existera toujours une incomplétude dans la recherche du sens à tirer en amont des résultats obtenus aux tests : la passation est situé dans l’espace et dans le temps, ce qui peut changer radicalement la signification que l’on peut attribuer aux résultats ; l’analyse en creux des résultats (ce que le test ne dit pas) est aussi important que ce qu’il manifeste en surface (DE KETELE, 2010 ; DE KETELE & GERARD, 2005). Le même raisonnement tient la route pour l’entretien. Plus l’entretien est structuré, plus ce qui vient d’être dit se vérifie puisque nous avons affaire à un questionnaire fermé oral. Plus l’entretien est libre, plus nous nous rapprochons de la situation d’un questionnaire écrit ouvert, avec cependant le fait que le comportement et l’expérience de l’interviewer peuvent ouvrir ou fermer davantage les résultats de l’entretien. Et nous nous retrouvons très proche sur certains aspects de l’observation libre. Le processus créatif se joue surtout dans l’interaction et dans le traitement ; le contrôle se trouve surtout en aval ; l’incomplétude se joue dans le processus de recherche de sens face à un matériau tellement ouvert qu’il peut être exploité indéfiniment.

ANNEXE

VÉRIFICATION DE LA FIABILITÉ Plusieurs techniques statistiques existent pour vérifier la fiabilité. Nous donnons cidessous les plus fréquemment utilisées dans les rapports scientifiques : la proportion d’accord observé (Po) et le coefficient de Cohen (K) si les données codées sont qualitatives (nominales ou nominalisées) ; les coefficients de corrélation si les données sont quantitatives (au minimum ordinales).

1.1 Les données sont qualitatives Partons d’un exemple concret. Deux observateurs entrainés ont été chargés de coder les énoncés d’une interview en trois catégories : (1) les énoncés sont positifs ; (2) les énoncés sont neutres ; (3) les énoncés sont négatifs. Les résultats sont donnés dans le tableau suivant : OBSERVATEUR B Positifs (1)

OBSERVATEUR A

Neutres (2)

Négatifs (3)

Total

Positifs (1)

44

8

7

59

Neutres (2)

6

54

12

72

Négatifs (3)

3

36

157

196

53

98

176

327

Total

Un premier indice très simple est la proportion d’accord observé (Po) entre les deux observateurs. Il se calcule simplement en faisant la somme des cases diagonales (44 + 54 + 157) et en la divisant pas la somme totale des accords et désaccords (327). Le pourcentage obtenu est : .78. Il y a donc 78 % d’observations où les deux observateurs sont d’accord. On est loin des 100 % souhaités et on s’aperçoit que l’observateur A considère assez souvent des énoncés comme négatifs, alors que l’observateur B les considère plutôt comme neutres. Il faudrait sans doute poursuivre l’entraînement des observateurs en précisant davantage ces deux catégories.

190

Méthodologie du recueil d’informations

Cet indice est cependant considéré souvent comme trop rudimentaire, tout spécialement quand le codage peut être facilement le fruit du hasard (exemples : le codage doit se faire très rapidement ; certaines catégories sont plus rares que les autres). Les experts recommandent alors de recourir au coefficient de Cohen (appelé souvent K) qui tente de neutraliser le pourcentage d’accord qui pourrait être le fruit du hasard. Ce dernier (appelé souvent Pe) s’estime par la succession des démarches suivantes : – on calcule le produit du total de chaque ligne par le total de la colonne correspondante et on fait la somme de l’ensemble des produits obtenus : 59 × 53 + 72 × 98 + 196 × 176 = 44 679 ; – on divise la somme globale obtenue (44 679) par la somme globale des accords et désaccords observés (327) que l’on élève au carré (327 × 327 = 106 929) et on obtient le pourcentage d’accord dû au hasard, à savoir Pe = 44 679/106 929 = .42. Il nous reste à calculer le coefficient de Cohen par la formule suivante : K = (Po – Pe)/ (1 – Pe) Ceci donne dans le cas présent : K = (.78 – .42) / (1 – .42) = .62 Le coefficient K de Cohen varie entre – 1 (désaccord total) et + 1 (accord total) en passant pas 0 (accord dû au hasard). Les experts se fixent un seuil de .60 en dessous duquel on ne peut descendre et estiment qu’il faille si possible un coefficient supérieur à .70.

1.2 Les données sont quantitatives Il existe de nombreux exemples où les données sont quantitatives et où il est nécessaire de vérifier que la mesure est fiable. C’est souvent le cas lorsque l’on utilise des tests de performances (par exemple, à des fins de recherche ou parce que les enjeux certificatifs sont importants). Dans ce cas, il est nécessaire de tenir compte conjointement : – des moyennes (ou médianes selon les cas) suffisamment semblables ; – des écarts-types (des différences entre les centiles selon les cas) suffisamment semblables ; – une corrélation de Bravais-Pearson (ou de Spearman selon les cas) suffisamment élevée dans les mesures attribuées par les deux évaluateurs. Nous ne développons pas ici les formules de ces indices statistiques très connus et disponibles dans de nombreux logiciels. Illustrons plusieurs cas de figure en imaginant qu’il s’agit d’un test dont la note varie entre 0 et 20. Après avoir effectué les calculs, on obtient les résultats suivants (M = moyenne ; s = écart-type : r = corrélation) pour les évaluateurs A et B :

191

Annexe : Vérification de la fiabilité

Exemple 1

Évaluateur A

M

s

12

2,9

r .81

Exemple 2

Exemple 3

Exemple 4

Évaluateur B

14

2,8

Évaluateur A

13

3,6

Évaluateur B

13,5

2,6

Évaluateur A

13

2,8

Évaluateur B

13,5

2,9

Évaluateur A

13

2,8

Évaluateur B

13,5

2,9

Fiabilité La corrélation est bonne (les deux évaluateurs rangent les performances à peu près de la même façon), la dispersion des résultats est homogène, mais les moyennes sont trop différentes, ce qui remet en question la fiabilité.

.81

La dispersion des résultats est trop différente : un évaluateur discrimine plus (3,6) que l’autre (2,6). Ceci remet en question la fiabilité.

.50

Malgré des moyennes et des écarts-types semblables, la corrélation est trop faible. Ceci remet en question la fiabilité.

.81

Les moyennes et les écarts-types sont semblables et la corrélation est élevée. La fiabilité semble assurée et on peut se fier à l’une ou l’autre des corrections.

Notons qu’il n’est pas toujours facile de dire à partir de quel écart deux moyennes ou deux écart-types sont différents ; il est donc utile de recourir aux tests statistiques adéquats pour voir si les différences sont statistiquement significatives (elles ne devraient pas l’être). En ce qui concerne la corrélation, il faut exiger autant que possible une corrélation supérieure à .70 et même à .80 (il ne suffit pas que la corrélation soit statistiquement différente de 0).

BIBLIOGRAPHIE AGAZZI, A. (1967). Les aspects pédagogiques des examens, Strasbourg : Conseil de l’Europe. ALBARELLO, L. (2007). Stratifier le social. Emploi, mobilité, réseau. Bruxelles : De Boeck. ALBARELLO, L. (2003). Apprendre à chercher. L’acteur social et la recherche scientifique. Bruxelles : De Boeck. ALLAL, L. (1979, 1991). « Stratégies d’évaluation formative : conceptions psycho-pédagogique et modalités d’application », in ALLAL, L., CARDINET, J., PERRENOUD, P. (Éd.). L’évaluation formative dans un enseignement différencié, Berne : Peter Lang. ARDOINO, J. (1993). « L’approche multiréférentielle (plurielle) des situations éducatives et formatives, Pratiques de Formation – Analyses ». Formation Permanente, n° 25-26, 15-34. ARDOINO, J., BERGER, G. (1989). D’une évaluation en miettes à une évaluation en actes : le cas des universités, A.N.D.S.H.A : Matrice. ARDOINO, J., BERGER, G. (1980). Éducation et relation : introduction à une analyse plurielle des situations éducatives, Paris : Bordas. ARDOINO, J., FERRASSE, J. (1991). « L’évaluation des composantes universitaires dans un cadre institutionnel du C.N.E. (ou de sa transgression-subversion nécessaire) », in Colloque international francophone « Les évaluations », Carcassonne, A.F.R.I.S.E. BACHER, F. (1982). Les enquêtes en psychologie, Presses Universitaires de Lille. BARBIER, J.-M. (2006). « Quelques questions pour la recherche dans le domaine de l’évaluation », in : FIGARI G. et ACHOUCHE M. (Éd.). L’activité évaluative réinterrogée. Regards scolaires et socioprofessionnels, Bruxelles : De Boeck Université, pp. 351-360. BARBIER, J.-M., LESNE, M. (1977). L’analyse des besoins en formation, Paris : Éditions Jauze. BARTH, B.-M. (1987). L’apprentissage de l’abstraction, Paris : Retz. BERTRAND BASCHWITZ, M.A. (2010). Comment me documenter ? Bruxelles : De Boeck. BLANCHET, A. (1987). « Interviewer », in BLANCHET, A., GHIGLIONE, R., MASSONNAT, J., TROGNON, A. Les techniques d’enquêtes en sciences sociales, Paris : Dunod. BOURGEOIS, E. (1991). « L’analyse des besoins en formation dans les organisations : un modèle théorique et méthodologique », in Mesure et évaluation en éducation, 14 (1), pp. 1760. BOURGEOIS, E. & NIZET, J. (1995). Pression et légitimation. Paris : P.U.F. CARDINET, J. (1986). Pour apprécier le travail des élèves, Bruxelles : De Boeck Université. CARDINET, J. (1986). « Objectifs éducatifs et éducation individualisée », in Évaluation scolaire et mesure, Bruxelles : De Boeck Université. CARDINET, J. (1975). L’Élargissement de l’Évaluation, Neufchâtel : I.N.R.D.P. CARROLL, J.B. (1963). « A model of school learning », Teachers Coll. Rec., 64, 723-32.

194

Méthodologie du recueil d’informations

CATTELL, R.B. (Ed). (1966). Handbook of multivariate experimentale psychology, Chicago : Rand Mc Nally. CHEVALIER, J., BUCKLES, D.J. & BOURASSA, M. (2013). Guide de la recherche-action, la planification et l’évaluation participatives. Ottawa : SAS2 Dialogue. CRONBACH, L.J. (1975). « Beyond the two disciplines of scientific psychology », American Psychologist, 30, 116-127. CRONBACH, L.J. (1963). Essentials of Psychological Testing, New York : Harper. CRONBACH, L.J. et SUPPES, P. (Eds) (1969). Research for Tomorrow’s Schools : disciplined inquiry for Education, New York : Mac Millan. DE GAUJELAC, V. & LEGRAND, M. (2008). Intervenir par le récit de vie. Ramonville SaintAgne : ÉRÈS. DE KETELE, J.-M. (2010). « Ne pas se tromper d’évaluation », Revue française de Linguistique appliquée, 15(1), 25-37. DE KETELE, J.-M. (2006). « Contrôles, examens et évaluation ». In : J. BEILLEROT & N. MOSCONI (dir.). Traité des sciences et des pratiques de l’éducation, Paris : Dunod, pp. 407-420. DE KETELE, J.-M. (2001a). « Place de la notion de compétence dans l’évaluation des apprentissages ». In G. FIGARI et M. ACHOUCHE (éds), L’activité évaluative réinterrogée. Regards scolaires et socioprofessionnels (pp. 39-43). Bruxelles : De Boeck Université. DE KETELE, J.-M. (2001b). « Évolution des problématiques issues de l’évaluation formative », In : FIGARI G. et ACHOUCHE M. (Éd.). L’activité évaluative réinterrogée. Regards scolaires et socioprofessionnels, Bruxelles : De Boeck Université, pp. 102-108. DE KETELE, J.-M. (1996). L’évaluation des acquis scolaires : quoi ? pourquoi ? pour quoi ?, In Revue Tunisienne des Sciences de l’Éducation, 23, 17-36. DE KETELE, J.-M. (1989). « L’évaluation de la productivité des institutions d’éducation », in Cahiers de la Fondation Universitaire : Université et société, le rendement de l’enseignement universitaire. DE KETELE, J.-M. (1986). « L’évaluation du savoir-être », in : J.-M. DE KETELE, l’évaluation : approche descriptive ou prescriptive ?, Bruxelles-Paris : Éd. De Boeck et Éd. Universitaires. DE KETELE, J.-M. (1984). « Vers une redécouverte de l’identité de la pédagogie expérimentale », in : Laboratoire de Pédagogie Expérimentale, Hommage au Professeur Arthur Gilles, Méthodologie de l’enseignement, histoire et recherche en pédagogie, Louvainla-Neuve : Université Catholique de Louvain. DE KETELE, J.-M. (1981). « Le conseil de classe », in : Humanités Chrétiennes, LICAP. DE KETELE, J.-M. (1980, 1990). Observer pour éduquer, Berne : Peter Lang. DE KETELE, J.-M. (1975). « Le problème des objectifs dans le cadre d’une préparation de leçon », in : Sciences de l’éducation, 8(1) DE KETELE, J.-M., CHASTRETTE, M., CROS D., METTELIN, P., THOMAS, J. (1989). Guide du formateur, Bruxelles-Paris : Éd. De Boeck et Éd. Universitaires. DE KETELE, J.-M. & GERARD, F.M. (2005). « La validation des épreuves d’évaluation des compétences selon l’approche par compétences », Mesure et Évaluation en Éducation, 28(3), 1-26. DE KETELE, J.-M., MAROY, C. (2006). « Quels critères de qualité pour les recherches en education ? », In : PAQUAY L., CRAHAUY, M. et DE KETELE J.-M. (Éd.). L’analyse qualitative en éducation. Des pratiques de recherché aux critères de qualité, Bruxelles : De Boeck Université, pp. 219-249. DE LANDSHEERE, G. (1979). Dictionnaire de l’évaluation et de la recherche en éducation, Paris : P.U.F.

Bibliographie

195

DE LANDSHEERE, G. (1974). Évaluation continue et examens. Précis de docimologie, Bruxelles-Paris : Labor-Nathan. DE LANDSHEERE, G. (1964, 1969, 1982). Introduction à la recherche en éducation, Liège : Thone. DELVAUX, B. (2015). Une tout autre école. Louvain-la-Neuve : GIRSEF-UCL. D’HAINAUT, L. (1983). « Les composantes d’une situation d’évaluation », in TOURNEUR, Y. Théorie de l’Évaluation Pédagogique, Université de l’État à Mons. D’HAINAUT, L. (1980). Des fins aux objectifs de l’éducation, Paris-Bruxelles : Labor-Nathan. DROZ, R. (1984). « Observations sur l’observation ». In : MICHIELS-PHILIPPE, M.-P. (Éd.). Textes de base en psychologie : l’observation. Neuchâtel : Delachaux et Niestlé, pp. 7-29. ELLIOTT, J. (1978). « What is Action-Research in Schools ? », Journal of Curriculum studies, 10, 355-357. FIGARI, G. (2006). « Us et abus de la notion de référentiel », In : FIGARI G. et ACHOUCHE M. (Éd.). L’activité évaluative réinterrogée. Regards scolaires et socioprofessionnels, Bruxelles : De Boeck Université, pp. 310-314. FLANDERS, N.A. (1970). « Analysing teaching behavior », Reading, Mass. : Addison-Wesley. FOUREZ, G. (2003). Apprivoiser l’épistémologie, Bruxelles-Paris : De Boeck. GAGE, N.L. (Eds) (1963). Handbook of Research on Teaching, Chicago : Rand McNally. GERARD, F.-M. (2015-2016). « Objectiver la subjectivité », à paraître in D. Leduc & S. Béland (2015 ou 2016), Évaluation des apprentissages en arts à l’enseignement supérieur, Québec. GERARD, F.-M. (2002). « L’indispensable subjectivité de l’évaluation », Antipodes, 156, 26-34 (disponible à l’adresse suivante : http://www.fmgerard.be/textes/SubjEval.pdf) GERARD, F.-M. (2000). « Savoir, oui… mais encore ! », Forum – pédagogies, mai 2000, 29-35. GERARD, F.-M. & BIEF (2009). L’évaluation des compétences. Guide pratique. Bruxelles : De Boeck. GHIGLIONE, R. (1987). « Questionner » in BLANCHET, A., GHIGLIONE, R., MASSONNAT, J., TROGNON, A. Les techniques d’enquête en sciences sociales, Paris : Dunod. GLASS, G.V., WORTHEN, B.R. (1972). « Educational evaluation and research : similarities and differences », in. J. WELSS (Ed.), Curriculum theory �etwork monograph Supplement, 8(9), pp. 149-165. HADJI, C. (2001). « Les voies de l’évaluation. Trente ans de recherches et de débats ». In : RUANO-BORBALAN, J.-C. (2e édition 2001). Éduquer et former. Auxerre : Sciences humaines éditions. HARROW, A.J. (1977). Taxonomie des objectifs pédagogiques. Domaine psychomoteur, Traduit par M. LAVALLEE, Montréal : Presses de l’Université du Québec. HARROW, A.J. (1972). A Taxonomy of the Psychomotor Domain, New York : D. McKay. HARTOG, P., RHODES, E. (1935). An examination of examinations, Londres : Mac Millan. HEYNS, R., LIPPIT, R. (1954). « Systematic observational techniques », in : Lindzey, G. (Ed.), Handbook of social psychology, Reading, Mass. : AddisonWesley, 370-404. HUBERMAN, A.M., MILES, M.B. (1991). Analyse des données qualitatives, Bruxelles-Paris : Éd. De Boeck et Éd. Universitaires. HUGON, M.-A., SEIBEL, C. (1988). Recherches impliquées, Recherches action : le cas de l’éducation, Bruxelles-Paris : Éd. De Boeck et Éd. Universitaires. JAVEAU C. (1978). L’enquête par questionnaire. Manuel à l’usage du praticien, ParisBruxelles : Les Éditions d’Organisation et les Éditions de l’Université de Bruxelles.

196

Méthodologie du recueil d’informations

KIRSCHLING, W.R. (1979). Conceptual Problems and Issues in Academic Labor Productivity, in : LEWIS, D.R. & BECKER, W.E. (Eds), Academic Rewards in Higher Éducation, New York : Ballinger. KOHN, R.C. (1982). Les enjeux de l’observation, Paris : P.U.F. LABOV, W., FANSHEL, D. (1977). Therapeutic Discourse, London : Academic Press. LAFON, R. (1963, 1969). Vocabulaire de psychopédagogie et de psychiatrie de l’enfant, Paris : P.U.F. LALANDE, A. (1968). Vocabulaire technique et critique de la Philosophie, Paris : P.U.F. LAPERRIÈRE, H. & ZUNIGA, R. (2007). « Le regard qualitatif et le dépassement des frontières », Recherches qualitatives, Hors série, 5, 46-69. LE BOTERF, G. (1995). De la compétence : essai sur un attracteur étrange. Paris : Éditions d’Organisation. LE BOTERF, G. (1988). Comment investir en formation ?, Paris : Éditions d’organisation. LEJEUNE, Ch. (2014). Manuel d’analyse qualitative. Analyser sans compter ni classer. Bruxelles : De Boeck. LESCARBEAU, R. (2000). « La méthode des incidents critiques », Interactions, 4(1), 159-164. LEYENS, J.-Ph., CAMINO, L., PARKE, R.-D., & BERKOWITZ, L. (1975). « Effects of movie violence on aggression in a field setting as a function of group dominance and cohesion, in J. Pers. Soc. Psychology. MEDDLEY, D.M., SMITH, L.H. (1963). « Measuring classrooms behavior by systematic observation », in GAGE, N.L., Handbook of Research on Teaching, Chicago : Rand Mac Nally. MERINI, C., THOMAZET, S. & PONTE, P. (2014). « L’enseignant spécialisé chargé de l’aide à l’école primaire : un métier en (re-)construction », Recherche en Éducation, 19, 106-117. MERLEAU-PONTY, M. (1964). Le visible et l’invisible. Paris : Gallimard-NRF. MERRILL, M.D. (1983). « Component Display Theory », in C.M. REIGELUTH (Ed.). Institutional Design Theoris and Models : An Overview of their current States, Hillod, New Jersey : Lawrence Erlbaum Ass. Publ. MEYER, M. (1982). Logique, Langage et argumentation, Paris : Hachette. MOULY, G.Y. (1963). The Sciences of Educational Research, New York : Am. Book Co. NOEL, M.P. (2007). Bilan neurologique de l’enfant. Bruxelles : Mardaga. PAILLÉ, P. & MUCCHIELLI, A. (2010). L’analyse qualitative en sciences humaines et sociales. Paris : Armand Colin. PANET-RAYMOND, J., POIRIER, C. (1986). « L’utilisation des récits de vie dans une enquête statistique », in Les récits de vie, sous la direction de D. DESMARAIS et P. GRELL, Montréal : Éditions Saint-Martin. PAQUAY, L. (1994). « Vers un référentiel des compétences professionnelles des enseignants ? », Recherche et Formation, 15, 7-38. PAQUETTE, D. (2005). « L’étude des documents écrits par la méthode des traceurs », Recherches qualitatives, Hors série, 2, 61-69. PARENT, F. & JOUQUAN, J. (2013). Penser la formation des professionnels de santé. Une perspective intégrative. Bruxelles : De Boeck. PATRY, L. (1981). « La recherche-action face à la recherche sur le terrain », in ALLAL, L. et alii, Recherche-action. Interrogations et Stratégies émergentes, Genève : Cahiers de la Section des Sciences de l’Éducation, n° 26, 11-30. PATRY, L. (1980). La recherche-action face à la recherche sur le terrain, Rapports scientifiques sur l’éducation de l’institut de Pédagogie de l’université de Fribourg, n° 26. PIERON, H. (1963). Examens et docimologie, Paris : P.U.F.

Bibliographie

197

PIERON, H. (1973). Vocabulaire de psychologie, Paris : P.U.F. PIERON, H. (1963). Examens et docimologie, Paris : P.U.F. POSTIC, M., DE KETELE, J.-M. (1988). Observer les situations éducatives, Paris : P.U.F. QUIVY, R., RUQUOY, D., VAN CAMPENHOUDT, L. (1989). Malaise à l’école, Bruxelles : Publications des Facultés universitaires Saint-Louis. RANZONI (1968). « Commentaires sur la définition d’observation », in : Lalande, Vocabulaire technique et critique de la Philosophie, Paris : P.U.F. REUCHLIN, M. (1969). Les méthodes en psychologie, Paris : P.U.F. REY, B., CARETTE, V., DEFRANCE, A., KAHN, S. (2003). Les compétences à l’école. Apprentissage et évaluation. Bruxelles : De Boeck Université. ROEGIERS, X. (2010). La pédagogie de l’intégration : des systèmes d’éducation et de formation au cœur de nos sociétés. Bruxelles : De Boeck. ROEGIERS, X. (2004). L’école et l’évaluation. Bruxelles : De Boeck. ROEGIERS, X. (2000). Une pédagogie de l’intégration. Bruxelles : De Boeck. ROEGIERS, X. (1997 ; 3e édition 2007). Analyser une action d’éducation ou de formation. Bruxelles : De Boeck. ROEGIERS, X. (1991). L’alphabétisation fonctionnelle des adultes et des adolescents en mathématiques, Laboratoire de Pédagogie Expérimentale, Louvain-la-Neuve : Université Catholique de Louvain. ROEGIERS, X., WOUTERS, P., GERARD, F.-M. (1993). « Du concept d’analyse des besoins à sa mise en œuvre », in Formation et technologies, n° 3, Bruxelles. ROSENSHINE, B. (1971). Teaching behaviors and student achievement, Windson, Berkshire, England : National Foundation for Educational Research in England and Wales. ROSENSHINE, B. (1970). « Evaluation of classroom instructions », in Review of Education Research, April, vol. 40(2), 279-300. ROSENSHINE, B., FURST, N. (1973). « The Use of direct observation to study Teaching », in TRAVERS, R.M. (Ed.) : Second Handbook of Research on Teaching, Chicago : Rand Mac Nally. ROSENSHINE, B., STEVENS, R. (1986). « Teaching Functions », in : M.C. WITTROCK (Ed.), Handbook of Research on Teaching (3e éd.), A project of the American Educational Research Association, New York : Mac Millan Publishing Company. SCALLON, G. (1988). L’évaluation formative des apprentissages, Québec : Presses de l’Université Laval. SCRIVEN, M. (1983). « Evaluation Ideologies », in MADAUS, G.F., SCRIVEN, M., STUFFLEBEAM, D.L., Evaluation Models, Boston : Kluwer Nijhof. SCRIVEN, M. (1967). « The Methodology of Evaluation », in : TYLER, R.W., GAGNE, R.M. et SCRIVEN, M., Perspectives of Curriculum Evaluation, AERA Monograph Series on Curriculum Evaluation, Chicago : Rand Mac Hally, pp. 39-83. SIMON, A., BOYER, E.G. (1967, 1970, 1974). Mirrors for Behaviors, Philadelphia : Research for Better Schools. SIMPSON, E. (1966-1967) « Educational objectives : Psychomotor domain », in : Illinois Teacher of House Economics, 10, pp. 110-144. STAKE, R.E. (1976). A Theorical Statement of responsive Evaluation, Studies in Educational Evaluation, 2, pp. 19-22. STAKE, R.E. (1975). Evaluating the Arts in Education : a responsive Approach, Columbus : Merril.

198

Méthodologie du recueil d’informations

STAKE, R.E. (1967). « The Countenance of educational Evaluation », Teachers College Record, 68, pp. 523-540. STUFFLEBEAM, D. et al. (1980). Educational Evaluation and Decision, Making Masca, Peacock Pub. 1971 (Traduit par DUMAS, J., L’évaluation au service de la prise de décision), Ottawa : Éditions NMP, diffusé par Vuibert à Paris. STUFFLEBEAM, D.L. et al. (1971). Educational Evaluation and Decision making, Itasca : Peacock. STUFFLEBEAM, D.L., SHINKFIELD, A.J. (1984). Systematic Evaluation, Boston-DordrechtLancaster : Kluwer-Nijhof Publishing. TILLÉ, Y. (2001). Théorie des sondages. Paris : Dunod. TOFFLER, A. (1991). Les nouveaux pouvoirs, Fayard. TOURNEUR, Y. ROCHEZ-NIMAL, P. (1986). « Macroévaluation : finalités, objets d’étude et méthodes », in : Mesures et Evaluation, vol. 10 n° 3. TUKEY, J.W. (1960). « Conclusions vs Decisions », in Technometrics, vol. 2. TYLER, R.W. (1950). Basic Principles of Curriculum and Instruction, Chicago : University of Chicago Press. TYLER, R.W. (1942). General Statement on Evaluation, Journal of Educational Research, 35, pp. 492-501. VERMERSCH, P. (1994). L’entretien d’explicitation. Paris : ESF. WEICK, K.E. (1954, 1968). « Systematic Observational Methods », in : Lindzey, Gardner and Arowson Elliott, The Handbook of Social Psychology, Vol. 2, Research Methods, AddisonWesley. WORTHEN, B.R. (1968). « Discovery and expository task presentation » in Elementary mathematics, Journal of Educational Psychology, Monograph supplement, 59, n° 1, Part 2. WRIGHT, H.F. (1960). « Observational child study », in : Nussen P.H. (Ed.), Handbook of Research methods in child development, New York : Wiley. WRIGHSTONE, J.W. (1960). « Observational techniques », in : Harris, C.W. (Ed.), Encyclopedia of Educational Research, 3d Ed., N.Y., Mc Millan Cy. ZIMMERMANN, D. (1982). Observation et communication non verbale en école maternelle, Paris : Éditions ESF.

INDEX N.B. Les références en caractères gras renvoient aux définitions

A Abduction 81 Action (recherche-) 96, 98 Activité (d’un apprentissage) 18 Admission 38 Analyse des besoins 36 Anamnèse 28 Attributif (recueil) 131 Auditeur 122

B Bénéficiaire 123

C Certification (évaluation de) 40, 42, 55 Certificative (fonction) 105 Classement (évaluation de) 40 Commanditaire 120 Compétence 21 Continue (variable) 69 Contrôle 57, 66, 73, 74, 96, 124 Contrôle de qualité (fonction de) 107 Correcteur 25 Créée (situation) 133 Critères 51 Critériée (interprétation) 46

D Déduction 81 Dépendante (variable) 72 Descriptif (recueil) 45 Descriptive (démarche) 45 Descriptive (fonction) 107 Descriptive (recherche) 86, 88, 109 Destinataire 123

Développement (fonction de) 108 Développement (recherche de) 82, 88 Diagnostique (évaluation) 38 Directe (observation) 149 Dirigé (entretien) 14, 145 Discrète (variable) 69 Docimologie 24 Document (étude de) 26, 134, 144, 147, 151

E Entretien 14 Évaluation 33, 63, 66, 74, 95 Évaluative (recherche) 83, 88, 110 Exploratoire (recherche) 85, 109 Externe (efficacité) 53 Externe (validité) 172

F Fait 125, 182 Fermé (recueil) 171 Fiabilité 60, 61, 67, 68, 168, 180 Formative (évaluation) 39 Formative (fonction) 105 Formatrice (évaluation) 39

G Gestionnaire 122

H Herméneutique (démarche) 45 Hétérogénéité 175 Heuristique (fonction) 108 Homogénéité 175 Hypothético-déductif 79

200

I Idiographique 92 Indépendante (variable) 72 Indicateur 56 Induction 81 Inférence 81, 139 Information (statut de l’) 182 Initiateur 121 Instrument d’investigation 155, 163 Intégré (recueil) 45 Interne (efficacité) 53 Interne (validité) 172 Inter-notateur (accord) 173 Inter-staff (accord) 174 Intervalle (mesure d’) 71 Interview 12, 14, 134, 144, 145, 150 Intra-notateur (accord) 174 Intra-staff (accord) 174 Investigateur 122

J Jugement 46

L Libre (entretien) 13, 146 Longitudinal (recueil) 150

M Manipulée (situation) 133 Médiatisée (observation) 149 Mesure 69, 74, 95 Méthode 11, 28, 118 Minimal (critère) 53 Modalité d’une variable 69

Méthodologie du recueil d’informations

Orientation (évaluation d’) 36, 55 Outil d’investigation 155 Ouvert (recueil) 171

P Perfectionnement (critère de) 53 Pertinence 60, 67, 68, 165 Prédictive (évaluation) 37 Prédictive (fonction) 104 Prévisionnelle (évaluation) 37 Prévisionnelle (fonction) 106 Processus de recherche (fonctions du) 75 Prospective (fonction) 106

Q Questionnaire 25, 17, 133, 143, 145, 150

R Recherche 75, 76 Recherche-action 84, 88, 110 Recueil d’informations 11, 67 Recueil d’informations (étapes du) 157 Recueil d’informations (fonctions du) 8, 103 Référentiel 76, 98, 142 Régulation (évaluation de) 38, 40, 55 Régulation (fonction de) 105 Répétabilité (principe de) 90 Représentation 125, 182 Reproductibilité (principe de) 90

S

Narratif (recueil) 131 Naturelle (situation) 132 Nominale (variable) 70 Nomothétique 92 Normative (interprétation) 46 Notateur-protocole (accord) 174 Notation 149 Notation-renotation (accord) 173

Satisfaction (critère de) 54 Savoir-devenir 19 Savoir-être 18 Savoir-faire 18 Savoir-redire 18 Scientifique (recherche) 79, 88, 110 Sélection (évaluation de) 40 Semi-dirigé (entretien) 14, 146 Sociale (utilité) 92 Sommative (démarche) 45 Sommative (évaluation) 41 Spéculative (recherche) 87, 88, 110 Stratégie 28, 118

O

T

Observation 14, 15, 135, 144, 147, 151 Opérationnelle (recherche) 83, 88 Ordinale (variable) 71

Technique 118 Technologique (recherche) 82, 110 Technologique exploratoire (recherche) 88

N

201

Index

Théorique (cadre) 159 Transférabilité 162, 181 Transversal (recueil) 150 Triangulation 178

V Validation 164, 165 Valide (information) 178 Validité 60, 67, 68, 153, 167, 171 Variable 69 Vérification (fonction de) 108 Vie (récit de) 28

TABLE DES MATIÈRES

AVANT-PROPOS

............................................................................................................................................ 5

CHAPITRE 1 APPROCHE GÉNÉRALE DU RECUEIL D’INFORMATIONS

...................................................... 7

Introduction ..................................................................................................................................................... 7 1.1 Définition du recueil d’informations ........................................................................................................... 8 1.1.1 Les fonctions ........................................................................................................................................... 8 1.1.2 Les caractéristiques .................................................................................................................................. 9 A. B. C. D.

Se situer dans une action définie de façon plus ou moins précise ................................................................... 9 Présenter un caractère unilatéral ou multilatéral .......................................................................................... 9 Revêtir un caractère plus ou moins organisé ............................................................................................... 9 Nécessiter des garanties de validité plus ou moins strictes .......................................................................... 10

1.2 Les principales méthodes du recueil d’informations .............................................................................. 11 1.2.1 L’interview ............................................................................................................................................ 12 Caractéristiques de l’interview comme méthode ............................................................................................ 13

1.2.2 L’observation ......................................................................................................................................... 14 1.2.3

1.2.4

1.2.5 1.2.6

A. Sens premier ...................................................................................................................................... 15 B. Sens dérivés ....................................................................................................................................... 16 Le questionnaire .................................................................................................................................... 17 A. Le questionnaire de contrôle de connaissances ......................................................................................... 17 1. L’activité exercée ............................................................................................................................. 18 2. Le contenu ...................................................................................................................................... 19 B. Le questionnaire d’enquête ................................................................................................................... 25 L’étude de documents ........................................................................................................................... 26 A. La nature des documents ...................................................................................................................... 27 B. La quantité des documents à étudier........................................................................................................ 27 C. L’objet et le but de l’investigation .......................................................................................................... 27 Stratégies composées ........................................................................................................................... 28 Caractérisation et classement des méthodes .......................................................................................... 28 A. Quelle est la nature de la communication ? Est-elle à double sens, ou à sens unique ? Est-elle directe ou indirecte ? ................................................................................................................. 29

204

Méthodologie du recueil d’informations B. Quelle est l’étendue de l’accès à l’information ? L’accès à l’information est-il limité ou non dans l’espace ? Est-il concentré dans le temps ou non ? .................................................................................................. 29

1.3 Nécessité d’une réflexion épistémologique sur le recueil d’informations .......................................... 30 1.3.1 Le pouvoir lié à celui qui recueille l’information ...................................................................................... 30 1.3.2 Le pouvoir lié à ceux qui utilisent l’information ...................................................................................... 30

CHAPITRE 2 LE PROCESSUS DE RECUEIL D’INFORMATIONS AU SERVICE DU PROCESSUS D’ÉVALUATION ........................................................................................................ 33 2.1 Le processus d’évaluation ........................................................................................................................... 33 2.1.1 Définition générale de l’évaluation ......................................................................................................... 33 2.1.2 Comment caractériser les évaluations ? ................................................................................................. 34 2.1.3 Évaluation d’orientation, évaluation de régulation et évaluation de certification ...................................... 35

A. Évaluation d’orientation ........................................................................................................................ 36 Évaluation prédictive ........................................................................................................................... 37 Évaluation prévisionnelle ....................................................................................................................... 37 Évaluation diagnostique ........................................................................................................................ 38 B. Évaluation de régulation ........................................................................................................................38 Évaluation formative ............................................................................................................................ 39 Évaluation formatrice ............................................................................................................................ 39 C. Évaluation de certification ......................................................................................................................40 Évaluation de sélection ......................................................................................................................... 40 Évaluation de classement ...................................................................................................................... 40 Évaluation sommative .......................................................................................................................... 41 2.1.4 Démarche sommative, descriptive et herméneutique .............................................................................. 45 A. Une démarche sommative, liée à un recueil sommatif ............................................................................... 45 B. Une démarche descriptive, liée à un recueil descriptif ................................................................................ 45 C. Une démarche herméneutique, liée à un recueil intégré ............................................................................. 45 2.1.5 Interprétation normative et critériée ....................................................................................................... 46 2.1.6 Évaluation et jugement .......................................................................................................................... 46

2.2 Les principales étapes du processus d’évaluation ................................................................................... 47 2.2.1 Les étapes d’un processus d’évaluation ................................................................................................. 47

Étape 1 : énoncer clairement les objectifs de l’évaluation .............................................................................. 49 Étape 2 : énoncer clairement les critères de l’évaluation ................................................................................ 50 a) LES CRITÈRES RELATIFS À L’ÉVALUATION DES PERFORMANCES DES PERSONNES ........................................................ 51 Critères d’appréciation et de correction .............................................................................................51 Critères de réussite et de délibération ...............................................................................................52 Critères comportementaux .............................................................................................................52 Critères de sélection .....................................................................................................................52 Critères d’orientation ....................................................................................................................52 Critères minimaux et critères de perfectionnement ..............................................................................53

b) L’ÉVALUATION D’UNE ACTION, D’UN FONCTIONNEMENT OU D’UN SYSTÈME ................................................................. 53 Critères d’efficacité ......................................................................................................................53 Critères de qualité du fonctionnement ..............................................................................................54 Critères de satisfaction ..................................................................................................................54 La notion d’indicateur ...................................................................................................................56

Étape 3 : déterminer les informations à recueillir ........................................................................................... 57 Étape 4 : déterminer une stratégie de recueil d’informations ........................................................................... 58

205

Table des matières

Étape 5 : recueillir l’information de façon fiable ............................................................................................ 58 Étape 6 : confronter informations recueillies et critères posés .......................................................................... 59 Étape 7 : donner du sens et formuler les conclusions de façon claire et précise .................................................. 59 2.2.2 Pertinence, validité et fiabilité ................................................................................................................ 60 A. Six questions-clés ................................................................................................................................. 60 B. Une septième question ......................................................................................................................... 61 2.2.3 Définition opérationnelle de l’évaluation ................................................................................................ 63

2.3 Le processus de recueil d’informations par rapport au processus d’évaluation ................................ 65 2.3.1 Processus d’évaluation .......................................................................................................................... 66 2.3.2 Processus de recueil d’informations ....................................................................................................... 67

2.4 Le processus de mesure par rapport aux processus de recueil d’informations et d’évaluation .... 69 2.4.1 Définition de la mesure .......................................................................................................................... 69 A. B. C. D.

La notion de variable ............................................................................................................................ 69 Variable continue et variable discrète ...................................................................................................... 69 Modalités d’une variable ....................................................................................................................... 70 Les différents types de mesures ............................................................................................................. 70 1. 2. 3. 4.

Les mesures nominales ............................................................................................................................. Les mesures ordinales .............................................................................................................................. Les mesures d’intervalles .......................................................................................................................... Les mesures de rapport .............................................................................................................................

70 71 71 71

E. Variables dépendantes et variables indépendantes .................................................................................... 72

2.4.2 Le processus de mesure au service du processus de recueil d’informations ......................................... 72

CHAPITRE 3 LE PROCESSUS DE RECUEIL D’INFORMATIONS AU SERVICE DU PROCESSUS DE RECHERCHE............................................................................. 75

3.1 Le processus de recherche ........................................................................................................................... 75 3.1.1 Fonctions des processus de recherche .................................................................................................... 75 3.1.2 Définition de la recherche ...................................................................................................................... 76

3.2 Les différents types de recherche .............................................................................................................. 78 3.2.1 La recherche scientifique ........................................................................................................................ 79 3.2.2 3.2.3 3.2.4 3.2.5 3.2.6 3.2.7 3.2.8

A. La recherche scientifique fondamentale ou de laboratoire ........................................................................... 81 B. La recherche scientifique sur le terrain ..................................................................................................... 82 La recherche de développement, ou recherche technologique ................................................................. 82 La recherche opérationnelle et la recherche évaluative ........................................................................... 83 A. Recherche opérationnelle ...................................................................................................................... 83 B. Recherche évaluative ............................................................................................................................ 83 La recherche-action ................................................................................................................................ 84 La recherche (scientifique ou technologique) exploratoire ...................................................................... 85 La recherche descriptive ......................................................................................................................... 86 La recherche spéculative ........................................................................................................................ 87 Synthèse des différents types de recherches .......................................................................................... 87

3.3 Les critères de qualité d’une recherche .................................................................................................... 90 3.4 Recherche et évaluation .............................................................................................................................. 91 3.4.1 La motivation de l’investigateur ............................................................................................................. 92 3.4.2 Les objectifs de l’investigation ............................................................................................................... 92

206

Méthodologie du recueil d’informations

3.4.3 3.4.4 3.4.5 3.4.6

Le rôle de l’explication .......................................................................................................................... 92 Les propriétés des phénomènes qui sont énoncés .................................................................................. 92 L’« universalité » des phénomènes étudiés en termes de généralisabilité .......................................... 92 L’évidence (« salience ») de la question de valeur ................................................................................. 93

3.5 Le processus de recherche par rapport aux processus d’évaluation, de contrôle, de mesure et de recueil d’information ..................................................................................................... 95

CHAPITRE 4 FONCTIONS ET CHAMPS D’APPLICATION DU RECUEIL D’INFORMATIONS

.......... 103

4.1 Les principales fonctions du recueil d’informations ............................................................................. 103 4.1.1 La fonction prédictive ........................................................................................................................... 104 4.1.2 La fonction de régulation ..................................................................................................................... 105 4.1.3 La fonction formative ........................................................................................................................... 105 4.1.4 La fonction certificative ........................................................................................................................ 105 4.1.5 La fonction prévisionnelle .................................................................................................................... 106 4.1.6 La fonction prospective ........................................................................................................................ 106 4.1.7 La fonction de contrôle de qualité ........................................................................................................ 107 4.1.8 La fonction descriptive ......................................................................................................................... 107 4.1.9 La fonction heuristique ......................................................................................................................... 108 4.1.10 La fonction de vérification .................................................................................................................... 108 4.1.11 La fonction de développement .................................................................................................. 108

4.2 Description des principaux champs d’application du recueil d’informations ................................... 108 4.3 Caractérisation et classement des champs d’application ..................................................................... 113 4.3.1 Critère 1 : Le degré de généralisabilité recherché est-il important ? ...................................................... 113 4.3.2 Critère 2 : Quel est le degré d’urgence de l’étude et des effets attendus ? .......................................... 114

CHAPITRE 5 TYPOLOGIES DU RECUEIL D’INFORMATIONS

......................................................................... 117

5.1 Paramètres généraux et paramètres spécifiques ................................................................................. 117 5.2 Établissement des paramètres caractérisant une stratégie de recueil d’informations ................... 118 5.3 Les acteurs de l’investigation ................................................................................................................... 119 5.3.1 Définition des différents acteurs ................................................................................................ 119 A. B. C. D. E. F.

Le commanditaire .............................................................................................................................. 120 L’initiateur ........................................................................................................................................ 120 Le gestionnaire .................................................................................................................................. 122 L’investigateur ................................................................................................................................... 122 Le destinataire .................................................................................................................................. 123 Le bénéficiaire ................................................................................................................................... 123 5.3.2 Recueil libre et contrôlé ........................................................................................................................124

5.4 L’objet du recueil d’informations ............................................................................................................. 124 5.4.1 Faits et représentations ....................................................................................................................... 125 5.4.2 Recueil d’informations attributif ou narratif .......................................................................................... 131

5.5 Le degré de guidage du recueil d’informations .................................................................................... 132 5.5.1 Situation créée et naturelle ...................................................................................................... 132

Table des matières

207

5.5.2 Situation manipulée et non manipulée ....................................................................................... 133 A. B. C. D.

Questionnaire .................................................................................................................................... 133 Interview .......................................................................................................................................... 134 Étude de documents ........................................................................................................................... 134 Observation ...................................................................................................................................... 135 5.5.3 L’inférence ............................................................................................................................ 139

5.6 Le référentiel de l’investigateur ............................................................................................................... 142 a. b. c. d.

Questionnaire ........................................................................................................................ 143 Interview ............................................................................................................................... 144 Étude de documents ............................................................................................................... 144 Observation ........................................................................................................................... 144

5.7 Les procédures mises en œuvre .............................................................................................................. 144 a. b. c. d.

Questionnaire ........................................................................................................................ 145 Interview ............................................................................................................................... 145 Étude de documents ............................................................................................................... 147 Observation ........................................................................................................................... 147

5.8 La dimension temporelle du recueil d’informations ............................................................................. 150 a. b. c. d.

Questionnaire .......................................................................................................................................150 Interview ..............................................................................................................................................150 Étude de documents .............................................................................................................................151 Observation ..........................................................................................................................................151

5.9 Synthèse des paramètres .......................................................................................................................... 151

CHAPITRE 6 MÉTHODOLOGIE GÉNÉRALE DU RECUEIL D’INFORMATIONS

.................................... 155

6.1 Les différentes phases d’une investigation ............................................................................................ 155 6.2 L’élaboration d’un outil d’investigation ................................................................................................. 155 6.2.1 Introduction ........................................................................................................................... 155 Étape 1 : Recueil d’informations libre (observation, questionnaires, entretiens) pour se familiariser avec le domaine, la situation, les personnes ............................................................................... 157 Étape 2 : Enregistrement d’un matériel comportemental suffisamment étendu ................................. 158 Étape 3 : Premier tri des indicateurs .......................................................................................... 158 Étape 4 : Premier tri parmi les méthodes de recueil d’informations susceptibles d’être envisagées en termes de pertinence .......................................................................................................... 159 Étape 5 : Revue critique de la littérature scientifique dans le domaine et contacts avec des spécialistes chercheurs et praticiens .............................................................................. 159 Étape 6 : Construction (ou choix) d’un cadre théorique et conceptuel ............................................. 159 Étape 7 : Ajustements et approfondissements des démarches empiriques en fonction de l’étape précédente ........................................................................................................ 161 Étape 8 : Spécification des composantes de la situation à étudier ou de la définition du concept à observer ............................................................................................................. 161 A. Pour une investigation ponctuelle ......................................................................................................... 161 B. Pour une investigation expérimentale .................................................................................................... 162 Étape 9 : Choix des indicateurs susceptibles d’être explorés .......................................................... 163

208

Méthodologie du recueil d’informations

Étape 10 : Choix et construction d’un (ou de plusieurs) instrument(s) suffisamment pertinent(s), valide(s) et fiable(s) ............................................................................................... Étape 11 : Entraînement des personnes chargées de recueillir l’information, standardisation et ajustements de l’instrument .................................................................................. Étape 12 : Expérience de validation .......................................................................................... 6.2.2 Conclusion ............................................................................................................................

163 164 164 164

6.3 La validation du processus de recueil d’informations ............................................................. 165 6.3.1 Ce qu’est une validation d’un recueil d’informations .................................................................... 165 A. Une vérification de la pertinence des informations à recueillir .................................................................... 165 B. Une vérification de la validité des informations ....................................................................................... 167 C. Une vérification de la fiabilité des procédures de recueil des informations ................................................... 168 6.3.2 Validation a priori et validation a posteriori ................................................................................. 170 6.3.3 La validation a priori d’un outil de recueil d’informations .............................................................. 171 A. Une vérification de la pertinence des informations à recueillir à travers l’outil .............................................. 171 B. Une vérification de la validité de l’outil utilisé ......................................................................................... 171 1. La validité interne de l’outil ..................................................................................................................... 172 2. La validité externe de l’outil .................................................................................................................... 172

C. Une vérification de la fiabilité des procédures de recueildes informations à l’aide de l’outil ............................ 173 1. 2. 3. 4. 5. 6.

L’accord notation-renotation .................................................................................................................... L’accord inter-notateurs ........................................................................................................................... L’accord intra-notateur ............................................................................................................................ L’accord inter-staff ................................................................................................................................. L’accord intra-staff ................................................................................................................................. L’accord notateur-protocole critère ............................................................................................................

173 173 174 174 174 174

D. L’homogénéité d’un outil de recueil d’informations ................................................................................. 175

6.3.4 La validation a posteriori d’un recueil d’informations .................................................................... 175 A. Les informations recueillies sont-elles nécessaires et suffisantes (en qualité et en quantité) en regard de l’objectif ? ..................................................................................................................... 176 1. L’information n’est-elle pas redondante, ou contenue dans une autre information ? ......................................... 177 2. Est-elle suffisamment complète ? ............................................................................................................. 177

B. L’information est-elle valide ?............................................................................................................... 178 C. L’information est-elle fiable ? .............................................................................................................. 179 6.3.5 La transférabilité .................................................................................................................... 181

6.4 La présentation des informations ............................................................................................................ 182 6.5 Le traitement des résultats ........................................................................................................................ 183 EN GUISE DE CONCLUSION .............................................................................................................. 185

L’observation, un processus créatif ......................................................................................................... 185 L’observation, un processus marqué par l’incomplétude .................................................................... 186 L’observation, un processus marqué par la nécessité d’un contrôle ................................................. 187 Les dispositifs de recueil d’informations : des points communs dans la diversité .......................... 187

ANNEXE : VÉRIFICATION DE LA FIABILITÉ .......................................................................................189 BIBLIOGRAPHIE

.............................................................................................................................................193

INDEX ...................................................................................................................................................................199

Méthodologie du recueil d’informations  Recueil d’informations : fonctions, caractéristiques, typologies, champs d’application et principales méthodes (observation, questionnaire, interview et étude de documents)  Processus d’évaluation : caractéristiques, types, étapes…  Processus de recherche : fonctions, types, critères de qualité…  Méthodologie du recueil d’informations : élaboration d’un outil d’investigation, présentation des informations, traitements des résultats… Jean-Marie De Ketele

Docteur en psycho-pédagogie, chercheur et professeur émérite de l’Université catholique de Louvain, il exerce des fonctions dans des associations scientifiques ainsi que dans les comités scientifiques ou de rédaction de nombreuses publications scientifiques. Consultant international, il a créé la Chaire UNESCO en Sciences de l’Éducation de Dakar.

Xavier Roegiers

À la fois ingénieur et docteur en sciences de l’éducation, il est professeur à l’Université catholique de Louvain. Il intervient auprès des systèmes éducatifs de plusieurs pays comme expert international  en curriculums d’études et de formation, ainsi qu’en évaluation. Il collabore avec l’UNICEF, l’UNESCO, l’OIF, et est le président du BIEF.

BIEF (www.bief.be)

Bureau d’Ingénierie en Éducation et en Formation, ses activités principales portent sur l’analyse des besoins, l’évaluation de systèmes éducatifs et de systèmes de formation, l’élaboration de stratégies et la construction de scénarios d’action, la conception d’outils pédagogiques.

ISBN 978-2-8073-0037-8 ISSN 1373-0231

Dans le cadre du nouveau Système Européen de Transfert de Crédits (E.C.T.S.), ce manuel couvre en France les niveaux : Master 1-2, Doctorat. En Belgique Master 1-2, Doctorat En Suisse Master, Doctorat Au Canada Maîtrise, Doctorat

www.deboecksuperieur.com

L M 1-2 D