1. Introduction

Cette communication pour la Journée d’étude intitulée « Comment intégrer de façon différenciée la traduction automatique neuronale (TAN/NMT) aux pratiques pédagogiques de l’enseignement de la traduction technique, audio-visuelle, littéraire… ? » de l’Université d’Orléans a son origine dans ma recherche doctorale accomplie par une thèse soutenue en 2023 au Conservatoire national des arts et métiers (Cnam), durant laquelle j’ai travaillé sur l’usage des traducteurs automatiques dans la compréhension d’un texte en anglais, par les élèves ingénieurs. L’objectif de ma thèse de doctorat était de comparer les résultats de l’analyse des traductions faites avec ou sans les traducteurs automatiques de deux types de texte : un d’anglais général, et l’autre de nature technique de type datasheet. Dans le cadre de cette présentation, je retiendrai ici uniquement le travail concernant le texte de nature technique.

Cette recherche s’inscrit dans un contexte sociétal dans lequel l’usage des traducteurs automatiques est une question vive (BOBILLIER CHAUMON, 2023). En outre, la formation en alternance, qui combine l’apprentissage dans le milieu académique et sur le lieu du travail, représente également un enjeu crucial actuellement (BANK, 2019 ; ZOUANI-DENOUX & MAZALON, 2019).

En tant qu’enseignante d’anglais et également responsable pendant 4 ans de la coordination des langues à l’antenne alternance de l’école d’ingénieurs du Cnam (EiCnam), j’ai pris conscience de l’intérêt d’explorer l’usage des outils de traduction automatique par les élèves ingénieurs dans le cadre de leur apprentissage de l’anglais.

Cela corrobore ce qui est prôné pour le volet recherche dans le domaine des Sciences Humaines et Sociales (SHS) au sein même des écoles d’ingénieurs. En effet, les compétences recherchées sur le marché de l’emploi aujourd’hui ne se limitent plus à des compétences techniques pour les ingénieurs. Leur formation se doit d’intégrer aussi l’innovation (LEMAITRE, 2007, 2014, 2018, 2019). Dans ce contexte, formation et recherche se conjuguent et c’est ainsi que je me suis positionnée sur ce créneau en intégrant ces outils à la formation tout en l’explorant pour ma recherche doctorale.

L’objet de recherche porte sur l’usage des traducteurs automatiques par des élèves ingénieurs en alternance, à des fins de compréhension de textes dans la mesure où dans le cadre de leur formation académique comme lorsqu’ils sont en entreprise, ils sont souvent amenés à lire et à comprendre des textes supports en anglais, textes plus ou moins spécialisés (SARRE, 2018, 2021).

J’ai pu constater dès mon arrivé à l’EiCnam, que les élèves faisaient un usage « buissonnier » (BOURDAIS, 2021) des outils de traduction automatique au moyen de leur téléphone portable notamment. Dans la continuité de la littérature du domaine, à la fois côté linguistique appliquée et côté SHS pour les Sciences de l’Ingénieur, ma recherche explore l’usage des outils de traduction automatique dans la pratique de l’apprentissage de l’anglais avec des élèves ingénieurs en alternance, domaine peu observé pour l’heure.

La problématique dégagée est que, si comprendre un écrit en anglais L2 correspond à un besoin chez les élèves ingénieurs en alternance, le recours aux outils de traduction automatique pourrait laisser supposer que développer leur compréhension de l’écrit en L2 n’est plus utile puisqu’il suffirait d’utiliser un traducteur automatique et donc de lire et de comprendre dans sa langue.

Nous posons au contraire que cela est nécessaire compte tenu, d’une part, d’une possible méconnaissance des principes de fonctionnement des outils de traduction automatique par les apprenants et, d’autre part, compte tenu des limites des outils de traduction automatique (malgré les progrès dans le secteur de la haute technologie).

Pour cette recherche, je me suis appuyée sur des travaux de recherche, d’une part, dans le domaine des études sur les Langues pour spécialistes d’autres disciplines (LANSAD) et sur l’anglais de spécialité (ASP), d’autre part, sur les outils de traduction automatique et leurs caractéristiques, ainsi que sur la place de l’anglais dans la formation des ingénieurs et leur processus de professionnalisation.

J’ai intégré les travaux de E. Bernhardt (BERNHARDT, 2011) dont le modèle compensatoire révèle les composantes qui entrent en jeu dans la compréhension : la littératie en L1 (à hauteur de 20 %), les connaissances de la L2 à hauteur de 30 %, et les autres connaissances dont celles du domaine de spécialité à hauteur de 50 %. Il rappelle les liens entre L1 et L2 tandis que les sciences cognitives soulignent que la L1 reste active durant le traitement de la L2 et que le passage par un équivalent en L1 caractérise les premiers stades de l’apprentissage de la L2 (SUNDERMAN & KROLL, 2006 ; ROUSSEL, 2021).

L’usage des outils de traduction automatique pourrait donc servir davantage les élèves les plus faibles : en facilitant les processus de bas niveau, les ressources attentionnelles peuvent être libérées et consacrées aux processus de haut niveau (TARDIEU, 2021, 94) pour établir les liens porteurs de sens, c’est-à-dire les relations qui existent entre la lecture d’un texte et sa compréhension en passant par différents niveaux d’analyse linguistique. En effet, sachant que le lexique joue un rôle clé dans la compréhension (LAUFER, 1989 ; HU HSUEH-CHAO & NATION, 2000) et que le degré d’automaticité des compétences lexicales en L2 est moindre chez des élèves de niveau faible que de niveau avancé (SEGALOWITZ & GATBONTON, 1995 ; ROUSSEL, 2021), les outils de traduction automatique pourraient permettre aux élèves les plus faibles de se centrer sur les liens porteurs de sens plutôt que sur le décodage du lexique inconnu.

2. Hypothèse et questions de recherche

Notre hypothèse est la suivante :

une mise en action des élèves ingénieurs utilisant les outils de traduction automatique, sous-tendue par une posture réflexive, est susceptible de contribuer à la compréhension de l’écrit chez ces apprenants.

Nos questions de recherche (QR) qui découlent du cadre théorique adopté et du contexte sont les suivantes :

• QR 1 : Quel usage les élèves ingénieurs font-ils des outils de traduction automatique à des fins de lecture-compréhension d’un « texte » en anglais ? Cet usage est-il évolutif ?

• QR 2 : Leur usage contribue-t-il à leur compréhension de l’écrit en anglais L2 ?

• QR 3 : Y-a-t-il une différence selon le niveau en anglais des élèves ingénieurs ?

3. Matériel et méthodes

Afin de tester notre hypothèse et apporter des éléments de réponse à nos questions de recherche, j’ai mené une expérimentation avec les élèves de l’EiCnam inscrits dans mes cours, me positionnant ainsi sur le plan méthodologique dans une logique de recherche-action prônée pour les SHS au sein des écoles d’ingénieurs (ADAM & COCO, 2018).

Une pré-expérimentation a été menée sur l’année académique 2019-2020 avec un groupe d’élève de DUT 1 pendant 1 semestre. Les résultats ont été publiés dans un article sur la plateforme du laboratoire, Crfhypothèses (RUCART-RUS, 2022). L’expérimentation a été menée sur une année académique, 2020-2021, (en l’occurrence pendant la période Covid) avec le même groupe d’élèves (n=24), de niveau A2 à C1 (selon le CECRL) inscrits dans mon cours.

Parmi ce groupe de 24 élèves participants à l’expérimentation, 10 sont en section Mécanique (MECA1) et 14 en section Matériaux (MTX1).

Les niveaux ont été définis par des tests TOEIC blancs pendant la première séance, en fonction du score obtenu en Reading lors du passage du test de placement : 3 élèves ont obtenu le niveau C1, 5 élèves ont obtenu le niveau B2, 9 élèves ont obtenu le niveau B1, et 7 élèves ont obtenu le niveau A2. Puis, les élèves ingénieurs ont renseigné un questionnaire initial qui a permis de recueillir des informations relatives à leur biographie langagière et à leur usage déclaré des outils de traduction automatique. Ensuite, en début et en fin d’année, ils ont été soumis à deux textes à traduire.

Les deux textes ont été choisis selon deux critères :

• une thématique en lien avec les intérêts des élèves ingénieurs. Le premier traite des courriels au travail, situation qui corrobore le mode communicationnel dans le cadre de leur stage en entreprise. Le second est une fiche technique correspondant aux besoins des ingénieurs et suggérée par une enseignante-chercheuse, responsable de filière ;

• une catégorisation selon la terminologie de Sarré (2018, 2021).

Nous avons tronqué les textes originaux, dans le respect du sens, afin que la tâche puisse être effectuée dans le temps imparti, parce que l’on se situe dans une recherche-action avec des élèves ingénieurs de 1^re année, qui viennent pour la plupart d’obtenir un baccalauréat général, épreuve pour laquelle ils travaillent sur des textes relativement courts. Le contexte a donc été déterminant mais il a peut-être introduit un biais.

Voici les trois tâches proposées :

Tâche 1 :

• Traduire le premier paragraphe du texte sans traducteur automatique

• Adapter cette traduction à l’aide d’un traducteur automatique (choisi par l’élève)

• Comparer les deux versions (selon l’appréciation de l’élève).

Tâche 2 :

• Traduire le deuxième paragraphe du texte avec un traducteur automatique (choisi par l’élève)

• Réviser cette traduction en fonction de ses connaissances personnelles

• Identifier les éventuels apports et les éventuelles erreurs dans la traduction automatique.

Tâche 3 :

• Traduire le troisième paragraphe du texte sans traducteur automatique

• Traduire le troisième paragraphe du texte avec traducteur automatique (choisi par l’élève)

• Comparer les deux versions (selon l’appréciation de l’élève).

Concernant l’élaboration et la pertinence de ces tâches, je voudrais rappeler ici :

• que les élèves étaient libres de choisir le traducteur de leur choix, afin d’explorer leur usage et l’évolution de ce dernier

• qu’elles avaient été élaborées en fonction de l’observation d’élèves lors de la pré-expérimentation

• qu’elles devaient permettre de déceler une différence selon que les élèves traduisaient directement avec l’outil de TA (Tâche 2) ou non (Taches 1 et 3), la tâche 1 et la tâche 3 représentant les deux volets d’une même pièce, en vue de repérer si les élèves s’intéressent davantage aux mots qu’aux énoncés complets, auquel cas il importe de les amener à une réflexion sur les principes de fonctionnement de la langue et des traducteurs automatiques.

Les tâches 1 et 3 permettent ce repérage parce que, tout d’abord, dans la première activité de ces deux tâches, les élèves traduisent un paragraphe du texte sans outils de traduction automatique, ce qui révèle leur stratégie spontanée de traduire « mot à mot », ou en reformulant le sens global. Puis, les élèvent doivent adapter (pour la tâche 1) / traduire (pour la tâche 3) le même paragraphe en utilisant un traducteur automatique de leur choix. Cette deuxième activité permette d’observer si la machine privilégie une traduction « mot à mot », ou plutôt le sens global. Ensuite les élèves comparent ces deux traductions en essayant de réfléchir sur les différences et similitudes de ces traductions, aux nuances et au sens de l’énoncé, ou si la traduction avec ou sans la machine est trop littérale.

J’ai ensuite choisi de traiter leurs traductions au moyen d’une grille d’analyse. Le choix était d’autant plus crucial que l’on se situe dans une recherche-action, elle devait donc permettre d’identifier avec rigueur les types d’erreurs afin de mesurer les effets de l’usage des outils de TA. La grille TRASILT (TOUDIC, HERNANDEZ MORIN, MOREAU, BARBIN & PHUEZ, 2014) émanant du groupe de recherche en Traduction spécialisée, Ingénierie linguistique et terminologique de l’Université Rennes 2 présentait, selon moi, l’avantage d’intégrer non seulement les causes mais aussi les effets. Cette grille est tridimensionnelle : elle comprend 9 types d’erreurs (Sens, Grammaire/Syntaxe, Orthographe/Typographie, Terminologie, Phraséologie, Style, Omission/Addition, Localisation, PAO), 4 types d’effet (Précision, Lisibilité, Fonctionnalité, Conformité), et le niveau de gravité de l’effet induit par l’erreur constatée : pas d’effet = 0, effet mineur = 1, effet majeur = 2, erreur critique = 3. Cette grille est ainsi très adaptée au contexte de cette recherche et présente une plus-value à plusieurs niveaux. Flexible, adaptable et dynamique, elle permet à l’évaluateur de privilégier un aspect particulier (par exemple le critère PAO est de moindre importance que celui du Sens pour nous). Elle sied également au public concerné, dont les objectifs d’apprentissage sont essentiellement à visée pragmatique, dans la mesure où elle met aussi l’accent sur l’effet de l’erreur produite et pas seulement sur l’erreur en soi. Enfin, elle pourrait être utilisée par les apprenants eux-mêmes pour les aider à développer un recul réflexif sur la qualité des traductions produites avec ou sans traducteurs automatiques ; notre objectif pédagogique étant, non pas de former les élèves à être de futurs traducteurs mais à comprendre le sens d’un texte le plus précisément possible afin de limiter les sources de malentendus, en particulier sur leur lieu de travail.

Cela est en phase avec les besoins de ces élèves, engagés dans un cursus professionnel. Nous nous sommes concentrés sur les erreurs directement liées à la compréhension (à savoir Sens et Omission). Si l’on considère avec Hurtado Albir (HURTADO ALBIR, 1995) que les erreurs de traduction peuvent être classées en trois domaines : la compréhension du texte de départ, l’expression dans la langue d’arrivée, et l’aspect fonctionnel (fonction prioritaire du texte de départ), nous retiendrons ici que les erreurs de sens et omission/addition relèvent de la compréhension du texte de départ; les erreurs de terminologie, phraséologie, grammaire/syntaxe, orthographe/typologie, et style relèvent de la maîtrise de la langue d’arrivée (dans notre cas le français) ; les erreurs de localisation et de PAO relèvent de l’aspect fonctionnel. Par conséquent, nous nous focaliserons sur les critères de Sens et d’Omission/Addition pour étudier l’effet sur la compréhension.

En fin, je soulignerai que j’ai traité les résultats à la fois sur un plan collectif et individuel comme l’expriment notamment Bestgen et Granger :

If many SLA researchers argue that second language acquisition is characterized by a high degree of variability, and therefore that exploring the language learning process at the individual level is essential (although it raises questions about the generalizability of the findings), in fact, the results of groups of learners as well as those of more fine-grained individual analysis can be viewed as complementary. (BESTGEN & GRANGER, 2018)

Pour cette présentation, je considère uniquement les résultats du traitement d’un texte en « anglais sur objectifs professionnels spécifiques », que je compare pour l’ensemble du groupe, et que j’affine au niveau individuel pour tenter de repérer s’ils ont développé un recul réflexif.

Tout d’abord j’ai calculé les moyennes d’erreurs par élève (pour cent mots) et variation en %. Les moyennes du nombre d’erreurs permettent de comparer les activités des différentes tâches indépendamment du nombre de mots dans le texte source. Les pourcentages permettent de comparer la variation entre les valeurs Tâche1Activité1/Tâche1Activité2, Tâche2Activité1/Tâche2Activité2, et Tâche3Activité1/Tâche3Activité2.

Globalement nous constatons une diminution des erreurs entre les deux activités des trois tâches : Tâche 1 : - 62 % ; Tâche 2 : - 58 % ; Tâche 3 : - 78 %.
Pour le volet compréhension, en nous focalisant sur les colonnes Sens et Omission/Addition, nous calculons la moyenne d’erreurs de Sens et Omission/Addition par élève (pour cent mots) et variation en %, puis nous avons également mesuré le niveau de gravité de l’effet qu’elles produisent sur la Précision.

À la lecture des résultats globaux pour les types d’erreurs Sens et Omission/Addition (liées à la compréhension), pour le texte « anglais sur objectifs professionnels spécifiques » nous constatons d’abord qu’il y a une baisse constante ou une stagnation des erreurs entre l’activité 1 et l’activité 2 de chaque tâche.

Nous constatons aussi que les élèves ingénieurs de niveau A2 – niveau intermédiaire selon le CECRL – commettent plus d’erreurs de sens ayant un effet sur la précision. En revanche, les élèves ingénieurs de niveau C1 – niveau avancé selon le CECRL – commettent plus d’erreurs d’Omission /Addition ayant un effet sur la précision, en les comparant avec les élèves ingénieurs des autres niveaux (les élèves de niveau A2 les suivant de près).

4. Résultats

Les résultats les plus saillants que j’ai pu dégager, sont les suivants :

En réponse à la QR 1, « Quel usage les élèves ingénieurs font-ils des outils de traduction automatique à des fins de lecture-compréhension d’un “texte” en anglais ? Cet usage est-il évolutif ? », et à la QR 3, « Y-a-t-il une différence selon le niveau en anglais des élèves ingénieurs ? » je rappellerai tout d’abord que le questionnaire initial m’a permis de recueillir les usages déclarés, et l’expérimentation les usages avérés.

Concernant les usages déclarés on remarque que plus le niveau est élevé en anglais, moins les élèves déclarent qu’ils font appel à un traducteur automatique, ce qui est logique. Plus surprenant, c’est aussi que les élèves les plus faibles (niveau A2) le font pareil. On peut émettre l’hypothèse que ces élèves utilisent des stratégies de contournement pour éviter d’avoir à lire et traduire des textes en anglais.

Au niveau global j’ai constaté que les outils les plus utilisés par les élèves tous niveaux confondus sont par ordre décroissant Reverso, puis Google Trad. et DeepL, indépendamment du type de textes. Cela corrobore l’usage déclaré. Au niveau individuel on remarque qu’entre ce qui a été déclaré dans le questionnaire initial et ce qui a été avéré concernant les outils de traduction automatique utilisés pour effectuer les tâches de traduction, le choix des élèves évolue. Plus précisément on note que les élèves ingénieurs de niveau A2 en anglais sont ceux qui font le plus évoluer le choix de leurs outils sur le temps de l’expérimentation.

Notre étude confirme ainsi une conclusion de la recherche portée par Nino (NINO, 2020) sur l’usage des outils de traduction automatique qui montre que les étudiants de niveau intermédiaire en anglais varient beaucoup dans leur choix d’outils de traduction automatique pour résoudre une tâche de traduction de l’anglais vers leur langue maternelle.

Mais je voudrais préciser ici que si les élèves de niveau A2 diversifient davantage leur choix et sollicitent un panel plus varié, on ne sait si cela est-ce dû à une plus grande insécurité dans la langue et/ou dans l’utilisation de l’outil.

En réponse à la QR 2, « Leur usage contribue-t-il à leur compréhension de l’écrit en anglais L2 ? », et QR 3, « Y-a-t-il une différence selon le niveau en anglais des élèves ingénieurs ? », j’ai mis en évidence une disparité des résultats obtenus en fonction du niveau des élèves ingénieurs et de la nature des textes : les élèves ingénieurs de niveau intermédiaire, A2, en utilisant les traducteurs automatiques de leur choix, améliorent leur compréhension des textes écrits en « anglais sur objectifs professionnels spécifiques » de type datasheets. Ce bénéfice obtenu par les élèves de niveau A2 s’avère être de moindre mesure pour les élèves de niveau avancé, C1.

Plus précisément, j’ai constaté que l’usage des outils de traduction automatique aide les élèves ingénieurs sur le plan lexical, surtout ceux de niveau A2 mais aussi ceux de niveau C1 pour un texte en « anglais sur objectifs professionnels spécifiques » de nature technique.

J’en ai déduit que les élèves avancés en anglais n’étaient pas nécessairement ceux avancés dans le domaine de spécialité concerné. Ici je peux faire référence à Bernhardt (BERNHARDT, 2011). Si 50 % repose sur les connaissances du domaine, il se pourrait que les élèves y compris de niveaux C1 en anglais n’aient pas assez de connaissances techniques pour comprendre, d’autant qu’il s’agit d’élèves en première année. Il aurait été utile de tester au préalable le niveau dans le domaine technique (et pas seulement celui de l’anglais).

Nos résultats nous permettent également d’avancer que le développement d’une posture réflexive permettrait aux élèves de niveau intermédiaire (A2) de travailler sur le sens du texte dans sa globalité, dans la mesure où ils ont tendance à se focaliser davantage sur les mots. D’ailleurs, le fait qu’ils utilisent majoritairement Reverso pourrait s’interpréter comme dans le prolongement de l’usage qu’ils faisaient d’un dictionnaire pour aller vérifier le sens de mots dans le cadre de leur formation dans l’enseignement secondaire. Ceci interroge par conséquence la formation, y compris celle des enseignants de langues.

5. Discussion

Les résultats obtenus à la suite de l’analyse globale et détaillée tendent ainsi à confirmer notre hypothèse.

Toutefois, je suis bien consciente que ma recherche comporte des limites :

• Tout d’abord mon positionnement en tant qu’enseignante de ces deux sections (Mécanique et Matériaux), susceptible d’introduire un biais. J’ai cependant veillé à objectiver les résultats en traitant les données au moyen de la grille TRASILT issue de la recherche.

• La généralisation de nos résultats est issue de notre recherche-action ; nous avons ici procédé à une comparaison sur la base de l’échantillon réduit dont nous disposions.

Au lieu d’analyser la traduction finie, en repérant et comptabilisant les erreurs comme nous l’avons fait, nous aurions pu mettre la focale sur le processus. Nous avions d’ailleurs envisagé la possibilité de le faire avec des textes numériques et avions testé l’outil de eye tracking pour repérer/tracer leur processus de lecture. Nous aurions dans ce cas complété le recueil des données avec un protocole think aloud ou avec des entretiens d’auto-confrontation si nous les avions filmés, pour qu’ils s’expriment sur leur manière de procéder.

Nous n’avons pas retenu cette option pour des raisons pratiques et les circonstances ont fait que matériellement nous aurions été empêchés de le faire. Mais c’est là une piste prometteuse.

J’ajouterai que nous pourrions procéder ainsi en entreprise, et de ce fait avec des textes utilisés en situation réelle. Dans ce cas, nous ne proposerions pas de tâches comme nous l’avons fait. L’analyse pourrait alors concerner non pas le comptage d’erreurs, mais ce qui est compris au moyen des outils de TA à des degrés divers et comment cela se traduit en acte sur le lieu de travail. Cela reviendrait à faire le choix de la didactique professionnelle qui permet d’analyser l’action sur le terrain même de l’entreprise.

6. Conclusion

Pour conclure, nous soulignerons les apports de notre recherche sur le plan théorique, puisque nous avons montré que les élèves de niveau A2 & C1 avaient amélioré leur compréhension au moyen des outils de traduction automatique pour un texte en « anglais sur objectifs professionnels spécifiques ». Les apports se situent également au niveau de l’enseignement-apprentissage des langues dans un contexte numérique de formation puisque on est amené à penser à l’accompagnement des élèves. Cela s’inscrit dans les principes de la recherche-action.

J’aimerais aussi souligner que ce travail ouvre sur de nouvelles pistes de recherche et de nouvelles hypothèses :

• S’attacher davantage au processus et à la prise en compte des variables individuelles.

• Mener une réflexion sur la formation des étudiants et des enseignants de L2 à se servir au mieux des outils numériques.

• Enfin, l’arrivée de ChatGPT questionne son usage en classe de langues, et questionne même l’apprentissage des langues, entre autres, ce qui ouvre des pistes de recherche et de formation. Il y va de ma responsabilité en tant que chercheure et de ma responsabilité sociale d’explorer les modifications significatives des enjeux éducatifs que ChatGPT est susceptible d’entraîner dans son sillage.