Nous présenterons notre article à la 15e Conférence du chapitre européen de l`Association pour la linguistique computationnelle le 5 avril. Ces phrases dans leur forme originale n`ont pas été annotées, mais chaque phrase a été classée, dans un effort de recherche antérieur, sur une échelle de 1 à 4 (moins à la plus grammaticalement correcte). Nous avons décidé de créer une nouvelle méthode d`évaluation qui se concentrerait sur les modifications de fluidité au lieu de modifications minimales uniquement. Au lieu d`instruire les annotateurs de classer les erreurs en utilisant des balises d`erreur spécifiques (comme dans l`approche de modification minimale), nous leur avons simplement demandé de corriger chaque phrase de sorte qu`il sonnait naturel. Ainsi, nous crowdsourcing 50 anglophones à travers Amazon Mechanical Turk pour annoter un ensemble de données. Nous avons appliqué notre système d`évaluation Fluency-Edit à quatre systèmes académiques de premier plan (AMU, NUS, CAMB16 et CAMB14 en les exécutant sur les phrases non grammaticales de ce jeu de données. Les erreurs grammaticales incluent des erreurs dans la syntaxe comme l`accord sujet-verbe. Ces phrases parallèles sont créées par des humains (comme les professeurs d`anglais), qui sont embauchés pour annoter (i. Centre Johns Hopkins pour le traitement de la langue et de la parole.
Jusqu`à présent, la communauté PNL a utilisé la norme de «corrections minimales d`édition, i. Et nous voulons fournir à la communauté PNL de meilleurs outils pour aider à faire progresser cet objectif. Ce poste a été écrit en collaboration avec Sunshine Yin, un ingénieur logiciel à Grammarly. Bien que la méthode de modifications minimales a l`avantage de concentrer le processus d`annotation, il est problématique car il existe de nombreuses façons de corriger une phrase, et parce que les modifications minimales souvent ne conduisent pas à des phrases de sondage naturel. Étonnamment, nous avons constaté que le système qui a été le meilleur à faire des modifications minimales, AMU, en fait, n`a pas de prix aussi élevé sur les modifications de fluidité. Joel est le directeur de la recherche de Grammarly, et Courtney et Keisuke sont à la fois Ph. La plupart des jeux de données existants ne contiennent qu`une ou deux références pour chaque phrase erronée (les références supplémentaires sont coûteuses à générer), et ces références ne contiennent que des modifications minimales. Ces corrections possibles sont appelées «références. En général, les annotateurs sont invités à modifier le moins possible les phrases pour les rendre grammaticalement corrects. Le texte intégral du document peut être trouvé ici. Pour cette évaluation, nous avions besoin d`un ensemble de données de modifications de la fluidité, qui n`existait pas.
Prenez la phrase suivante incorrecte: ils ont juste creat impression si bien que les gens sont glisser pour l`acheter. Une fois les annotations terminées, nous avons examiné 100 phrases de l`ensemble de données et les avons classées par types d`erreurs contenues dans les phrases. En utilisant l`approche «minimal Edit», la phrase serait corrigée à: ils créent juste une impression si bien que les gens sont traînés pour l`acheter. Les algorithmes de correction de phrase doivent être évalués par rapport à un jeu de données pour tester si l`algorithme fonctionne bien. On a demandé aux candidats d`éditer cinq phrases, que nous avons examinées manuellement. Le ”Fluency Edit” ressemblerait à quelque chose comme ceci: ils ont juste créer une telle bonne impression que les gens sont obligés de l`acheter. En particulier, environ 30% des corrections contenaient des modifications de la fluidité, et environ 60% contenaient seulement des modifications minimes, telles que des modifications au nombre de verbes de prépositions. Les erreurs orthographiques incluent des erreurs d`orthographe, de coupure de mots, de majuscules, de coupures de mot, d`accentuation et de ponctuation. Cependant, le problème avec cette approche est qu`une phrase grammaticalement correcte ne semble pas toujours naturelle à un locuteur natif. Nous avons demandé aux annotateurs de la foule de corriger ces phrases. Chaque phrase a été corrigée par quatre annotateurs, ce qui signifie que chaque phrase aurait quatre références.