Оценка качества учебного перевода на основе разметки по ошибкам: корпусный подход

Об авторах:

Куниловская Мария Анатольевна, кандидат филологических наук, доцент кафедры английской филологии и перевода, Институт филологии и журналистики, Тюменский государственный университет; mkunilovskaya@gmail.com

Ильющеня Татьяна Анатольевна, кандидат филологических наук, доцент кафедры английской филологии и перевода, Институт филологии и журналистики, Тюменский государственный университет; tatyana1223@mail.ru

Ковязина Марина Анатольевна, кандидат филологических наук, доцент кафедры английской филологии и перевода, Институт филологии и журналистики, Тюменский государственный университет; makovyazina@mail.ru

Аннотация:

Целью статьи является выработка технологии относительной оценки качества учебного перевода на основе статистики ошибок, результаты которой максимально согласуются с экспертной оценкой. Для достижения этой цели авторы описывают существующие подходы к оценке качества учебного перевода, разрабатывают и обосновывают собственную классификацию ошибок, предлагают ее техническую реализацию в виде системы их разметки, а также проводят многоэтапный лингвостатистический эксперимент, на результатах которого основано предлагаемое решение. Материалом исследования являются: 1) данные о результатах экспертной оценки качества 22 студенческих переводов, проведенной тремя независимыми экспертами по единой шкале баллов, а также 2) статистика переводческих ошибок, размеченных на этом же материале с использованием предлагаемой классификации ошибок и компьютеризированной системы их разметки. В ходе исследования экспериментальным путем устанавливается относительная значимость основных категорий переводческих ошибок и выстраивается алгоритм многоуровневого ранжирования переводов по их количеству как статистическая аппроксимация согласованной экспертной оценки. Авторы показывают, что наибольшей статистической согласованностью с мнением экспертов характеризуется рейтинг студенческих работ, выстроенный при последовательном учете следующих категорий ошибок: 1) критические, 2) смысловые и 3) общее количество ошибок. Разметка по ошибкам реализована как часть корпусного проекта и позволяет накапливать и автоматически обрабатывать статистические данные о свойствах учебного перевода и особенностях процесса оценки качества перевода. Такие данные используются как для лонгитюдных исследований, нацеленных на определение эффективности изменений в образовательной программе, так и для выявления общих и индивидуальных особенностей формирования переводческой компетенции студентов. Авторы излагают теоретические и дидактические основы предлагаемой системы как элемента электронной образовательной технологии, применяемой в обучении переводчиков и способствующей повышению их ответственности, самостоятельности и мотивированности.

Список литературы:

1. Гарбовский Н. К. Русский переводной дискурс: миф или реальность / Н. К. Гарбовский // Русский язык и культура в зеркале перевода / Материалы III Международной научно-практической конференции 25-29 апреля 2012 г. М.: Изд. Высшей школы перевода МГУ, 2012. С. 130-136.
2. Княжева E. A. О некоторых возможностях использования методов системного анализа в целях оценки качества перевода / Е. А. Княжева // Вестник ВГУ. Серия «Лингвистика и межкультурная коммуникация». 2015. № 3. С. 113-119.
3. Корпус студенческих переводов (RusLTC). URL: http://www.rus-ltc.org/about_ru
4. Костикова О. И. Дидактическая функция оценки перевода / О. И. Костикова // Русский язык в современном мире: традиции и инновации в преподавании русского языка как иностранного и в переводе / Материалы IV Международной научно-практической конференции 26 апреля — 1 мая 2013 г. М.: Изд. Высшей школы перевода МГУ, 2013. С. 422-429.
5. Леонтьева К. И. Дискурсивная онтология перевода: к обоснованию статуса / К. И. Леонтьева // Вестник ТвГУ. Серия «Филология». 2012. Вып. 2. № 10. С. 78-85.
6. Сдобников В. В. Оценка качества перевода (коммуникативно-функциональный подход) / В. В. Сдобников. М.: ФЛИНТА: Наука, 2015. 112 с. 
7. Bernardini S. Corpora for Translator Education and Translation Practice / S. Bernardini, S. Castagnoli // Topics in Language Resources for Translation and Localization. 2008. No 79. Pp. 39-55.
8. Diploma in Translation Handbook for Candidates. IoL Educational Trust, 2011. 25 p.
9. Doyle M. Translation Pedagogy and Assessment / M. Doyle // The ATA Chronicle. 2003. Pp. 21-29.
10. Kunilovskaya M. How Far do We Agree on the Quality of Translation? / M. Kunilovskaya // English Studies at NBU. 1. 2015. Pp. 18-31.
11. Smith K. Don’t Visit ‘Miss Peregrine’s Home for Peculiar Children’. URL: http://nypost.com/2016/09/29/dont-visit-miss-peregrines-home-for-peculiar-children/
12. Stenetorp P. BRAT: A Web-based Tool for NLP-Assisted Text Annotation / P. Stenetorp, S. Pyysalo, G. Topić, T. Ohta, S. Ananiadou and J. Tsujii // Proceedings of the Demonstrations at the 13th Conference of the European Chapter of the Association for Computational Linguistics. 2012. Pp. 102-107.
13. Waddington C. Different Methods of Evaluating Student Translations: The Question of Validity / C. Waddington // Meta. 2001. No 46 (2). Pp. 312-325.
14. Yepes G. R. Parallel corpora in translator education / G. R. Yepes // Redit: Revista electrónica de didáctica de la traducción y la interpretación. 2011. No 7. Pp. 65-80.