Лексическое разнообразие текста и способы его измерения

Об авторах:

Захарова Елена Юрьевна, студентка 4 курса кафедры немецкой филологии, Тюменский государственный университет; helzakh@mail.ru; ORCID: 0000-0002-6511-600X

Савина Ольга Юрьевна, кандидат филологических наук, доцент кафедры немецкой филологии, Тюменский государственный университет;  o.y.savina@utmn.ru; ORCID: 0000-0002-4777-3188

Аннотация:

В данной статье представлен обзор способов расчета коэффициента лексического разнообразия текста с их последующей классификацией, определены основные преимущества и недостатки способов, рассмотрены основные сферы практического применения коэффициента. Установлено, что самым распространенным способом является соотношение уникальных лексических единиц (тайпов) и всех словоформ (токенов) — TTR (англ. type-token ratio). Однако главной проблемой TTR и нескольких других производных способов является зависимость результата расчета от длины текста, то есть чем больше в тексте лексических единиц, тем ниже значение TTR. Таким образом, сравнение коэффициентов лексического разнообразия текстов разной длины невозможно. В связи с этим были разработаны другие способы расчета. Некоторые представляют собой видоизмененную формулу TTR, модифицированную квадратным корнем, логарифмом или другой математической операцией, однако они не решают проблему TTR. Другая группа способов использует в расчете обычную формулу TTR, дополненную принципом определения выборки, то есть полный текст не исследуется сразу, а разделяется на более удобные для исследования части. Такие способы частично или полностью решают проблему зависимости результата от длины текста, но для их применения зачастую требуется дополнительный инструмент. Современные ученые склоняются к отказу от сложных формул и применению независимых способов, поскольку тексты для анализа в большинстве исследований имеют разную длину (особенно это касается текстов, не созданных специально для исследований — художественной литературы или законодательных актов), и здесь зависимые способы не могут дать корректный результат.

Список литературы:

1. Azodi N. Measuring the lexical richness of productive vocabulary in Iranian EFL University students’ writing performance / N. Azodi, F. Karimi, R. Vaezi // Theory and Practice in Language Studies. 2014. Vol. 4. No. 9. Pp. 1837-1849.

2. Bates E. From first words to grammar: individual differences and dissociable mechanisms / E. Bates, I. Bretherton, L. Snyder. Cambridge: Cambridge University Press, 1988. 326 р.

3. Carroll J. B. Language and thought / J. B. Carroll. Englewood Cliffs N. J.: Prentice Hall, 1964. 118 р.

4. Covington M. A. Cutting the Gordian Knot: the Moving-Average Type-Token Ratio (MATTR) / M. A. Covington, J. D. McFall // Journal of Quantitative Linguistics. 2010. Vol. 17. No. 2. Pp. 94-100.

5. Coxhead A. A new academic word list / A. Coxhead // TESOL Quarterly. 2000. Vol. 34. No. 2. Pp. 213-238.

6. Daller M. Guiraud’s index of lexical richness / M. Daller // UWE Bristol Research Repository. 2011. URL: http://eprints.uwe.ac.uk/11902/ (дата обращения: 12.12.2019).

7. Fergadiotis G. Measuring lexical diversity in narrative discourse of people with aphasia / G. Fergadiotis, H. W. Heather, M. W. Thomas // American Journal of Speech-Language Pathology. 2013. Vol. 22. No. 2. Pp. 397-408.

8. Guiraud P. Les Caractères Statistiques du Vocabulaire. Essai de méthodologie / P. Guiraud. Paris: Presses Universitaires de France, 1954. 116 р.

9. Herdan G. A. New derivation and interpretation of Yule’s “Characteristic” K / G. A. Herdan // Zeitschrift für angewandte Mathematik und Physik. 1955. Vol. 6. Pp. 332-334.

10. Johansson V. Lexical diversity and lexical density in speech and writing: a developmental perspective / V. Johansson // Working Papers. 2008. Vol. 53. Pp. 61-79.

11. Johnson W. I. A program of research / W. I. Johnson // Psychological Monographs. 1944. Vol. 56. No. 2. Pp. 1-15.

12. Koizumi R. Relationships between text length and lexical diversity measures: can we use short texts of less than 100 tokens? / R. Koizumi // Vocabulary Learning and Instruction. 2012. Vol. 1. No. 1. Pp. 60-69.

13. Laufer B. Vocabulary size and use: lexical richness in L2 written production / B. Laufer, P. Nation // Applied Linguistics. 1995. Vol. 16. No. 3. Pp. 307‑322.

14. Lieven E. V. M. Conversations between mothers and young children: individual differences and their possible implication for the study of child language learning / E. V. M. Lieven // The Development of Communication / N. Waterson, C. E. Snow (еds.). Chichester: Wiley, 1978.

15. Lissón P. Investigating lexical progression through lexical diversity metrics in a Corpus of French L3 / P. Lissón, N. Ballier // Discours. 2018. Vol. 23. URL: https://www.researchgate.net/publication/333723678_Investigating_Lexical_Progression_through_Lexical... (дата обращения: 22.12.2019).

16. Maas H. D. Über den Zusammenhang zwischen Wortschatzumfang und Länge eines Textes / H. D. Maas // Zeitschrift für Literaturwissenschaft und Linguistik. 1972. Vol. 2. No. 8. Pp. 73-96.

17. Malvern D. Lexical Diversity and Language Development: Quantification and Assessment / D. Malvern, B. Richards, N. Chipere, P. Durán. Hampshire: Palgrave Macmillan, 2004. 272 р.

18. McCarthy P. M. Voc-D: A theoretical and empirical evaluation / P. M. McCarthy, S. Jarvis // Language Testing. 2007. Vol. 24. No. 4. Pp. 459-488.

19. McCarthy P. M. MTLD, vocd-D, and HD-D: a validation study of sophisticated approaches to lexical diversity assessment / P. M. McCarthy, S. Jarvis // Behavior Research Methods. 2010. Vol. 42. No. 2. Pp. 381-392.

20. McKee G. T. Measuring vocabulary diversity using dedicated software / G. T. McKee, J. R. Brian // Literary and Linguistic Computing. 2000. Vol. 15. No. 3. Pp. 323-337.

21. Somers H. H. Statistical methods in literary analysis / H. H. Somers // The computer and Literary Style // J. Leeds (еd.). Kent, OH: Kent State University, 1966. Рр. 128-140.

22. Templin M. Certain Language Skills in Children: Their Development and Inter-relationships / M. Templin. Minneapolis, MN: University of Minnesota Press, 1957. 208 р.

23. Torruella J. Lexical statistics and tipological structures: a measure of lexical richness / J. Torruella, R. Capsada // Social and Behavioral Sciences. 2013. Vol. 95. Pp. 447-454.

24. Tweedie F. J. How variable may a constant be? Measures of lexical richness in perspective / F. J. Tweedie, R. H. Baayen // Computers and the Humanities. 1998. Vol. 32. No. 5. Pp. 323-352.

25. Van Hout R. Comparing Measures of Lexical Richness. Modelling and Assessing Vocabulary Knowledge / R. Van Hout, A. Vermeer. Amsterdam: Benjamins, 2007.

26. Vermeer A. Coming to grips with lexical richness in spontaneous speech data / A. Vermeer // Language Testing. 2000. Vol. 17. Pp. 65-83.