Intermodal adaptation of cephalic and corporal to manual co-speech gestures for the construal of metaphorical images in multimodal Russian interviews
Pages: 5-20 | DOI: 10.37724/RSU.2026.77.2.001 | EDN: CBOTYI | UDK: 811
Prokofyeva O.N.
Moscow State Linguistic University
Gatsenko A.A.
Moscow State Linguistic University
Abstract
The present article focuses on the quantitative and qualitative aspects of intermodal adaptation of cephalic and corporal to manual co-speech gestures in everyday spontaneous discourse. We hypothesize that the coherence and use of the modalities in question can contribute to the increase in imagery and creativity of informal Russian interviews. To test the hypothesis, we rely on 72 minutes of the previously annotated video corpus “Reflections”, featuring 20 participants’ responses about their experience of creative activities, with 1953 manual gestures, 1030 head gestures and 653 body shifts therein. The functional classification and synchronization analysis of each of the non-verbal show that corporal gestures are likely to fulfill adaptational and representative functions, while cephalic movements adhere more to pragmatic functions (predominantly with manual adaptors). Moreover, the intersections of two gestural modalities tend to bring about the construal of metaphorical images, with at least 40 % of manual gestures in the corpus accompanied by either corporal and/or cephalic ones.
Keywords: multimodal discourse, intermodal adaptation, manual co-speech gestures, cephalic gestures, corporal gestures, metaphor gestures
Funding:
none
References
1. Архипова Я. В. Креативность в полимодальном дискурсе: анализ метафоризации в жестах, сопровождающих речь // Вестник Московского государственного лингвистического университета. Сер. «Гуманитарные науки». — М., 2025. — Вып. 4 (898). — С. 9–16.
2. Воробьева Е. Н. Актуальные вопросы полимодальных исследований: систематический обзор // Филологические науки. Вопросы теории и практики. — 2025. — Т. 18. — Вып. 8. — URL : https://philology-journal.ru/article/phil20250459/fulltext (дата обращения: 10.01.2026).
3. Гришина Е. А. Русская жестикуляция с лингвистической точки зрения. Корпусные исследования. — М. : ЯСК, 2017. — 608 с.
4. Евдокимова А. А. Логическое ударение и синонимия жестов в цефалическом канале // Компьютерная лингвистика и интеллектуальные технологии : материалы Междунар. науч. конф. «Диалог 2025». — 2025. — Т. 30. — С. 1–12.
5. Евдокимова А. А., Николаева Ю. В. Точка зрения персонажа и точка зрения наблюдателя: их реализация в жестах головы и рук // Когнитивные исследования языка и дискурса. Сер. «Когнитивные исследования языка». — Тамбов, 2021. — Вып. 1 (44). — С. 182–189.
6. Евдокимова А. А., Николаева Ю. В. Kинетические кластеры и их функциональные типы// Труды Института русского языка им. В.В. Виноградова. — № 2. — 2022. — C.184–199.
7. Зыкова И. В., Руджери Ф. Метафорическая концептуализация в полимодальном дискурсе (на материале итальянской телепередачи “Che tempo che fa”) // Магия ИННО. Сер. «Перспективы развития лингвистики и лингводидактики в современных условиях». — М., 2024. — Т. 6. — Вып. 1. — С. 326–334. — DOI : 10.24833/2949-6357.2024.GEO.1.
8. Ирисханова О. К. Адаптация в когнитивно-семиотическом аспекте: жесты и речь // Когнитивные исследования языка и дискурса. Сер. «Когнитивные исследования языка». — М. ; Тамбов, 2025. — Т. 1. — Вып. 3 (64). — С. 64–79.
9. Ирисханова О. К., Киосе М. И., Леонтьева А. В., Агафонова О. В. Полимодальный пространственный дейксис в речи и жестах: системы координат в экспланаторном дискурсе // Вопросы когнитивной лингвистики. — Тамбов, 2022. — Вып. 4. — С. 17–31.
10. Леонтьева А. В. Невербальная репрезентация в экспланаторном дискурсе // Германистика-2022: nove et nova : материалы V Междунар. науч. конф., Москва, 7–9 декабря 2022 г. — М., 2023. — С. 176–179.
11. Леонтьева А. В., Ченки А., Агафонова О. В. Метафорические жесты в синхронном переводе // Russian Journal of Linguistics. — М., 2023. — Т. 27. — Вып. 4. — C. 820–842. — DOI : 10.22363/2687-0088-36189.
12. Ржешевская А. А. Некоторые аспекты невербальной репрезентации пространства в устном постановочном дискурсе // Когнитивные исследования языка и дискурса. Сер. «Когнитивные исследования языка». — М. ; Тамбов, 2025. — Т. 1. — Вып. 3 (64). — С. 287–291.
13. Сухова Н. В. Корпусный анализ поворотов головы в мультимодальном дискурсе // Вестник Московского государственного лингвистического университета. Сер. «Гуманитарные науки». — М., 2022. — Вып. 1 (856). — С. 119–127.
14. Cienki A. Image Schemas and gesture // From Perception to meaning: Image Schemas in Cognitive Linguistics. — Berlin ; N. Y. : Mouton de Gruyter, 2005. — Pp. 421–442.
15. Cienki A. Self-focused versus dialogic features of gesturing during simultaneous interpreting // Russian Journal of Linguistics. — M., 2024. — No. 28 (2). — Pp. 227–242. — DOI: 10.22363/2687-0088-34572.
16. Garvin K., Spradling E., Franich K. Co-speech gestures influence the magnitude and stability of articulatory movements: evidence for coupling-based enhancement // Scientific reports. — 2025. — № 15. — URL : https://www.nature.com/articles/s41598-024-84097-6#citeas (дата обращения: 14.01.2026).
17. Iriskhanova O. K., Kiose M. I., Leonteva A. V., Agafonova O. V. Vague reference in expository discourse: multimodal regularities of speech and gesture // Computational Linguistics and Intellectual Technologies Papers from the Annual International Conference “Dialogue” (2023). — M., 2023. — No. 22. — Pp. 172–180. — DOI: 10.28995/2075-7182-2023-22-172-180.
18. Kiose M. I., Rzheshevskaya A. A., Petrov A. A. Local structure of descriptive discourse in the speech of adult learners of Russian as a foreign language // Компьютерная лингвистика и интеллектуальные технологии : материалы Междунар. науч. конф. «Диалог 2025». — М., 2025. — Вып. 23. — С. 158–168.
19. Kiose M.I., Rzheshevskaya A.A. Communicative practices in using Russian as a foreign language: the study of gaze behavior, speech and gesture in descriptive discourse // Voprosy Kognitivnoy Lingvistiki. — 2025. — № 3. — Pp. 19–31.
20. Lakoff G., Johnson M. Metaphors We Live By. — Chicago : University of Chicago Press, 1980. — 242 p.
21. Shattuck-Hufnagel S., Ren A. The Prosodic Characteristics of Non-referential Co-speech Gestures in a Sample of Academic-Lecture-Style Speech // Frontiers in Psychology. — 2018. — No. 9:1514. — URL : https://www.researchgate.net/publication/327500716_The_Prosodic_Characteristics_of_Non-referential_Co-speech_Gestures_in_a_Sample_of_Academic-Lecture-Style_Speech (дата обращения: 14.01.2026).
22. McNeill D. Hand and mind. — Chicago : University of Chicago Press, 1992. — 440 p.
23. Müller C. Metaphors, Dead and Alive, Sleeping and Walking. A Cognitive Approach to Metaphors in Language Use. — Berlin : Freie Universitat, 2008. — 290 p.
24. Wɫodarczak M., Buschmeier H., Malisz Z. [et al.]. Listener head gestures and verbal feedback expressions in a distraction task // Interdisciplinary workshop on feedback behaviors in dialog. — Stevenson, WA, 2012. — Pp. 93–96.
25. Zlatev J. Intersubjectivity, mimetic schemas and the emergence of language // Intellectica Revue de l Association pour la Recherche Cognitive. — 2007. — Vol. 2-3. — No. 46-47. — Pp. 123–152. — DOI:10.3406/intel.2007.1281.