Interaction between acceptability and probability: Evidence from predicate agreement with a coordinated subject in Russian

封面

全文:

开放存取 开放存取
受限制的访问 ##reader.subscriptionAccessGranted##
受限制的访问 订阅存取

详细

The study aims to establish whether language models trained on unlabeled text data can parametrize agreement variation. We compared the acceptability judgments made by native speakers and the probability metrics predicted by the language model ruBERT without fine-tuning. As a specific linguistic phenomenon, we considered predicate agreement with a coordinated subject in Russian. We analyzed in detail which syntactic, morphological, and semantic factors influenced sentence acceptability and probability. The experimental data enables us to reveal the role of each factor and their interaction. Besides the standard logarithmic probability, we considered sentence length and unigram probability. We assumed that the model would assign the highest probability to the most acceptable agreement strategy. However, our hypothesis was not confirmed: the correlation between probability and acceptability is lower for sentences with agreement variation than for sentences without variation. The linear position — the subject-predicate order and the conjuncts’ order — turned out to be the only factor which equally influences the acceptability and probability of a sentence. If the gender features of conjuncts match, the acceptability of singular agreement increases while the probability does not change. The animacy of conjuncts and the predicate symmetry influence neither acceptability nor probability. Our research demonstrates that ruBERT cannot be used to parametrize predicate agreement with a coordinated subject. The acceptability of a sentence is based on subtle linguistic contrasts which are not significant for the computer evaluation of its probability.

全文:

受限制的访问

作者简介

Ksenia Studenikina

Lomonosov Moscow State University

编辑信件的主要联系方式.
Email: xeanst@gmail.com
俄罗斯联邦, Moscow

参考

  1. Белова 2022 — Белова Д. Д. Предикативное согласование с подлежащим, выраженным местоименными конъюнктами. Устный доклад на учебной конференции «Экспериментальные исследования языка», МГУ имени М. В. Ломоносова, Москва, 16 июня 2022 г. [Belova D. D. Predicative agreement with the subject expressed by pronominal conjuncts. Talk at the student conference “Experimental language studies”, Lomonosov Moscow State Univ., Moscow, June 16, 2022.]
  2. Белова, Давидюк 2023 — Белова Д. Д., Давидюк Т. И. Согласование с сочиненным подлежащим, содержащим личное местоимение: экспериментальное исследование на материале русского языка. Rhema. Рема, 2023, 2: 53–88. [Belova D. D., Davidyuk T. I. Agreement with coordinated subjects containing a personal pronoun: Experimental data from Russian. Rhema, 2023, 2: 53–88.]
  3. Врубель 2022 — Врубель Д. Д. Синкретичное согласование по роду в конструкциях с повторяющимся союзом и. Устный доклад на учебной конференции «Экспериментальные исследования языка», МГУ имени М. В. Ломоносова, Москва, 16 июня 2022 г. [Vrubel D. D. Syncretic gender agreement in constructions with a repeated conjunction i. Talk at the student conference “Experimental language studies”, Lomonosov Moscow State Univ., Moscow, June 16, 2022.]
  4. Врубель 2023 — Врубель Д. Д. Эффект синкретизма при предикативном согласовании с сочинительными конструкциями с повторяющимся союзом и. Rhema. Рема, 2023, 2: 104–118. [Vrubel D. D. The role of syncretism in the predicate agreement with coordinate constructions with the Russian correlative conjunction i…i. Rhema, 2023, 2: 104–118.]
  5. Граудина и др. 2001 — Граудина Л. К., Ицкович В. А., Катлинская Л. П. Грамматическая правильность русской речи: Опыт частотно-стилистического словаря вариантов. М.: Наука, 2001. [Graudina L. K., Itskovich V. A., Katlinskaya L. P. Grammaticheskaya pravil’nost’ russkoi rechi: Opyt chastotno-stilisticheskogo slovarya variantov [Grammatical correctness of speech: Towards a frequency and stylistic dictionary of variants]. Moscow: Nauka, 2001.]
  6. Давидюк 2022 — Давидюк Т. И. Влияние аргументной структуры предиката на лично-числовое согласование с сочиненным подлежащим. Устный доклад на учебной конференции «Экспериментальные исследования языка», МГУ имени М. В. Ломоносова, Москва, 16 июня 2022 г. [Davidyuk T. I. The influence of argument structure on predicative agreement in person and number with compound subjects. Talk at the student conference “Experimental language studies”, Lomonosov Moscow State Univ., Moscow, June 16, 2022.]
  7. Добрушина, Сидорова 2019 — Добрушина Е. Р., Сидорова М. И. Число предиката в конструкциях типа «те/все, кто пришел/пришли» и падеж вершины-корпусное исследование. Вестник Православного Свято-Тихоновского гуманитарного университета. Сер. 3: Филология, 2019, 59: 22–35. [Dobrushina E. R., Sidorova M. I. Number of the predicate in phrases te/vse, kto prishel/prishli ‘those/all who came (sg./pl.)’ and the case of the head: A corpus-based study. St. Tikhon’s Univ. Review. Series III: Philology, 2019, 59: 22–35.]
  8. Иомдин 1990 — Иомдин Л. Л. Автоматическая обработка текста на естественном языке: модель согласования. М.: Наука, 1990. [Iomdin L. L. Avtomaticheskaya obrabotka teksta na estestvennom yazyke: model’ soglasovaniya [Automatic natural language processing: Agreement model]. Moscow: Nauka, 1990.]
  9. Кибрик (ред.) 1999 — Кибрик А. Е. (ред.-сост.). Элементы цахурского языка в типологическом освещении. М.: Наследие, 1999. [Kibrik A. E. (ed.-comp.) Elementy tsakhurskogo yazyka v tipologicheskom osveshchenii [Elements of Tsakhur in a typological perspective]. Moscow: Nasledie, 1999.]
  10. Кувшинская 2013 — Кувшинская Ю. М. Согласование сказуемого с подлежащим, выраженным именной группой с количественным значением (по данным НКРЯ за 2000–2010 гг.). Русский язык в научном освещении, 2013, 26: 112–151. [Kuvshinskaya Yu. M. Predicate agreement with the quantifier phrase in Russian (according to the data of the National Russian Corpus for the period of 2000–2010). Russkij jazyk v nauchnom osveshchenii, 2013, 26: 112–151.]
  11. Лютикова, Герасимова 2023 — Лютикова Е. А., Герасимова А. А. Исследование вариативного согласования в русском языке: проблемы и методы. Rhema. Рема, 2023, 2: 9–27. [Lyutikova E. A., Gerasimova A. A. Studying agreement variation in Russian: Problems and methodology. Rhema, 2023, 2: 9–27.]
  12. Мельчук 1993 — Мельчук И. А. Согласование, управление, конгруэнтность. Вопросы языкознания, 1993, 5: 16–58. [Mel’čuk I. A. Agreement, regimen, congruence. Voprosy Jazykoznanija, 1993, 5: 16–58.]
  13. Паско 2022 — Паско Л. И. Предикативное согласование с сочиненным подлежащим и симметричность предиката. Устный доклад на учебной конференции «Экспериментальные исследования языка», МГУ имени М. В. Ломоносова, Москва, 16 июня 2022 г. [Pasko L. I. Predicative agreement with compound subject and predicate symmetry. Talk at the student conference “Experimental language studies”, Lomonosov Moscow State Univ., Moscow, June 16, 2022.]
  14. Паско 2023 — Паско Л. И. Против ATB-анализа частичного согласования в русском языке: экспериментальное исследование. Rhema. Рема, 2023, 2: 89–103. [Pasko L. I. Against ATB-analysis of partial agreement in Russian: An experimental study. Rhema, 2023, 2: 89–103.]
  15. Пекелис 2013а — Пекелис О. Е. «Частичное согласование» в конструкции с повторяющимся союзом: корпусное исследование основных закономерностей. Вопросы языкознания, 2013, 4: 55–86. [Pekelis O. E. Partial agreement with subjects linked by a correlative conjunction: A corpus-based study of main regularities. Voprosy Jazykoznanija, 2013, 4: 55–86.]
  16. Пекелис 2013б — Пекелис О. Е. Сочинение. Материалы для проекта корпусного описания русской грамматики. М., 2013. Рук. [Pekelis O. E. Coordination. Materials for the project of corpus description of Russian grammar. Moscow, 2013. Ms.] http://rusgram.ru/Сочинение.
  17. РГ 1980 — Шведова Н. Ю. (ред.). Грамматика русского языка. Т. 2. М.: Наука, 1980. [Shvedova N. Yu. (ed.). Grammatika russkogo yazyka [Russian grammar]. Vol. 2. Moscow: Nauka, 1980.]
  18. Розенталь и др. 1999 — Розенталь Д. Э., Джанджакова Е. В., Кабанова Н. П. Справочник по правописанию, произношению, литературному редактированию. М.: ЧеРо, 1999. [Rozental D. E., Dzhandzakova E. V., Kabanova N. P. Spravochnik po pravopisaniyu, proiznosheniyu, literaturnomu redaktirovaniyu [Handbook of spelling, pronunciation, literary editing]. Moscow: CheRo, 1999.]
  19. Санников 2008 — Санников В. З. Русский синтаксис в семантико-прагматическом пространстве. М.: Языки славянских культур, 2008. [Sannikov V. Z. Russkii sintaksis v semantiko-pragmaticheskom prostranstve [Russian syntax in a semantic-pragmatic aspect]. Moscow: Yazyki slavyanskikh kul’tur, 2008.]
  20. Студеникина 2023а — Студеникина К. А. Об идентичности морфологических признаков при эллипсисе в русском языке: данные именных групп с сочиненными прилагательными. Rhema. Рема, 2023, 2: 28–52. [Studenikina K. A. Towards the feature identity for ellipsis in Russian: Evidence from noun phrases with coordinated adjectives. Rhema, 2023, 2: 28–52.]
  21. Студеникина 2023б — Студеникина К. А. Влияние одушевленности конъюнктов и линейной позиции сказуемого на выбор стратегии предикативного согласования. Устный доклад на учебной конференции «Экспериментальные исследования языка», МГУ имени М. В. Ломоносова, Москва, 16 июня 2022 г. [Studenikina K. A. The role of animacy of conjuncts and predicate linear position in the choice of predicate agreement strategy. Talk at the student conference “Experimental language studies”, Lomonosov Moscow State Univ., Moscow, June 16, 2022.]
  22. Adger 2003 — Adger D. Core syntax: A minimalist approach. Oxford: Oxford Univ. Press, 2003.
  23. Arsenijević, Mitić 2016 — Arsenijević B., Mitić I. Effect of animacy and agentivity on the processing of agreement in Serbo-Croatian. Studies in languages and mind. Selected papers from the 3rd Workshop in Psycholinguistics, Neurolinguistic and Clinical Linguistic Research. Halupka-Rešetar S., Martínez-Ferreiro S. (eds.). Novi Sad: Univ. of Novi Sad, 2016, 41–77.
  24. An, Abeillé 2019 — An A., Abeillé A. Number agreement in French binomials. Empirical Issues in Syntax and Semantics, 2019, 12: 31–60.
  25. Chomsky 1956 — Chomsky N. Three models for the description of language. IRE Transactions on Information Theory, 1956, 2(3): 113–124.
  26. Chomsky 1995 — Chomsky N. The Minimalist Program. Cambridge (MA): MIT Press, 1995.
  27. Chomsky 2014 — Chomsky N. Aspects of the theory of syntax. Cambridge (MA): MIT Press, 2014.
  28. Corbett 1983 — Corbett G. Resolution rules: Agreement in person, number, and gender. Order, сoncord and сonstituency. Gazdar G., Klein E., Pullam G. K. (eds.). Berlin, Boston: De Gruyter Mouton, 1983, 175–205.
  29. Devlin et al. 2019 — Devlin J., Chang M. W., Lee K., Toutanova K. BERT: Pre-training of deep bidirectional transformers for language understanding. Proc. of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2019, 1: 4181–4186.
  30. Himmelreich, Hartmann 2023 — Himmelreich A., Hartmann K. Agreement with disjoined subjects in German. Glossa: a journal of general linguistics, 2023, 8(1): 1–44.
  31. Lau et al. 2020 — Lau J. H., Armendariz C., Lappin S., Purver M., Shu C. How furiously can colorless green ideas sleep? Sentence acceptability in context. Transactions of the Association for Computational Linguistics, 2020, 8: 296–310.
  32. Lau et al. 2017 — Lau J. H., Clark A., Lappin S. Grammaticality, acceptability, and probability: A probabilistic view of linguistic knowledge. Cognitive Science, 2017, 41(5): 1202–1241.
  33. Likert 1932 — Likert R. A technique for the measurement of attitudes. Archives of Psychology, 1932, 22(140): 5–55.
  34. Marušič et al. 2015 — Marušič F., Nevins A. I., Badecker W. The grammars of conjunction agreement in Slovenian. Syntax, 2015, 18(1): 39–77.
  35. Mikhailov et al. 2022 — Mikhailov V., Shamardina T., Ryabinin M., Pestova A., Smurov I., Artemova E. RuCoLA: Russian Corpus of Linguistic Acceptability. Proc. of the 2022 Conference on Empirical Methods in Natural Language Processing. Goldberg Y., Kozareva Z., Zhang Y. (eds.). Association for Computational Linguistics, 2022, 5207–5227.
  36. Pereira 2000 — Pereira F. Formal grammar and information theory: together again? Philosophical Transactions of the Royal Society of London. Series A: Mathematical, Physical and Engineering Sciences, 2000, 358(1769): 1239–1253.
  37. Radford et al. 2018 — Radford A., Narasimhan K., Salimans T., Sutskever I. Improving language understanding by generative pre-training. Technical Report, OpenAI, 2018.
  38. Sprouse 2015 — Sprouse J. Three open questions in experimental syntax. Linguistics Vanguard, 2015, 1(1): 89–100.
  39. Sprouse et al. 2013 — Sprouse J., Schütze C. T., Almeida D. A comparison of informal and formal acceptability judgments using a random sample from Linguistic Inquiry 2001–2010. Lingua, 2013, 134: 219–248.
  40. Sprouse et al. 2018 — Sprouse J., Yankama B., Indurkhya S., Fong S., Berwick R. C. Colorless green ideas do sleep furiously: gradient acceptability and the nature of the grammar. The Linguistic Review, 2018, 35(3): 575–599.
  41. Sprouse, Schütze 2014 — Schütze, C., Sprouse, J. Judgment data. Research methods in linguistics. Sharma D., Podesva R. (eds.). Cambridge: Cambridge Univ. Press, 2014, 27–50.
  42. Studenikina 2023 — Studenikina K. A. Parametrizing number variation in Russian noun phrases with experimental studies and language modeling. Research Result. Theoretical and Applied Linguistics, 2023, 9(1): 192–205.
  43. Vaswani et al. 2017 — Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A. N., Kaiser L., Polosukhin I. Attention is all you need. Advances in Neural Information Processing Systems, 2017, 30: 5998–6008.
  44. Warstadt et al. 2020 — Warstadt A., Parrish A., Liu H., Mohananey A., Peng W., Wang S. F., Bowman S. R. BLiMP: The benchmark of linguistic minimal pairs for English. Transactions of the Association for Computational Linguistics, 2020, 8: 377–392.
  45. Zwicky 1977 — Zwicky A. Hierarchies of person. Papers from the 13th Regional Meeting, Chicago Linguistics Society. Beach W. A., Fox S. E., Philosoph Sh. (eds.). Chicago: Chicago Linguistics Society, 1977, 714–733.

版权所有 © Russian Academy of Sciences, 2024

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».