Generating Natural Language Questions Using Neural Networks

Cover Page

Cite item

Full Text

Open Access Open Access
Restricted Access Access granted
Restricted Access Subscription Access

Abstract

The article demonstrates the main known algorithms for autonomous generation of questions in natural language using neural network tools. Various methods for solving emerging difficulties, the mechanism of the model and the ways of implementation are considered. The results of applying the main algorithms and their analysis to improve the chosen method are presented.

About the authors

Victoria A. Malekova

Financial University under the Government of the Russian Federation

Email: vamalekova@fa.ru
Deputy head of department, Department of Data Analysis and Machine Learning Moscow, Russian Federation

Ekaterina V. Romanova

Financial University under the Government of the Russian Federation

Email: ekvromanova@fa.ru
Cand. Sci. (Phys.-Math.), Associate Professor, Deputy head of department for scientific work, Department of Data Analysis and Machine Learning Moscow, Russian Federation

References

  1. Kumar V., Muneeswaran S., Ramakrishnan G., & Li Y.: ParaQG: A System for Generating Questions and Answers from Paragraphs. In: Proceedings of the 2019 EMNLP and the 9th IJCNLP (System Demonstrations), pp. 175-180. ACL, Hong Kong, China, (2019).
  2. Pennington J., Socher R., Manning C.: Glove: Global Vectors for Word Representation. In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543. ACL, Doha, Qatar, (2014).
  3. Devlin, J., Chang, M., Lee, K., Toutanova, K.: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. ArXiv.org, https://arxiv.org/abs/1810.04805, last accessed 2021/03/11.
  4. Zhou Q., Yang N., Wei F., Tan C., Bao H., Zhou M.: Neural Question Generation from Text: A Preliminary Study. In: Proceedings of the National CCF Conference on Natural Language Processing and Chinese Computing, pp. 662-671 Springer, Cham, (2017).
  5. Rajpurkar P., Zhang J., Lopyrev K., Liang P.: SQuAD: 100,000+ Questions for Machine Comprehension of Text. In: Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392. ACL, Austin, Texas, USA, (2016).
  6. Papineni K., Roukos S., Ward T., Zhu WJ.: BLEU: A Method for Automatic Evaluation of Machine Translation. In: Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318. ACL, Philadelphia, Pennsylvania, USA, (2002).
  7. Lin CY.: ROUGE: A Package for Automatic Evaluation of summaries. In: Proceedings of the ACL Workshop: Text Summarization Braches Out, pp. 74-81. ACL, Barcelona, Spain, (2004).
  8. Sun X., Liu J., Lyu Y., He W., Ma Y., Wang S.: Answer-focused and Position-aware Neural Question Generation. In: Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 3930-3939. ACL, Brussels, Belgium, (2018).
  9. Zhao Y., Ni X., Ding Y., & Ke Q.: Paragraph-level Neural Question Generation with Maxout Pointer and Gated Self-Attention Networks. In: Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 3901-3910. ACL, Brussels, Belgium, (2018).
  10. Song L., Wang Z., Hamza W., Zhang Y., Gildea D.: Leveraging Context Information for Natural Question Generation. In: Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 569-574. ACL, New Orleans, Louisiana, USA, (2018).

Supplementary files

Supplementary Files
Action
1. JATS XML


Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».