Neural networks in processing textual objects of Russian literature

Full Text

В современных реалиях образования и обучения литературы существует проблема изучения литературных источников, произведений и фактов о писателях в связи с нежеланием разбираться с большими объёмами материалов. Однако, технологическое развитие привело к тому, что в решении многих проблем, связанных с поиском информации, составлением текстов помогают нейросети. Популярность такого феномена, как искусственный интеллект, уже не ставится под сомнение; наоборот, она порождает почву для новых исследований и позволяет открывать новые возможности в обучении школьным и академическим дисциплинам, в частности – обучению литературе. Под термином нейросеть в данной статье подразумевается генератор текста, что в свою очередь является программой или онлайн-платформой с графическим интерфейсом, которая порождает письменный монологический текст, соответствующий поставленным целям и задачам в зависимости от сферы, где этот текст используется (Всероссийская лига педагогов МЭО 2023). Как правило, большинство ИИ-платформ реализованы в формате чата. Под чатом подразумевается разговор, передаваемый Интернет, сервисная, многопользовательская, многоканальная система синхронного общения (Овчарова 2008).

Согласно исследованию международной консалтинговой компании Tyton Partners, проведённому среди преподавателей и студентов вузов под руководством управляющего директора К. Шоу в 2023 году, было выявлено, что ИИ-инструменты оказывают положительное влияние на обучение. Среди респондентов исследования это мнение было распространено не только у студентов, но и среди преподавателей (Shaw et al. 2023). Это свидетельствует о том, что нейросети можно использовать в образовательных целях.

Если говорить про частные случаи использования инструментов искусственного интеллекта, то согласно опросу, проведённому в Белорусском государственном университете, результаты которого приведены в статье О.Н. Касперович-Рынкевич, можно отметить тот факт, что студенты очень активно используют сгенерированный контент с целью написания курсовых работ, рефератов, научных статей и переводов текстов, а также для подготовки к экзаменам. Нейросети здесь воспринимаются как способ получения быстрого доступа к нужной информации, ответам на сложные вопросы, которые очень трудно найти в интернете или, когда нет желания самостоятельно что-либо искать (Касперович-Рынкевич 2023). В связи с этим возникает проблема критического подхода и правильной оценки фактов, которые содержатся в сгенерированном тексте, ведь очень часто нейросети допускают фактологические ошибки, придумывают несуществующие фамилии и имена, могут допускать искажение сюжета произведений, на которые был ориентирован запрос в ИИ-инструмент. У генераторов текста часто встречается ситуация, когда они порождают галлюцинации – когда нейросеть, подбирая нужную информацию, выдумывает собственную (Baron 2023).

Далеко не все пользователи нейросетей проверяют на действительность сгенерированные факты, что подтверждают результаты исследования, приведённые в статье Е.С. Тереховой, Н.Н. Пучковой, Л.В. Новиковой. Согласно опросу, всего 21% студентов указали в качестве проблемы работы с нейросетями необходимость перепроверять и дорабатывать результат вручную (Терехова и др. 2024). Этот показатель порождает тревогу, ведь при подготовке к занятиям или составлении итоговых работ, студенты могут принимать недостоверную информацию за действительную и таким образом, получать неправильные знания.

Целью данной статьи является проверить, насколько качественный и соответствующий литературным фактам текст генерируют выбранные ИИ-инструменты. Объектом исследования является сам сгенерированный текст, который будет исходить из запросов, связанных с заданиями по истории литературы 4 курса филологического направления. Сгенерированный текст необходимо подвергнуть проверке фактов на действительность. Для проверки на соответствие взяты и изучены произведения авторов, содержащие действительные факты о событиях, именах и действиях в сюжете.

В качестве генераторов текста были выбрана нейросеть ChatGPT-4o, которая разработана американской компанией OpenAI и представлена широкой публике в 2024 году. Нейросеть имеет возможность бесплатного пользования после прохождения процедуры регистрации, которая является очень простой и для которой нужна электронная почта и подходящий правилам пароль.

Летом 2023 года ЮНЕСКО опубликовало подробное руководство по использованию ChatGPT в высшем образовании, которое содержит возможности, проблемы и рекомендации по интеграции ИИ в учебный процесс. В начале работы с нейросетью авторы руководства, Э. Сабзалиева и А. Валентини, предлагают пользователю поставить перед собой несколько основополагающих вопросов, среди которых следующий: «Для меня важно, чтобы ответ соответствовал истине?» (Сабзалиева, Валентини. 2023). Этот вопрос стал ключевым в исследовании и учитывался при проведении эксперимента.

Так как совсем недавно разработчики представили функцию «Поиск» на платформе своего продукта, которая заключается в том, что нейросеть теперь может предоставлять ответы на вопросы согласно информации из сети Интернет, можно полагать, что ответы могут соответствовать действительности с большим успехом.

Для исследования было взято домашнее задание одного из студентов 4 курса филологического направления Нижневартовского Государственного Университета по дисциплине История русского языка и литературы. Задание состояло из 3 вопросов по 3 разным темам. Тексты вопросов приведены ниже:

1. В. Агеносов пишет «Ситуации, нарисованные автором, обыденны, нередко комичны. Чаще всего это бытовые и семейные истории, но за легко узнаваемыми сюжетами скрываются острейшие схлесты и конфликты» (Агеносов 2004). На примере одного из рассказов В. Шукшина покажите своеобразие конфликта, сочетание драматических и комических элементов.
2. Почему день, изображённый в рассказе А. Солженицына «Один день Ивана Денисовича», герой считает счастливым?
3. Назовите направления в поэзии 50–90-х гг. ХХ века и представителей этих направлений.

Исследование было проведено следующим образом:

• В ChatGPT было создано три отдельных чата, в каждом из которых были последовательно заданы вопросы из списка домашнего задания.
• Полученные ответы в каждом чате были проанализированы на соответствие фактам литературных произведений.
• Было проверено, существуют ли на самом деле указанные в сгенерированных текстах представители литературы.

После генерации ответов для первого вопроса в трёх чатах ChatGPT были выявлены множественные нарушения фактов о взятом в пример рассказе Василия Шукшина «Срезал». Нейросеть в двух чатах из трёх называет главного героя Иваном:

«В рассказе В. Шукшина «Срезал» описана, на первый взгляд, обыденная ситуация: встреча сельского мужика – Ивана («Ивана-дурака», как его называют) – с интеллигентом в поезде.»

«Герой рассказа – деревенский мужик Ивана Лапшин – оказывается в компании интеллигентов и вступает с ними в спор.»

В третьем чате имя героя не упоминается, он обозначен просто как «деревенский мужик». На самом деле, имя главного героя – Глеб Капустин. Наряду с этим, в приведённых фрагментах ответов есть ещё одна ошибка: герои встретились не в поезде, а в доме Агафьи Журавлёвой. Также ChatGPT делает не совсем верный вывод о том, что Константин Журавлёв, один из главных героев, «интеллигент пытается «поставить на место» простого человека, демонстрируя свою эрудицию и высокомерие». В самом рассказе Константин является воспитанным человеком, не желающим никого обидеть.

При ответе на второй вопрос, нейросеть правильно указала имя и фамилию главного героя, но относительно того, почему же герой считал день удачным, ChatGPT отвечал по-разному. Так, в одном из чатов, сказано, что Ивану Денисовичу удалось «достроить стену (получить удовлетворение от честного труда)», в другом, что «работа на стройке была продуктивной, и он чувствовал удовлетворение от хорошо выполненного дела», а в третьем нейросеть утверждает, что герою удалось «найти дополнительную работу, на которой можно подзаработать (кладка кирпича)». В самом рассказе, кладка стены являлась обязательным трудом, а не дополнительной работой. Кроме того, герой получил удовольствие от самого труда, поэтому второй ответ ближе к действительности. В остальных ответах расхождений с сюжетом не было. В данном случае, ответы нейросети были ближе к реальным фактам сюжета, однако небольшие искажения всё же присутствуют.

При ответе на третий вопрос проверялись на действительность только приведённые имена поэтов и соответствие перечисленных направлений к деятельности поэтов. Во всех случаях ответы были идентичными и соответствовали реальным фактам. В некоторых местах нейросеть изменяла формулировки названий периодов, называя в одном из чатов философское течение «Лирикой «тихого голоса»», а неофициальную поэзию обозначая как «андерграунд».

Проведённый эксперимент с нейросетью ChatGPT-4o показал, что, несмотря на её способность генерировать связные и логичные тексты, достоверность предоставляемой информации остаётся нестабильной. Вопросы, связанные с анализом литературных произведений, продемонстрировали как сильные, так и слабые стороны ИИ. На примере рассказа В. Шукшина «Срезал» выявились серьёзные фактологические ошибки: нейросеть ошибочно назвала главного героя, исказила место действия и неверно интерпретировала мотивы персонажей. Это свидетельствует о том, что ChatGPT может допускать грубые неточности даже в известных литературных текстах. В то же время при ответе на вопрос о рассказе А. Солженицына «Один день Ивана Денисовича» ИИ в целом правильно передал суть сюжета, однако допустил мелкие, но существенные искажения в деталях, что может повлиять на понимание произведения.

Наиболее точными оказались ответы, требующие перечисления фактов, таких как направления поэзии XX века и их представители. Здесь ChatGPT продемонстрировал высокую степень соответствия реальным данным, хотя и с некоторой вариативностью в формулировках. Это позволяет предположить, что нейросеть эффективнее работает с чёткими, структурированными запросами, чем с интерпретацией художественных текстов. Важно отметить, что даже с включённой функцией поиска ChatGPT не всегда корректно обрабатывает информацию из интернета. Это означает, что пользователям необходимо критически оценивать сгенерированные ответы и сверяться с авторитетными источниками. Таким образом, нейросеть может служить вспомогательным инструментом, но не заменяет проверенных учебных материалов.

Современные технологии искусственного интеллекта открывают новые возможности в образовании, однако их применение требует осознанного подхода. Как показало исследование, нейросети способны ускорить поиск информации и помочь в систематизации знаний, но их использование сопряжено с рядом рисков. Одним из ключевых недостатков ИИ остаётся склонность к фактологическим ошибкам, особенно при анализе художественных произведений. Неточности в именах персонажей, искажение сюжетных линий и неверные интерпретации могут привести к формированию ошибочных представлений у студентов. При этом, как свидетельствуют данные других исследований, далеко не все пользователи перепроверяют сгенерированные тексты, что повышает риск распространения недостоверной информации.

Тем не менее потенциал ИИ в образовании нельзя недооценивать. Нейросети могут быть полезны для составления конспектов, структурирования данных и даже тренировки аналитических навыков, если учащиеся будут подходить к их использованию критически. Важно развивать у студентов привычку верифицировать информацию, сопоставляя её с проверенными источниками. В дальнейшем интеграция ИИ в учебный процесс должна сопровождаться разработкой чётких методических рекомендаций. Это позволит минимизировать риски и максимально эффективно использовать технологические возможности. Подобные исследования помогут выработать оптимальные стратегии применения нейросетей в гуманитарных дисциплинах, сохраняя баланс между инновациями и академической достоверностью.

About the authors

Ilya V. Nabiullin

Author for correspondence.
Email: soyfranque@gmail.com
ORCID iD: 0009-0004-5285-438X

Master's student at the Department of Philology, Linguodidactics, and Translation

References

Supplementary files