Алгоритм построения рекомендаций в электронных образовательных средах на основе стохастических моделей Маркова
Algorithm for making recommendations in electronic educational environments based on stochastic Markov models
Авторы
Аннотация
В данной статье предложен алгоритм построения рекомендаций учебных ресурсов в электронных образовательных средах. Новый подход использует Марковскую модель оценки контента систем обычными пользователями для формирования параметров начального состояния, которое характеризует нового пользователя системы в виде оценок первых понравившихся ресурсов (контента системы), чтобы рекомендовать интересные элементы системы активному пользователю. Таким образом, решается проблема «холодного старта» для нового пользователя на первых этапах взаимодействия с системой. Эта проблема свойственная для разрабатываемой системы, так как в системе электронного обучения предусмотрен модуль построения рекомендаций, что позволяет ее относить к классу рекомендальных автоматизированных систем. В новом подходе предлагается объединить использование Марковского процесса и временного фактора, чтобы использовать их как единый источник данных для построения рекомендаций. Данный подход будет основывается на принципе анализа доступа схожих пользователей системы (схожесть определяется на основе сравнения их профилей) в одинаковые периоды времени. Неотъемлемой частью создаваемой системы также является удобство использования. Поэтому на этапе проектирования необходимо продумать эргономику выдаваемых рекомендаций в образовательной системе.
Ключевые слова
математическое моделирование, обучающие системы, электронное обучение, дистанционное обучение, цепи Маркова, Марковский процесс, облачное обучение.
Финансирование
Работа выполнена в рамках мероприятия DR-2022: III Международный конкурс научных работ и проектов молодых исследователей “Цифровой регион 2022” (Наука и образование ON-LINE)
Рекомендуемая ссылка
No items found. Алгоритм построения рекомендаций в электронных образовательных средах на основе стохастических моделей Маркова // Современные технологии управления. ISSN 2226-9339. — №1 (97). Номер статьи: 9713. Дата публикации: 06.04.2022. Режим доступа: https://sovman.ru/article/9713/
DOI 10.24412/2226-9339-2022-197-13
Authors
Abstract
In this artical proposing recommendation algorithm for educational resources in e-learning systems. The new approach uses Markov's model of evaluating the content of the systems by ordinary users to form the parameters of the initial state which characterizes a new user of the system as evaluations of the first resources (system content) to recommend interesting system elements to an active user. Thus the problem of "cold start" for the new users at the first stages of interaction with the system is solved. This problem is inherent in the system under development, because the e-learning system includes a module for making recommendations, which allows it to refer to the class of recommendation-based automated systems. The new approach will combine the use of the Markov process and the time factor to use them as a single source of data for making recommendations. This approach will be based on the principle of access analysis of similar users of the system (the similarity is determined by comparing their profiles) in the same periods of time. An integral part of the created system is also usability. Therefore, at the design stage, it is necessary to think about the ergonomics of the recommendations in the educational system.
Keywords
mathematical modeling, learning systems, e-learning, remote learning, Markov chains, Markov process, cloud learning.
Project finance
The work was carried out as part of the DR-2022 event: III International competition of scientific papers and projects for young researchers “Digital Region 2022” (Science and Education ON-LINE)
Suggested citation
No items found. Algorithm for making recommendations in electronic educational environments based on stochastic Markov models // Modern Management Technology. ISSN 2226-9339. — №1 (97). Art. # 9713. Date issued: 06.04.2022. Available at: https://sovman.ru/article/9713/
Введение
В настоящее время в силу стремительного развития web-технологий большое распространение получили электронные образовательные среды, которые позволяют дистанционно и самостоятельно обучаться новым навыкам, получать новые умения и знания. Данные системы активно наполняются контентом по сей день, его объемы исчисляются миллионами различных курсов, программ, видеоматериалов и учебных пособий. В этих условиях пользователи данных систем сталкиваются с проблемами поиска необходимой информации, а также зачастую просто не знают о наличии некоторых ресурсов, которые могли бы быть им полезны и важны для них в процессе обучения. Перечисленные проблемы являются следствием стремительно растущего объема информации, который из года в год увеличивается в геометрической прогрессии, и в последующем данная тенденция будет только усиливаться. В связи с этим встает вопрос фильтрации контента и формирования рекомендаций, способных стать вспомогательным инструментом для пользователя системы. Процесс фильтрации и формирования рекомендаций должен отвечать требованиям гибкости, точности, а также должен учитывать то, что информация имеет свойство быстро устаревать и терять свою актуальность, а предпочтения пользователя могут изменяться и не соответствовать среднестатистическим параметрам той группы пользователей, с которой был соотнесен пользователь согласно алгоритмам классификации и анализу истории посещенных ресурсов. Все это требует от систем рекомендаций наличия возможности гибко подстраиваться под пользователя. Для этого необходимо применять прогнозирование не только по историческим данным взаимодействия пользователя или схожей группы пользователей с системой, но и использовать стохастические модели, которые способны делать прогнозы, базируясь на текущих данных (live-прогнозирование). Вероятностные модели Маркова являются подходящим математическим инструментарием для данных целей. Многие исследователи [1, 2] в своих работах применяют Марковскую модель для построения модулей рекомендаций в управлении социальными и экономическими системами и представляют последовательность взаимодействия пользователя с системой в виде Марковского процесса. Янаева М.В., Синченко Е.В. в своей статье применяют Марковские цепи в интеллектуальной системе, которая является компонентом системы удалённого управления в территориально распределённых комплексах на основе использования рекомендательных систем [3].
Методы исследований
В цепь Маркова включены три компонента. Первый компонент – это состояние процесса, второй – это функция перехода процесса из одного состояния в другое, а третий – начальные состояния процесса. Если определенный процесс S описан набором состояний 
, то он начинается одним из этих состояний, а затем шаг за шагом перемещается из одного состояния в другое. Находясь на предыдущем шаге, последовательность состояний событий описывается состоянием 
, на следующем шаге она переходит в состояние 
, вероятность перехода которой описывается параметром 
, которая не зависит от тех состояний, в которых находилась последовательность событий в предыдущий период, предшествующий текущему состоянию. Такие вероятности называются вероятностями перехода. Если последовательность перехода процесса будет характеризоваться переходом из одного i-го состояния в другое, то вероятности перехода будут соответственно 
. Первоначальные вероятности перехода из одного состояния в другое приводятся к начальному состоянию. Обычно это реализуется посредством приведения конкретного состояния в качестве первоначального.
Марковский процесс может быть применен для систем поддержки принятия решений в процессе управления социальными или экономическими системами, или для формирования рекомендаций пользователям в процессе работы в системе. Например, в системах, использующих модули для построения рекомендаций, за основу состояний берутся параметры, характеризующие конкретного пользователя системы. Матрица переходов в таком алгоритме представляется вероятностями перехода от одного модуля или компонента системы к другому. За точку отсчета, т.е. начальное состояние, берётся исходная информация о пользователе, которая может быть взята из заполненного профиля пользователя в процессе регистрации в системе.
В данной модели следует учесть один немаловажный фактор – это время. В виду того, что с течением времени информация имеет свойство не только устаревать или становится неактуальной, но и терять популярность, все три аспекта в системах построения рекомендаций для пользователей приобретают особую важность. В настоящее время, объёмы информации, которые обрабатывают системы, неумолимо возрастают в геометрической прогрессии, миллионы пользователей системы оценивают представленный контент в системе (делают оценки «мне нравится», добавляют в избранное, отправляют в закладки, делятся со своими знакомыми друзьями) в режиме реального времени. В последующем временной фактор можно использовать для прогнозирования популярности контента системы, а также для выстраивания модели развития самой системы в целом.
В новом подходе предлагается объединить использование Марковского процесса и временного фактора, чтобы использовать их как единый источник данных для построения рекомендаций. Данный подход будет основываться на принципе анализа доступа схожих пользователей системы (схожесть определяется на основе сравнения их профилей) в одинаковые периоды времени.
При первом доступе к системе она будет выстраивать рекомендации на основе популярности контента среди всей аудитории пользователей на основе общих оценок. Предлагаемый контент может и не привлечь внимание пользователя. Но как только пользователь найдет то, что ему было нужно, что ему понравилось, с этого момента параметры пользователя, которые будут описывать его состояние в системе в момент нахождения интересующей информации в системе, станут первоначальными и будут использованы для построения рекомендаций в соответствии с его реакцией на данную информацию. Данный подход направлен на то, чтобы выстраивать рекомендации, используя цепочки рекомендаций других пользователей, взаимодействовавших с этим же контентом.
Предметная область исследования
В данной работе поднимается проблема возможности выстроить вектор обучения в процессе индивидуального взаимодействия со средой, чтобы полученная информация была не только актуальной на момент обучения, но и учитывала перспективы развития той области, в которой обучающийся получает навыки, т.е. чтобы полученные знания сохраняли свою актуальность в будущем.
В качестве пользователя системы может могут выступать:
- школьники;
- студенты, обучающиеся в вузах;
- сотрудники, желающие повысить свою квалификацию;
- временно безработные граждане, желающие приобрести востребованные на рынке труда знания, умения и навыки.
В качестве источника знаний может выступать некоторая система: это может быть образовательная платформа или агрегатор (оркестратор) образовательных платформ. В качестве элемента могут выступать любые формы обучающего контента: видеоуроки, научные статьи, брошюры, лабораторные задания, книги и учебные материалы. В качестве управляющего воздействия должен выступать модуль рекомендации системы, который способен провести анализ имеющихся элементов и предложить материал для решения текущей задачи пользователя системы, рекурсивно подбирать элементы, которые необходимы для освоения определенной сферы деятельности, а также подобрать материал, который будет актуален в будущем для профессиональной деятельности к моменту окончания обучения (Рисунок 1).
Рисунок 1 – Концептуальная схема взаимодействия пользователя с интеллектуальной образовательной средой
Figure 1 — Conceptual scheme of user interaction with the artifact intelligence education environment
Материалы и методы решения задачи
Опишем применение данного подхода на примере работы пользователя в образовательной среде. Пусть множество пользователей 
в образовательной среде с их профилями, заполненными в процессе регистрации в системе, будет описано 
. Множество образовательных уроков будет представлено в виде следующего множества 
. Для наглядного описания предположим, что в образовательной среде 5 пользователей, а количество образовательных уроков тоже 5. Предположим, необходимо простроить рекомендацию для нового пользователя, которому первым понравившимся стал урок 
. Представим статистику взаимодействия с образовательными ресурсами в виде таблицы (Таблица 1).
Таблица 1 — Статистика взаимодействия пользователей с образовательными материалами
| Имя пользователя | Последовательность понравившихся образовательных уроков за последние 7 дней. |
| U1 | С5, С4, С1 |
| U2 | С2, С3, С4, С5 |
| U3 | С4, С3, С1 |
| U4 | С2, С4 |
| U5 | С2 |
Далее проанализируем статистику взаимодействия пользователей, для которых первым понравившимся уроком стал курс С2. В нашем примере это пользователи U2, U4 и U5.
Соответственно, подсчитаем вероятности взаимодействия этих пользователей с другими учебными курсами: 
Таким образом, наиболее популярным следующим образовательным курсом у тех пользователей, которым понравился курс С2, стал образовательный курс С4. В итоге, в соответствии с новым подходом, новому пользователю, для которого курс B стал первым понравившимся, будет предложено пройти образовательный курс D.
Опишем процесс расчета вероятности доступа пользователей со схожими профилями к ресурсам схожего типа в одинаковые промежутки времени. Для описания новых связей, которые могут связывать элементы, будет использоваться анализ обращения пользователей к контенту, чтобы сформировать матрицу вероятностей доступа схожих пользователей к ресурсам похожего типа в одном сеансе доступа к системе обучения. В процессе работы с системой каждый пользователь U взаимодействует с ресурсами, которые можно представить в виде списка. Соответственно при анализе сеансов всех пользователей, которые взаимодействовали с ресурсами, среди которых был ресурс j, этот процесс можно описать в виде вектора доступа:
(1)
где в виде n представлено количество всех ресурсов, является точечной оценкой для ресурса i, с которым взаимодействуют все пользователи вместе с ресурсом j за один сеанс доступа. Если пользователь U обращается к элементам (i и j) в одном сеансе, тогда оценка rij=1, в противном случае она равна нулю rij=0. Целью наших вычислений будет являться расчет вектора доступа ко всем ресурсам, среди которых есть ресурс j, за один сеанс доступа, используя информацию о количестве всех сеансов пользователей (NS) и сеансов, где пользователи взаимодействовали с ресурсом с индексом j (NS).
Наша цель – рассчитать вектор доступа ко всем элементам с элементом j в одном сеансе, где 
Сформированный подход решает одну немаловажную проблему – проблему неполноты вычислений. То есть с помощью данного подхода описывается взаимодействие с каждым ресурсом после каждого предшествующего ресурса, представленным в системе, в виде вероятности доступа. В разные периоды времени пользователи могут осуществлять несколько разных сеансов доступа к системе, новый подход соотносит историю активности пользователей с временем доступа к системе.
Базовыми компонентами систем рекомендаций, которые построены на основе цепей Маркова, являются вектор начального состояния и матрица переходов. Для того, чтобы сгенерировать вектор начального состояния, необходимо вычислить вектор активного пользователя.
Таблица, в которой с пользователями сопоставляются посещенные ими ресурсы, может быть применена для построения матрицы переходов цепи Маркова.
Таблица пользователи-ресурсы может использоваться для формулировки матрицы переходов цепи Маркова Tij размерами n × n, где n — количество всех ресурсов системы. Каждая строка в таблице представляет ресурс и связанные ресурсы, к которым осуществлялся доступ схожими пользователями в одинаковый период времени. Row (i,j) – строка ресурса с индексом i, где 
– количество строк таблицы, а 
– количество столбцов ресурсов, к которым осуществлялось обращение; p (y) – это вероятность доступа к ресурсу с индексом j c ресурсу с индексом i за тот же период времени. Его можно рассчитать по найденным строкам, имеющим значение 1 в столбце элемента. Случайный вектор взаимодействия с ресурсом является суммой найденных строк, деленный на сумму этих ячеек (см. формулу ниже).
Вектор вероятности взаимодействия с элементом является суммой извлеченных строк, деленной на сумму ячеек этих строк. Этот вектор представляет собой строку в матрице переходных вероятностей, как показано в Таблице 2.
Таблица 2 — Матрица вероятности взаимодействия с учебными материалами
| Ресурс 1 | Ресурс 2 | … | Ресурс n | |
| Ресурс 1 | p11 | p12 | … | p1n |
| Ресурс 2 | p21 | p22 | … | p2n |
| … | … | … | … | … |
| Ресурс n | pn1 | pn2 | pnn |
Одним из основных этапов в рекомендательной системе на основе цепи Маркова является векторное произведение начального вектора I и матрицы переходов T.
В результате получаем уравнение, которое является вектором R, содержащим вероятности доступа к ресурсам системы активным пользователем. Значения вероятностей необходимо отсортировать по убыванию. Затем данные ресурсы системы (уроки, видеоролики, задания) будут с наибольшей вероятностью рекомендованы активному пользователю.
Данный подход находит большое применение при дистанционном обучении. Зачастую студенту для более детального погружения в предметную область необходимо самостоятельно осваивать новые материалы. В таких случаях сложно найти наставника, который может оказать помощь и посоветовать необходимый материал и курс, который позволит подробно изучить предметную область или выполнить лабораторные задания, чтобы получить практические навыки. В этом случае помогают интеллектуальные системы, которые выступают в роли «тьютора», за счет интеллектуального механизма формирования рекомендаций в виде видеоматериалов, учебных пособий, лабораторных работ. Они способны выстраивать рекомендации не только на те материалы, которые напрямую необходимы для изучения предметной области, но и также на сопутствующий материал, который потребуется в процессе обучения. Раскроем данную концепцию на одном примере. Предположим, студент обучается по направлению «Информационная безопасность» и в данный момент ему необходимо более детально изучить аспекты антивирусной защиты. В системе будут находиться материалы по основам классической сигнатурной защиты, а также по современным решениям, которые не используют сигнатуры, а анализируют файлы с применением машинного обучения, т.е. антивирусами следующего поколения. Система проанализирует актуальность материала, историю прохождения учебных материалов другими обучающимися и порекомендует материалы по антивирусам следующего поколения, так как они являются на данный момент более актуальными. Также может быть предложено пройти лабораторную работу по анализу поведения вредоносных файлов с помощью анализатора сетевого трафика. При возникновении сложности с выполнением лабораторной работы система может порекомендовать изучить сопутствующий материал, например, который связан с основами анализатора трафика Wireshark и стеком протоколов TCP/IP. Таким способом, система автоматически управляет процессом обучения, выстраивая учебный процесс посредством интеллектуального механизма построения рекомендаций.
Требования к эргономичности разрабатываемой системы
При создании любого сервиса, к которому также относится система электронного обучения перед созданием сервиса, продумывается его функциональность, в том числе чтобы конечная система была эргономичной и понятной для ее пользователя, а также не создавала дополнительных сложностей для администратора в процессе управления ею. Так как используется Марковская модель для формирования параметров начального состояния, которое характеризует нового пользователя системы в виде оценок первых понравившихся ресурсов (контента системы), чтобы рекомендовать интересные элементы системы конечному пользователю, то разработчик должен продумать процесс сбора всех необходимых параметров. И это можно начать делать с самых первых шагов пользователя по сервису. Создать портал пользователя, где ему необходимо внести данные, чтобы сформировать профиль в личном кабинете, заполнить ключевые поля, такие как: интересы, сфера деятельности, образование и пр. Это позволит пользователю уже после регистрации получить рекомендованный контент. Тут возникает вопрос, а кто рекомендует данный контент? Рассмотрим 2 случая:
- Только что созданный сервис и не имеет пользователей. В данном случае разработчикам необходимо продумать различные параметры, по которым тот или иной контент будет входить в рекомендованные. Примером является использование ключевых слов или хеш-тэгов. Но, в данном случае пользователь может получить очень много ненужного контента особенно в случае, если ключевое слово или хеш-тэг упоминается в контенте косвенно. Тут уже необходимо использовать связку ключевых и хэш-тегов и выводить их на первые места в рекомендуемых.
- Сервис работает давно и имеет пользователей. В данном же случае Разработчики, помимо тех параметров, описанных в п.1, используют новые параметры. Как правило это система оценки контента. Если информация имеет большое количество просмотров, ее добавляют себе в закладки или в избранное, или хотя бы просто отмечают, как понравившееся, то такой контент будет попадать в топы рекомендуемого. Начинающий пользователь будет получать рекомендованный контент, но уже не от разработчиков, а от самих пользователей сервиса.
Но, так как мы хотим использовать систему прогнозирования, то необходимо произвести анализ существующих пользователей, чтобы дать данные искусственному интеллекту. Для этого необходимо обеспечить сбор данных о пользователях, которые уже пользуются сервисом. Производить сопоставление нового пользователя со всеми существующими пользователями по ключевым параметрам и предлагать новому пользователю контент, который ему подойдет.
Следующим же этапом является то, когда пользователь уже провел какое-то время в системе. Например, что он отметил какой-либо контент, как понравившийся или добавил его к себе в избранное. В данном случае разработчики должны учесть, что система, а в частности ИИ, смогла переучится, и начать выдавать контент, который более близок начинающему пользователю. Таким образом, искусственный интеллект системы должен всегда обучаться и подстраиваться под желания пользователя.
При разработке сервиса, необходимо учитывать его эргономику. Так как в понятии используются два объекта (человек и система), то необходимы учитывать особенности этих объектов и особенности (параметры). Проектирование пользовательского интерфейса базируется на дисциплине «Человеко-компьютерное взаимодействие» (HCI – Human-Computer Interaction), которая изучает, как люди используют компьютерные системы, чтобы решить поставленные задачи.
Пользовательский интерфейс, являющийся связующим звеном в системе «пользователь-компьютер», должен способствовать комфортной работе пользователя, учитывая его ограничения и возможности (психологические, физические и другие) по получению, обработке и хранению информации.
Заключение
Таким образом, в статье было рассмотрен подход к построению рекомендаций электронных ресурсов в электронных образовательных средах с помощью цепей Маркова посредством формирования вектора начального состояния, описывающих сами рекомендации, используя информацию пользователей со схожими профилями, взаимодействовавших со схожими образовательными ресурсами в одинаковые временные промежутки. В дальнейших исследованиях будет произведен анализ эффективности и точности предложенного подхода.
Читайте также
Библиографический список
- Drachsler, H., Verbert, K., Santos, O.C., Manouselis, N. “Panorama of recommender systems to support learning,” in Recommender systems handbook. Springer, 2015, pp. 421– 451.
- Ding, Y., Li, X. “Time weight collaborative filtering,” in Proceedings of the 14th ACM international conference on Information and knowledge management, 2005, pp. 485–492.
- Янаева, М.В., Синченко, Е.В. Исследование работы рекомендательных систем [Текст] / М.В. Янаева, Е.В. Синченкова // Электронный сетевой политематический журнал «Научные труды КУБГТУ». – Краснодар, 2017. – С. 104-114.
References
- Drachsler, H., Verbert, K., Santos, O.C., Manouselis, N. “Panorama of recommender systems to support learning,” in Recommender systems handbook. Springer, 2015, pp. 421– 451.
- Ding, Y., Li, X. “Time weight collaborative filtering,” in Proceedings of the 14th ACM international conference on Information and knowledge management, 2005, pp. 485–492.
- Yanaeva M.V., Sinchenko E.V. Study of recommendation systems [Issledovaniye raboty rekomendatel’nykh sistem] / M.V. Yanaeva, E.V. Sinchenkova // Electronic network poly-theme journal “Scientific Proceedings of KUBGTU”. – Krasnodar, 2017. – – С. 104-114.
