Поведение онлайн-студентов: повышаем эффективность курса при помощи статистики

Теме больших данных посвящают книги, конференции и исследования. Они помогают персонализировать рекламные сообщения, изучать болезни и обеспечивать безопасность на дорогах. Все это кажется очень далеким от дистанционного обучения. Но что, если работать с данными можно и нужно всем, кто создаёт онлайн-курсы?

Почему это важно?

Недостаточно просто разработать онлайн-курс. Учебный процесс, будь то в мессенджере или СДО, нужно контролировать. Сбор отзывов, коррекция программы, работа со студентами – все это является неотъемлемой частью качественного дистанционного обучения.

Ничего не мешает студентам пропускать материалы, подбирать ответы на тестовые задания методом тыка, списывать. Человеческий фактор и технические ошибки в курсе тоже никто не отменял. Выявить подобные проблемы можно с помощью аналитики больших данных.

Какие данные можно получать и где их брать?

Все, что требуется для получения статистики, – настроить процесс сбора данных о каждом шаге поведении обучающихся в дистанционном курсе. Для этого достаточно выбрать маркетинговую (Яндекс.Метрика, Google Analytics) или специализированную систему аналитики (Курсометр, Watershed).

Второй способ тоже имеет ряд недостатков, но уже технических. Например, в курсах должен использоваться стандарт передачи данных xAPI или CMI5 для отображения полной картины.

Что дальше?

Как только выбранная система настроена, а студенты начали проходить курс, можно приступать к анализу данных. Для первичной оценки ситуации специализированных знаний не потребуется. Разберем на примере.

Дано: обучающая программа для менеджеров по продажам

Задача: выявить причины низкой оценки курса

Прежде всего стоит обратить внимание на комментарии обучающихся, так как в большинстве случаев обратную связь оставляют, когда что-то не работает или этого требует начальство. Если же онлайн-курс студентам понравился, то вряд ли они об этом напишут. Такое поведение встречается повсеместно и сфера обучения не является исключением.

После просмотра комментариев мы отчетливо видим причину низкой оценки – прогресс курса не сохраняется и пользователям приходится перепроходить его раз за разом, чтобы получить свою заветную “галочку”.

Подобным образом можно анализировать не только обратную связь, но и каждую контентную единицу программы.

Так просто?

Конечно же, нет!

Всего в аналитике обучения можно выделить 3 этапа:

• Оценка ситуации и выявление проблемы
• Поиск причины
• Работа с гипотезами

В случае с комментариями нам просто повезло, что слушатели начали оставлять жалобы. В противном случае, выявить, почему оценка снижается, было бы гораздо сложнее. Рассмотрим на примере.

Дано: обучающий курс для сотрудников отдела обслуживания клиентов

Задача: оценить качество тестирования

Для решения подобных кейсов нам понадобится отчет по каждой контрольной точке. Чтобы не проверять все блоки вопросов, которых в одном курсе может быть больше ста, выявляем задания с наибольшей разницей между количеством студентов, открывших и завершивших тест.

Также обращайте внимание на количество попыток, которые совершали обучающиеся до успешного завершения задания. Если среднее значение выше пяти, то это сигнализирует о сложности контрольной точки и/или наличии проблем с контентом: первое место в этом антирейтинге прочно закрепилось за пробелами в теоретической части курса.

У нас есть несколько тестов, которые нужно проанализировать. Рассмотрим один из них.

Исходя из данных по первой попытке, 54% пользователей отмечало неверный ответ. Из раза в раз ситуация повторялась, что свидетельствует о двух возможных вариантах:

• В теории неправильно подана информация
• Вопрос задан некорректно

Мы проверили первую гипотезу, но контент не содержал ничего, что могло бы запутать обучающихся. После сверки с комментариями была опровергнута и вторая версия. Так в чем же дело? Ответ мы нашли в теории, но он не соответствовал нашим изначальным ожиданиям.

Перед контрольным заданием нужно было посмотреть видео, в котором и содержался ответ на текущий вопрос. Оказалось, что около 53% студентов его пропускало. Напомним, что примерно столько же пользователей выбирало неправильный вариант.

Перед нами стояла задача проверить качество тестирования. Как мы успели убедиться, с контрольными заданиями все в порядке, проблемы обнаружились в теоретической части курса. Чтобы решить их, необходимо разбирать видеоматериалы и вносить в них изменения.

Как это влияет на эффективность курса?

Если отбросить все стандартные определения и формулы, то цель обучения заключается в изменении поведения пользователя на рабочем месте. И тогда можно говорить, что эффективность онлайн-курса зависит от:

Актуальности информации

Не думайте, что можно создать один курс и повторять заезженный материал годами. Первый поток еще не закончил обучение, а информация уже устарела. Пересматривать контентную начинку нужно хотя бы каждые полгода.

Корректных технических настроек

Если студентам придется зацикливаться на том, как им пройти курс, а не на том, что из него вынести, то о какой эффективности мы вообще говорим?

Формата обучения

Пользователи проходят программу по дороге на работу? Тогда лучше всего записать подкаст. Читают учебные материалы в метро? Значит подойдет формат лонгрида и т.д.

Подачи материала

“Говорящая голова”, монотонная речь, часовая лекция – с такой подачей потока положительных отзывов о курсе ждать не приходится.

Сложности контента

Это касается не только теории, но и практики. Едва ли стоит забрасывать новичков сложными терминами или разжевывать элементарные понятия опытным специалистам.

Большие данные отражают каждое действие студента в онлайн-курсе и помогают выявить не только все перечисленные проблемы, но и причины их возникновения. А это значит, что благодаря статистике вы можете:

• Экономить время и деньги на бесполезной погоне за трендами
• Влиять на поведение обучающихся
• Вовлекать слушателей в учебный процесс, а не заставлять их грызть гранит науки из-под палки
• Подбирать форматы обучения в соответствии с потребностями целевой аудитории
• Выстраивать гипотезы, подтверждать или опровергать их опираясь на конкретные цифры

Она объективно и непредвзято отображает реальную ситуацию в онлайн-курсе и напоминает о том, что после запуска работа над ним не заканчивается, а только начинается.