Как и зачем мы решили определять качество онлайн-курсов
Мария Стефова
Продакт-менеджер Нетологии
С развитием продукта и ростом аудитории у Нетологии острее встал вопрос, насколько качественные продукты мы предлагаем пользователям. Но как определить качество онлайн-курса? Ответить на этот вопрос было непросто, потому что не было точного понимания, что именно считать качественным курсом. Как внутри компании, так и на рынке в целом каждый понимал под этим словосочетанием что-то своё.
Мы решили придумать систему, в которой качество можно было бы посчитать в цифрах. И на основе этой системы оценивать работу по разработке онлайн-курса и образовательного процесса.
Такой подход позволил бы не только объективно оценивать качество онлайн-курсов, но и оптимизировать ресурсы — тратить дополнительные средства на доработку только тех продуктов, которые действительно в этом нуждаются.
Стандартные показатели — NPS, CSI, COR — верхнеуровневые: они не показывают проблемные места и не покрывают все важные аспекты образовательного продукта. Мы измеряем и следим за ними, но для полноценной оценки их не хватает. К тому же они недостаточно репрезентативны, так как каждая платформа считает их по-разному в отношении разных сегментов аудитории. Так, у одних NPS доходит до 80%, а у других — всего 20%. Такие расхожие данные неинформативны.
Поэтому мы сфокусировались на концепции «Выгоды и свойства» — какую выгоду приобретает студент при покупке продукта и какими свойствами продукта эта выгода обеспечивается. Так появилась наглядная таблица соотношения выгоды для студента и свойств отдельного онлайн-курса. Дальше нам нужно было определить метрики для измерения этих свойств.
Из каких этапов состояла разработка концепции оценки качества — и что получилось
Разработкой концепции «Выгоды и свойства» занималась небольшая команда из продакт-менеджера, аналитиков, специалистов Учебно-методического отдела и директора образовательного продукта.
На первом этапе обсуждалась сама концепция, какие задачи она должна решать и какую цель мы хотим с помощью неё достигнуть.
Далее, перед тем как составить опрос с выбором ответа, мы провели опрос без выбора ответов с помощью внутреннего кол-центра.
Следующим этапом мы провели исследование в формате опроса — как пользователей Нетологии, так и пользователей других онлайн-платформ. Для привлечения респондентов мы разослали форму опроса по базе Нетологии, а также привлекли агентство для поиска и сбора мнений людей, которые относятся к нашей целевой аудитории, но никогда не учились в Нетологии.
В исследовании приняли участие 1 187 человек, которых попросили ответить на следующие вопросы:
Сколько вы самостоятельно потратили на образование за последний год?
Что вам важно во время обучения?
Что вам кажется лишним на курсах в процессе обучения?
Что вас отталкивает от покупки при выборе онлайн-курса?
Какую длительность онлайн-курса вы считаете оптимальной для себя?
Какой результат вы ждали от последнего обучения, который вы проходили или проходите сейчас?
Выберите три решающих фактора для покупки онлайн-курса.
Выберите главную цель обучения.
Ответы на вопросы показали, что для студентов важно и какие выгоды они хотят получать при покупке курса.
Также мы провели интервью с руководителями каждого направления обучения Нетологии: интернет-маркетинг, управление продуктом, программирование, дизайн, аналитика и Data Science. Мы узнали, как внутри направления видят оценку качества продукта и свойства качественного онлайн-курса.
Полученные из двух источников данные объединили и получили сводную таблицу из шести выгод пользователя:
- усвоение — «программа курса выстроена таким образом, чтобы я легко усваивал необходимые мне знания и навыки»;
- практика — «я получу навыки и знания, которые применимы на практике»;
- сопровождение — «меня мотивируют к обучению и сопровождают в ходе него, чтобы я доучился до конца»;
- диплом — «у меня будет официальный документ, подтверждающий мой уровень знаний»;
- обратная связь — «я получу ценный фидбек от отраслевых экспертов»;
- трудоустройство — «при необходимости мне помогут в поиске работы».
Из этого следует, что качественный онлайн-курс должен обладать свойствами, которые обеспечивали бы выгоды для пользователя. Мы задумались, какими метриками можно их измерить и обратились к данным, которые были в компании.
На данный момент сформулировали метрики для всех выгод, кроме трудоустройства — эти метрики в процессе разработки.
Вот как выглядят метрики выгод «Усвоение», «Практика», «Сопровождение», «Диплом» и «Обратная связь»:
То, что не могли на тот момент измерить метриками из-за отсутствия данных, мы заносили в чеклисты Учебно-методического отдела.
Перед началом разработки нового курса специалисты этого отдела проводят исследование рынка и интервью с работодателями. Это позволяет убедиться, что темы курса соответствуют запросам рынка. Таким образом мы постепенно собирали недостающие метрики.
Как стали измерять качество образовательного продукта
За каждую выгоду для пользователя курс получает максимум 20 баллов. По каждому набору студентов на каждом онлайн-курсе измеряется индекс качества от 0 до 100 баллов. Они интерпретируются следующим образом:
- больше 70 — всё отлично, качество в норме;
- 60‒70 — есть над чем поработать;
- меньше 60 — качество ниже нормы, стоит обратить внимание.
На основе метрик собирается отчёт по качеству в Tableau. Он наглядно показывает рост или падение индекса каждого конкретного продукта в разрезе по каждому направлению обучения. Отчёт включает в себя шесть уровней оценки:
Антитоп курсов. Выводится 10 курсов по каждому направлению обучения с самым низким рейтингом. Рейтинг курса — это сводный показатель, которые складывается из оценок по выгодам (максимум — 100 баллов).
Оценки за выгоды. Выгоды также оцениваются в баллах, и каждая будет иметь разный вес в зависимости от того, что важно пользователю. На текущий момент мы измеряем 5 выгод, одна — в разработке.
Значения метрик курса. Это усреднённый количественный показатель по свойствам курса. На этом уровне можно посмотреть сводные метрики по курсу в целом. Каждая метрика имеет норму и отклонение.
Показатели по метрикам. Раскладываем метрики курса на конкретные значения по гранулам и занятиям.
Рекомендации от Учебно-методического отдела и команды обучающей платформы (LMS, Learning Management System), как можно улучшить метрику.
Сводный индекс качества по направлению обучения. Средний показатель индекса качества рассчитывается на основе всех завершившихся в исследуемый месяц курсов.
По отчёту видно, нужно ли какие-то курсы взять на переработку в первую очередь. Кроме того, отчёт на основе метрик показывает точечные проблемы внутри конкретного курса.
Метрики отчёта по качеству собираются без перерыва и формируются в сводные таблицы, в которых видны результаты оценки по месяцам. Таким образом, между собой сравниваются отдельные направления обучения, курсы в рамках каждого направления, отдельный курс от набора к набору.
Отчёт каждый месяц показывает, где и что просело или подросло. Зелёным цветом подсвечивается то, что имеет хорошее качество, — более 70 баллов. Что меньше 60 баллов — отображается красным и означает существенную проблему. Диапазон от 60 до 70 баллов считается средним показателем — на курсе есть на что обратить внимание и улучшить.
