Средняя, медиана и мода: почему средняя обманывает
Коротко. Средняя — сумма всех значений, деленная на их количество. Медиана — значение ровно посередине упорядоченного ряда. Мода — то значение, которое встречается чаще всего. Средняя чувствительна к выбросам: одно очень большое значение утаскивает ее вверх, и она перестает описывать типичную ситуацию. Медиана устойчива, поэтому для зарплат, чеков и времени ожидания она честнее.
Одна компания и три правды
Возьмем маленькую фирму из девяти человек. Зарплаты в миллионах сумов:
5 6 6 6 7 8 9 11 60
Последняя цифра — зарплата собственника. Посчитаем три показателя.
Средняя. Складываем все и делим на девять: сумма 118, среднее примерно 13,1 млн.
Медиана. Ряд уже упорядочен, значений девять, середина — пятое по счету. Медиана равна 7 млн.
Мода. Чаще всего встречается 6 — три раза. Мода равна 6 млн.
Теперь сравните. Средняя зарплата в компании — 13,1 млн. При этом восемь человек из девяти получают меньше . Формально цифра верна, но описывает она не реальность сотрудников, а результат присутствия одного крупного значения.
Медиана в 7 млн честнее: половина получает меньше, половина больше. Мода в 6 млн отвечает на вопрос «сколько получает типичный сотрудник».
Уберем собственника из выборки. Средняя по восьми оставшимся сразу падает до 7,25 млн, а медиана меняется незначительно — до 6,5 млн. Это и есть главное отличие: одно значение сдвинуло среднюю почти вдвое, а медиану почти не тронуло.
Средняя арифметическая
Самый известный показатель: сумма значений, деленная на их количество.
Сильные стороны. Учитывает все данные, легко считается, удобна в дальнейших расчетах. Если сложить средние по подразделениям с учетом численности, получится общая средняя — с медианой такой фокус не проходит.
Слабое место. Чувствительность к крайним значениям. Одна аномально большая или маленькая величина сдвигает результат.
Когда подходит. Когда данные распределены более-менее симметрично и без выбросов: рост сотрудников, температура за месяц, время выполнения типовой операции.
Медиана
Значение, которое делит упорядоченный ряд пополам: половина наблюдений меньше, половина больше.
Как считается. Данные сортируются по возрастанию. При нечетном количестве берется центральное значение, при четном — среднее двух центральных.
Сильная сторона. Устойчивость. Замените в нашем примере 60 на 600 — средняя вырастет до 73 млн, а медиана останется прежней, потому что ей важен только порядок, а не величина.
Когда подходит. Зарплаты, доходы, цены на жилье, средний чек, время ответа поддержки — везде, где распределение перекошено и есть редкие большие значения.
Именно поэтому серьезная статистика по доходам публикует медиану, а не среднюю: она точнее описывает положение типичного человека.
Мода
Самое часто встречающееся значение.
Сильная сторона. Единственная мера, которая работает с нечисловыми данными. Средний цвет товара посчитать нельзя, а самый популярный — можно.
Когда подходит. Категории: самый ходовой размер одежды, самый частый способ оплаты, самая популярная категория заказов. А еще самая распространенная зарплата на позиции — то, что реально предлагают чаще всего.
Слабые места. Моды может не быть вообще, если все значения уникальны. Или их может быть несколько, и тогда показатель перестает быть информативным. Кстати, наличие двух мод — само по себе сигнал: возможно, в данных смешаны две разные группы.
Как выбрать показатель
Простое правило: посмотрите на распределение, прежде чем считать средние.
Если данные симметричны и без резких выбросов, все три меры окажутся близки, и можно брать среднюю.
Если распределение перекошено — а именно так выглядят зарплаты, чеки и любые деньги — берите медиану.
Если данные категориальные, единственный вариант — мода.
Профессиональный подход: считать все три и сравнивать. Если средняя заметно выше медианы, значит, распределение вытянуто вправо и в данных есть крупные значения. Если ниже — вытянуто влево. Само расхождение между показателями уже несет информацию.
Выбросы: находим виновника
Выброс — значение, резко выделяющееся на фоне остальных. В нашем примере это зарплата собственника.
Выбросы бывают двух видов, и обходятся с ними по-разному.
Ошибка в данных. Возраст клиента 200 лет, чек на минус тысячу, дата заказа в 1970 году. Такие значения исправляют или удаляют.
Настоящее редкое значение. Крупный корпоративный заказ, зарплата руководителя, аномальная покупка. Это не ошибка, а часть реальности, и просто выбрасывать их нельзя — можно потерять важное.
Как найти выбросы формально. Есть проверенный прием на основе квартилей. Упорядочьте данные и найдите две границы: Q1 — значение, ниже которого лежит четверть наблюдений, и Q3 — ниже которого лежат три четверти. Разница между ними называется межквартильным размахом.
Значения, которые лежат дальше чем на полтора межквартильных размаха от этих границ, считаются подозрительными и требуют проверки. Это не приговор, а сигнал посмотреть внимательнее.
Практический совет: никогда не удаляйте выбросы молча. Если вы исключили их из расчета, это должно быть написано в отчете. Иначе получится та же манипуляция, только в другую сторону.
Одного числа всегда мало
Ключевая мысль, которую не проговаривают в статьях про зарплаты: любая мера центра описывает распределение неполно. Нужно еще понимать разброс.
Представьте два отдела со средней зарплатой 8 млн. В первом все получают от 7 до 9 млн. Во втором — от 3 до 20. Средняя одинаковая, ситуации совершенно разные.
Показатели разброса, которые стоит знать:
Размах — разница между максимумом и минимумом. Самый простой и самый чувствительный к выбросам.
Межквартильный размах — ширина диапазона, в который попадает средняя половина данных. Устойчив к крайним значениям, хорошо дополняет медиану.
Стандартное отклонение — среднее отклонение значений от средней. Чем оно больше, тем сильнее данные разбросаны. Считается автоматически в любом инструменте.
Правило хорошего отчета: рядом с мерой центра всегда должна стоять мера разброса. Одна цифра без второй вводит в заблуждение.
Как посчитать в разных инструментах
Excel и Google Таблицы. Функции называются почти одинаково: СРЗНАЧ для средней, МЕДИАНА для медианы, МОДА.ОДН для моды. Для разброса есть СТАНДОТКЛОН.В, для квартилей — КВАРТИЛЬ.ВКЛ. В англоязычной версии это AVERAGE, MEDIAN, MODE.SNGL, STDEV.S и QUARTILE.INC.
SQL. Здесь есть подвох, который удивляет новичков. Средняя считается функцией AVG в любой базе, а вот отдельной функции для медианы в большинстве систем нет. В PostgreSQL медиану получают через расчет процентиля:
SELECT
AVG(salary) AS avg_salary,
PERCENTILE_CONT(0.5) WITHIN GROUP (ORDER BY salary) AS median_salary
FROM employees;
В MySQL и SQLite встроенной медианы нет вовсе, и ее считают обходными путями — через оконные функции и нумерацию строк. Подробнее о них есть в отдельной статье блога.
Python. В стандартной библиотеке есть модуль statistics с функциями mean, median и mode. При работе с таблицами используют pandas, где у любого столбца есть методы .mean(), .median() и .mode(), а команда .describe() сразу выдает набор из среднего, стандартного отклонения, минимума, максимума и квартилей.
Четыре способа соврать графиком
Даже честно посчитанные числа можно подать так, что вывод получится противоположным. Аналитику важно уметь и не делать так самому, и распознавать чужие приемы.
Обрезанная вертикальная ось. Если начать шкалу не с нуля, а с числа чуть ниже минимального значения, разница в один процент превратится в визуальный обвал. Прием законный для показа динамики вблизи значений, но манипулятивный, когда цель — впечатлить. Всегда смотрите, с какого числа начинается шкала.
Выбор удобного периода. Показатель падал год, но за последнюю неделю немного вырос — и на графике только эта неделя. Формально правда, по сути обман. Спрашивайте, почему выбран именно такой отрезок.
Сравнение несравнимого. Данные за разные по длине периоды, разные регионы, разные методики подсчета на одном графике. Особенно часто встречается при сравнении «до и после» с разной сезонностью.
Искажение площадью. Когда величину показывают кружками или картинками и увеличивают их пропорционально не площади, а стороне, разница в два раза выглядит как разница в четыре.
Пятый прием, самый простой: подать среднюю там, где нужна медиана. Именно так рождаются заголовки о средней зарплате, которая не имеет отношения к большинству читателей.
Средняя по группам может обманывать дважды
Отдельная ловушка, которая ловит даже опытных.
Если разбить данные на группы, показатель может вести себя в группах иначе, чем в целом. Классический пример: конверсия сайта выросла и в мобильной версии, и в десктопной, а суммарно упала. Как такое возможно? Изменилось соотношение групп: доля трафика с мобильных, где конверсия ниже, выросла.
Мораль простая: считать общий показатель без разбивки по ключевым сегментам опасно. Первое, что стоит сделать перед выводом, — посмотреть на данные в разрезе основных групп.
Практические примеры
Зарплаты в вакансиях. Работодатели и агрегаторы могут показывать разные меры. Средняя завышена за счет топовых предложений, мода отражает то, что предлагают чаще всего, медиана — реальную середину рынка. Изучая вакансии, смотрите, какой именно показатель приводится.
Средний чек. В магазине с широким ассортиментом несколько крупных покупок утаскивают среднюю вверх. Медианный чек лучше описывает типичного покупателя, а разбивка по категориям — еще лучше.
Время ответа поддержки. Средняя в две минуты может скрывать, что часть обращений ждет ответа полчаса. Здесь принято смотреть на процентили: например, какое время ответа не превышено в девяноста процентах обращений.
Оценки студентов. Средний балл по группе скрывает, есть ли разделение на сильных и слабых. Две моды в распределении сразу покажут, что группа неоднородна.
Частые ошибки
Считать среднюю по перекошенным данным. Для денег почти всегда честнее медиана.
Показывать одну цифру без разброса. Средняя без представления о том, насколько данные разбросаны, малоинформативна.
Молча удалять выбросы. Любое исключение данных должно быть отражено в отчете.
Считать среднюю от средних. Если у отделов разная численность, простое усреднение их средних даст неверный результат — нужно взвешивание.
Игнорировать размер выборки. Средняя по пяти наблюдениям — не показатель. Маленькие группы дают самые экстремальные значения, и это статистическая закономерность, а не открытие.
Не смотреть на распределение. Прежде чем считать меры центра, стоит просто построить гистограмму. Форма распределения подскажет, какой показатель уместен.
Коротко о главном
Средняя, медиана и мода — три разных ответа на вопрос «какое значение типично». Средняя учитывает все данные, но искажается выбросами. Медиана делит выборку пополам и устойчива к крайним значениям. Мода показывает самое частое значение и работает даже с категориями.
Для денег — зарплат, чеков, доходов — почти всегда честнее медиана. Расхождение между средней и медианой само по себе информативно: оно показывает, насколько распределение перекошено.
И два правила, которые отличают аналитика от человека, просто считающего числа. Первое: рядом с мерой центра всегда должна стоять мера разброса. Второе: сначала посмотрите на распределение, потом считайте показатели.
Статистика — фундамент профессии аналитика: без нее легко сделать неверный вывод из верных данных. Освоить ее вместе с SQL, Excel и работой с базами можно на курсе Аналитик данных в PROWEB — 5 месяцев, с 16 лет. Если пока выбираете направление, пройдите бесплатный IT-тест.
Часто задаваемые вопросы
Чем медиана отличается от средней?
Средняя — это сумма всех значений, деленная на их количество, она учитывает величину каждого наблюдения. Медиана — значение ровно посередине упорядоченного ряда, ей важен только порядок. Поэтому одно очень большое значение сильно сдвигает среднюю и почти не влияет на медиану.
Почему медианная зарплата ниже средней?
Потому что распределение зарплат перекошено: небольшое число очень высоких доходов тянет среднюю вверх, а медиана остается там, где находится реальная середина. Чем больше разрыв между показателями, тем сильнее неравенство в выборке.
Что такое мода в статистике?
Самое часто встречающееся значение в наборе данных. Ее главное преимущество — она работает и с нечисловыми данными: можно найти самый популярный размер, цвет или способ оплаты, где среднее посчитать невозможно.
Какой показатель использовать для зарплат?
Медиану как основной ориентир и моду как ответ на вопрос, что предлагают чаще всего. Средняя для зарплат почти всегда завышена из-за высоких доходов небольшой части выборки.
Что такое выброс и нужно ли его удалять?
Выброс — значение, резко отличающееся от остальных. Если это ошибка в данных, его исправляют или удаляют. Если это реальное редкое значение, удалять нельзя: оно часть картины. В любом случае исключение данных должно быть отражено в отчете.
Как посчитать медиану в Excel?
Функцией МЕДИАНА — она сама отсортирует данные и найдет середину. Для средней используется СРЗНАЧ, для моды МОДА.ОДН. В англоязычной версии это MEDIAN, AVERAGE и MODE.SNGL.
Есть ли функция медианы в SQL?
Не во всех системах. В PostgreSQL медиану считают через PERCENTILE_CONT(0.5), в MySQL и SQLite встроенной функции нет, и результат получают обходными путями через оконные функции. Средняя же считается функцией AVG в любой базе.
Что такое разброс данных и зачем он нужен?
Это мера того, насколько значения отличаются друг от друга. Два набора данных могут иметь одинаковую среднюю, но совершенно разный разброс, и ситуации за ними будут разными. Поэтому меру центра всегда показывают вместе с мерой разброса.
Как понять, что графиком манипулируют?
Проверьте четыре вещи: с какого значения начинается вертикальная ось, какой выбран период, сопоставимы ли сравниваемые величины и не искажены ли пропорции при использовании фигур вместо столбцов.
