Диванная аналитика №49. третий вид лжи – статистика и отчеты

      Комментарии к записи Диванная аналитика №49. третий вид лжи – статистика и отчеты отключены

Существует три вида лжи: неправда, статистика и наглая ложь.

Бенджамин Дизраэли

Привет.

Мне сказочно повезло в жизни, не каждый может в один момент быть журналистом и трудиться аналитиком, корпеть над отчётами и цифрами. Полное погружение в эти сферы деятельности разрешило мало в противном случае посмотреть на то, как люди реагируют и трактуют отчеты исследовательских компаний, применяют «здравый» суть, что им подсказывает, что именно обрисовывала большая корпорация в собственном официальном отчете.

К сожалению, большая часть исходит из предпосылки, что корпорации и исследовательские компании не имеют задачи одурачить кого-либо, выступают как кристально честные организации, но это обычно не так. Появляется когнитивный диссонанс, что выстраивает из верных утверждений совсем неверную картину мира. Время от времени компании поддерживают появившиеся мифы и культивируют их чтобы добиться собственных задач.

Давайте давайте разберемся в том, как они это делают, какие конкретно приемы применяют и что из этого получается.

У каждого второго в метро…

Но начну я все-таки со здравого смысла простых людей, каковые собственный личный опыт проецируют на оценку всего рынка в рамках одной страны либо кроме того континента. Самые храбрые могут переносить собственные наблюдения на всю землю и уверены в том, что они никак не ошибаются. Одна из самых нередких фраз, каковые я слышу в качестве доказательства превосходства того либо иного устройства (производителя), звучит так: «У каждого второго в метро телефон Х».

Перед нами хорошее заблуждение, которое связано сходу с несколькими проблемами статистики:

  • репрезентативностью выборки;
  • точностью измерения;
  • трактовкой результатов.

Давайте предположим, что метро есть одним из главных видов транспорта в Москве, но в других городах оно может отсутствовать. Возможно ли будет изучение из столичного метро перенести на Тверь либо Владимир, города, каковые сильно отличаются по количеству населения, средней заработной, образу судьбы? Здравый суть подсказывает, что этого сделать запрещено.

Кроме этого возможно высказать предположение, что люди в этих либо любых иных городах в чем-то будут похожи на москвичей, а в чем-то будут различаться. Выводы, сделанные для Москвы, не будут применимы к этим городам, не будут репрезентативными.

Но может ли выборка в метро стать показателем того, какими устройствами пользуются люди в Москве? Непременно, она может дать итог, в случае если метрополитеном будут пользоваться все подряд люди, находящиеся в собствености к различным социальным слоям. К сожалению, возможно с жёсткой уверенностью заявить, что автолюбители практически не пользуются метрополитеном, в противном случае отечественные дороги были бы не так загружены.

Кое-какие из автолюбителей спускаются в метро, применяют его частенько, вместе с тем они пользуются и автомобилями. Давайте посмотрим на другую социальную группу, которую выделим по показателю профессии, это будут таксисты. Заметить водителя такси в метро куда сложнее, чем одного из обладателей телефонов как следует, а эти люди кроме этого спускаются в подземку.

В 90-е годы мне понравился опрос, что совершили для одной автомобильной компании, что собиралась начать продажи в Российской Федерации. Исследователи отличались сообразительностью и умом, трудились в большой интернациональной компании и сделали вывод, что выискивать автолюбителей на улицах города – это сложно, несложнее спуститься в метро, где в потоке пассажиров они скоро соберут необходимую информацию для собственных анкет.

Эти парни создали шедевр, что для меня стал мерилом человеческой глупости и идиотизма. Горе-исследователи составили анкету, в которой был таковой вопрос: «На каком автомобиле вы в большинстве случаев предпочитаете ездить?». Данный вопрос шел вторым либо третьим в перечне, состоящем всего из пяти вопросов.

Отечественные люди в метро отличались здоровым эмоцией такта и юмора и отвечали на эти вопросы так, как им казалось верным. В следствии изучения оказалось, что большая часть людей из метро являются обладателями Bentley, Mercedes, и вторых люксовых марок. А количество автомобилей, каковые были у людей в применении, выяснилось равным 98% при выборке из 600+ человек.

Поразительные результаты, каковые говорят лишь одно: составители методики изучения были клиническими идиотами, каковые кроме того не вспоминают о том, что они делают и для чего.

Департамент IT Москвы весьма обожает делиться различной статистикой, среди них и о том, кто и с каких телефонов пользуется Wi-Fi в столичном метро. Это изумительный пример неправильной выборки, которую нереально перенести на целый город. Из-за чего?

Ответ кроется в том, что в метро Wi-Fi применяют не сто процентов всех пассажиров, а лишь их малый часть. К примеру, с телефонов одного из брендов продолжительное время было нельзя выйти в Wi-Fi-сеть метро, и их не было в отчетах (при заметной доле рынка на земле, а также при передаче данных). Это техническое ограничение, которое оказывало влияние на итог.

Возвратимся к тому примеру, в котором люди утверждают, что около они видят лишь телефоны Х, пускай это будет метро либо работа, любое иное место. Я постоянно отвечаю приблизительно так: у меня на столе лежит одна кнопочная Nokia и еще порядка десятка смартфонов Lumia, вторых телефонов нет. По всей видимости, во всем мире победили Lumia. есть ли такое предположение честным?

Конечно же, нет, это передергивание фактов, которое совсем не говорит о том, сколько и какие конкретно телефоны имеется на руках у людей.

В 2014 году марка Fly в первый раз заняла 10 процентов русского рынка в штучном выражении. В то время, к примеру, компания Apple занимала лишь 7 процентов рынка в Российской Федерации. Но в то время, когда пошли статье о доле рынка Fly, то у людей появилось множество вопросов:

  • Кто берёт Fly? Где они берут эти телефоны, я их ни при каких обстоятельствах не видел в продаже;
  • Ни при каких обстоятельствах не встречал пользователей марки Fly, они существуют в природе?;
  • В метро нет телефонов Fly;
  • Среди моих друзей, а их довольно много, никто не слышал, как вариант, не пользовался телефоном Fly;

А дальше следовал простой вывод – «вы все лжёте». В исследовательских компаниях прекрасно знают это свойство людской натуры, кроме этого с ним привычны рекламщики. Привычные марки, явления и предметы люди смогут вычленять из информационного потока, тогда как незнакомые для себя вещи они игнорируют.

Это свойство отечественной психики, которое не имеет отношения к объективным параметрам предметов. Попытайтесь совершить опыт над собой. Пролистайте толстый глянцевый журнал и позже попытайтесь отыскать в памяти, рекламу каких марок вы видели. Выпишите их на бумажку.

А позже сравните с тем, что вы пропустили. Уверен, что вы забыли про те имена, что вам не весьма близки либо увлекательны. Если вы не делали над собой упрочнения и не заучивали заглавия, то все будет как раз так.

Реклама от Apple заведомо воспринимается лучше, чем от любого Б-бренда либо компании ниже уровнем. Как следствие, одинаковый рекламный модуль будет восприниматься совсем по-различному, более того, отдача от таковой рекламы при ее однообразной стоимости кроме этого будет различаться.

Свойство отечественной психики замечательно растолковывает то, из-за чего человек видит в руках у других людей так много iPhone, Galaxy, Lumia либо кроме того Blackberry, а другие их редко встречают либо не подмечают. Мы вычленяем то, что нам близко, да и то, что мы уже знаем. Любое бытовое наблюдение не имеет возможности претендовать на точность, на примере метро возможно кроме этого сказать о том, что не все люди в вагоне достают свои телефоны и берут их в руки.

У большинства людей несколько, а два телефона, что кроме этого искажает картину. Могу накидать еще большое количество аргументов против того, что наблюдения не являются правильными, но не буду этого делать, поскольку главное уже сообщено.

Точность измерения вытекает как из методики изучения, так и его задач. К примеру, в больших корпорациях обычно задачей ставится не объективное изучение действительности, а наоборот, создание картины мира, в которой подтверждается то, что предполагала корпорация, и это не обязательно ее достижения и успехи.

Еще одно хорошее изучение для того чтобы рода, которое в середине 90-х провели в США, это изучение проникновения интернета в маленьких городах страны. Данную работу провели в интернете! Страно, что проникновение в этом случае составило сто процентов!

Нежданно! После этого к этим цифрам добавили выборку из тех же городов, но более маленькую. В итоговом отчете исследовательская компания смело завысила уровень проникновения интернета, поскольку жонглировала данными и опиралась на собственную методику, которой не поделилась ни с кем.

Это одна из исследований и большинства ключевых проблем отчётов. Люди обсуждают цифры, не зная ничего о масштабах работы, ее методике и правилах.

В этот самый момент мы подходим к крайне важному моменту, в частности трактовке результатов, которую компании обычно оставляют пользователям и их «здравому» смыслу. Особенных высот в этом достигла компания Apple, которая перевоплотила цифры в собственный PR-оружие и умело его применяет.

К примеру, вы точно слышали, что iPhone за первые три дня достиг рекордной отметки продаж и был реализован в таком-то количестве. Это происходит ежегодно, данный не был исключением. За три дня компания реализовала 13 миллионов устройств, продажи начались 25 сентября.

Подкрепляя это классическими очередями, каковые в Apple могут создавать искусственно, они создают чувство, что это розничные продажи. В пресс-релизах не указывается, что рекорд связан не с розничными продажами, а лишь с поставками в каналы, операторам и в личные магазины. Эти телефоны будут продаваться как минимум 1.5-2 месяца, и ни о какой реализации за три дня не идет речи.

В денежных документах указывается, что единственной цифрой, которую Apple официально информирует, есть продажа партнерам (другими словами оптовые поставки либо sell-in). В теории, Apple может поведать о том, сколько аппаратов активируется каждый день, но это будут цифры, далекие от миллионов штук. За тот же третий квартал, в то время, когда компания реализовала в канал 13 миллионов новых iPhone, объем продаж составил 48 миллионов iPhone.

Те, кто верит, что Apple показывает такие продажи за эти дни, смогут подсчитать число магазинов компании, каковые реализовывают телефоны, и какое количество аппаратов в секунду они должны реализовывать, дабы выйти на половину от этого количества. Еще возможно посчитать, сколько курьеров и автомобилей должны доставлять товары. Тут возможно проверить эти цифры как угодно, но итог будет одинаковый: это фантастика, что в Apple могут реализовывать в розницу такое количество устройств за три дня.

Но в Apple не просто так едят собственный хлеб. Компания уповает на «здравый» суть, манипулирует им, воображая эти так, дабы люди не могли поразмыслить о том, что это не розничные продажи. Желаете второй пример? Как вам подход Теле2, в то время, когда в компании предлагают собственные тарифы с указанием абонентской платы за месяц?

К примеру, беря тариф «Тёмный», вы станете платить в Москве 99 рублей в месяц.

Что говорит ваш здравый суть? Что раз в тридцать дней вы заплатите 99 рублей. Так? В действительности, в случае если прочесть примечание, то выяснится, что месяц в понимании Теле2 – это 30 календарных дней, а отсчитываются они с момента начала действия соглашения, другими словами они будут плавающими. И в пользу оператора.

Но здравый суть подсказывает, что месяц – это не 30 дней как минимум для половины года. Таких примеров возможно отыскать огромное количество, они все говорят о том, что чтобы осознавать предложения компаний либо их отчетность, нужно кроме этого разобраться в том, а что же как раз они говорят, и не уповать на здравость суждений. Так как компании именно и уверены в том, что вы включите собственный здравый суть.

Про метро уверен, что вы и сами разберетесь потом, а я до тех пор пока желаю остановиться на вторых примерах того, как статистику применяют для введения в заблуждение здравомыслящих людей.

Пользователи Windows Phone больше довольны выбранной платформой

Вы довольны своим телефоном? Собакой? Машиной? Вторыми предметами быта?

На мой взор, единственным объективным отчетом о том, как доволен клиент, возможно лишь отчет о продажах компании, а вот все другое от лукавого и, в большинстве случаев, преследует совсем иные цели. Отводит глаза от неприятности, которая существует, фиксирует внимание на мнимых достижениях. Одна из уловок, каковые обожают использовать производители, да и родные к ним исследовательские компании, именуется «индекс удовлетворенности».

В большинстве случаев на это идут компании с маленькой долей рынка, в то время, когда продукты потребляют фанаты и они видят в них лишь хорошие стороны.

Итак, вот пример. В течение 2011 года компания ConsumerThink изучила 82.620 отзывов в сети о 318 смартфонах и узнала, что пользователи Windows Phone в основном довольны платформой.

Эта новость облетела солидную часть мировых СМИ, в Микрософт ее деятельно продвигали через все вероятные ресурсы. Победа! Но сейчас давайте взглянуть на график, что прикладывался к данной новости.

Диванная аналитика №49. третий вид лжи – статистика и отчеты

Обратите внимание на то, что многие издания публиковали новость без этого графика, они уже делали вывод, не показывая того, сколько собрали в отзывах другие платформы. Что делало новость еще более бетонной, получалось, что Windows Phone намного лучше, чем другие системы. Многие иные медиа график публиковали, но переделывали его под собственный формат и не показывали того, что неточность при подсчете укладывается плюс-минус в 6 процентов.

Заберите такие эти, как 1.26, 1.28, 1.31. Вы видите кардинальные отличия между этими цифрами? Они приблизительно однообразны, другими словами удовлетворенность совокупностями находится на сходном уровне.

Плюс-минус. А вдруг отыскать в памяти, что ConsumerThink честно указала погрешность, то получается, что отличие между данными нивелируется вовсе.

К методике возможно еще большое количество вопросов. К примеру, какие конкретно как раз Android-смартфоны были забраны в выборку? Лишь флагманы? Либо модели различных ценовых групп? Если судить по количеству аппаратов в изучении, в нем сравнивали груши и яблоки, другими словами недорогие, флагманы и бюджетные модели.

А восприятие таких аппаратов может различаться кардинально, что воздействует на результирующую отметку. Честным, да и то с громадной натяжкой, можно считать изучение, в котором рассматриваются устройства одного ценового сегмента, класса.

Манипулирование данными – это база современного рынка, в котором это общепринято. К примеру, сейчас уже никто не помнит о том, что первый iPhone считался простым телефоном, его в Apple не позиционировали как смартфон. Уже ко второму поколению в Apple сделали вывод, что нужно назвать его смартфоном, поскольку это разрешало уйти от борьбы со всем рынком телефонов и продемонстрировать значительную часть рынка, которая смотрелась не так плачевно.

Подобный подход не выглядит обманом, это естественно для рынка, любая компания грезит о том, дабы выйти в нишу, которую возможно назвать «голубым океаном». Пускай и с некоторыми натяжками, основное – избежать сравнения со всеми и выбрать маленький сегмент. Лучше быть громадной рыбой в мелком пруду, чем напротив.

При любом сравнении, которое приводят компании, нужно учитывать два момента. Что сравнивается? Верно ли подбираются предметы для для того чтобы сравнения? Запрещено сравнивать груши и яблоки, если вы рассказываете о различных фруктах.

Сложно сравнивать поставки и розничные продажи в оптовый канал, это различные размеры, сравнение которых безтолку.

И вдобавок крайне важно понимать, как величина А больше, чем величина Б. В случае если имеется сравнение, то необходимо знать, как отличаются результаты. Они смогут различаться на десятые доли процента, что в реальности свидетельствует полную сравнимость результата, отсутствие различий. Но в медиа такие отчеты подаются совсем в другом виде, создается чувство, что предмет А лучше предмета Б, что не есть правдой, это манипуляция.

Второй вид манипуляции – это в то время, когда компания показывает неистовый рост и это якобы говорит о положении ее дел. К примеру, компания А показала прирост продаж в 300% и сейчас собирается стать одним из фаворитов рынка.

И никого не тревожит, что на рынке в 50 миллионов штук компания А реализовала 3 телефона, а ранее реализовывала один. Это настоящий процент для роста продаж, но в отрыве от доли компании он не дает представления об ее той лиге и успехах, в которой она играется.

С математикой у пользователей не всегда прекрасно, исходя из этого компании довольно часто предоставляют эти, каковые не просто лишены смысла, а противоречат элементарной логике. Но звучно звучат. Кое-какие операторы обожают сказать о том, что цена 60 секунд за последние 20 лет сократилась на 150 процентов. Я готов стать абонентом для того чтобы оператора, если он будет доплачивать лишние 50% на мой счет.

В противном случае такие заявления никак нельзя понять.

Мусор на входе постоянно означает мусор на выходе. К примеру, какое-то время назад было популярно ссылаться на статистику от Alexa, ресурса, что собирал собственные эти, предоставляя пользователям некую программку. Неприятность заключалась в том, что большинство людей ни при каких обстоятельствах данной программы не имела, а в таких государствах, как Российская Федерация, число пользователей Alexa насчитывало пара тысяч против десятков миллионов тех, кто каждый день был в сети.

Но все выводы по размеру ресурсов, их позициям делались исходя из маленькой прослойки, не просто маргинальной, а очень нетипичной для русского части сети. Для чего всем этим людям нужна была эта веб-панель на их ПК? Неизвестно.

Еще одним примером победы «здравого» смысла над действительностью возможно назвать Яндекс.Пробки да и то, как они воспринимаются людьми. Меня умиляет, в то время, когда человек слышит о том, что в городе пробки в 10 баллов, в этот самый момент же отказывается от поездки на машине, это уже собственного рода рефлекс. Но значит ли это, что вы гарантированно попадете в пробку при поездке из точки А в точку Б? Отнюдь. Для многих маршрутов время поездки окажется простым, оно никак не изменится и будет таким же, как при пробках в 5 баллов.

Ни один индекс большого уровня не имеет возможности дать детальной информации о процессах нижнего уровня, это легко эргономичный индекс для представления происходящего. Но он вовсе не свидетельствует, что те же пробки существуют во всех районах города и стоит вся Москва.

Я имел возможность бы привести большое количество примеров, любой из которых показывал бы, как при помощи статистики, уловок и исследований компании пробуют ввести нас в заблуждение. Но неприятность содержится в том, что большинство людей с наслаждением потребляет такую данные и не вспоминает о сопутствующих подробностях. Не задает себе вопросы, а как эта информация соотносится с действительностью и каковы подробности изучения.

Вот вам еще один пример, в Motorola создали новый тип защиты для экрана в сотовом телефоне и под это совершили изучение того, как люди разбивают дисплеи, где это происходит. В изучении была цифра, которая меня покоробила и вынудила усомниться в том, что оно было совершено правильно. Компания говорит, что в мире каждый второй телефон имеет владелец и разбитый экран им пользуется.

Я продолжительно не имел возможности осознать, как возможно взять такую цифру, а после этого все разъяснилось. При опросе сервисных центров по поводу физически разбитых устройств, каковые поступают в Motorola в мире, узнается, что добрая половина из них имеет владельцы и разбитые экраны пользовались ими перед тем, как обратиться в СЦ.

Возможно задать вопросы, каковые являются проверочными. Какая часть у Motorola в мире? Какой процент телефонов ломается?

Какой процент сломанных телефонов приносят в сервисные центры? И без того потом. Уверен, что, ответив на эти вопросы, мы осознаем абсурдность утверждения, что добрая половина всех смартфонов имеет сломанные экраны и их используют .

Со своей стороны я могу призвать вас быть внимательными и думать о том, какую данные вам скармливают. Обучитесь разбираться в том, какие конкретно эти вам дают, являются ли они достаточными для анализа. Возможно ли их сравнить с другими данными, каковые вы понимаете.

Несложного пути у меня для вас нет, но если вы обучитесь это делать хотя бы в минимальном количестве, развесистая клюква не будет вас трогать и вы сможете растолковать окружающим, что с этими данными не так.

Тем, кто желает подробнее разобраться в этом вопросе, советую несложную, мелкую книгу Дарелла Хаффа «Как лгать при помощи статистики». Она была написала в 1955 году, но будьте уверены, что все обрисованные приемы дошли до отечественного времени без трансформаций. Они в ходу и сейчас, пускай графики сейчас и выглядят в противном случае, их делают блестящими, прекрасными и отвлекающими внимание.

Но сама сущность обмана осталась прошлой.

P.S. Удачи. И попытайтесь вспоминать над тем, что вы сравниваете и как, не пробуйте собственный частное перенести на всю землю.

Это самая популярная ошибка, которую лишь возможно совершить. Будьте умнее.

Интересные записи:

Долги по зарплате в Свердловской области


Еще немного статей: