Диванная аналитика №61. как телефон и ваша sim-карта могут рассказать, кто вы

      Комментарии к записи Диванная аналитика №61. как телефон и ваша sim-карта могут рассказать, кто вы отключены

Привет.

Много лет моя работа связана с тем, что сейчас именуют «big data», анализом массива информации, что разрешает окинуть взором громадную совокупность факторов и взять сведения, каковые раньше были недоступны. Так вышло, что я начал заниматься этим около пятнадцати лет назад, в то время, когда никто кроме того не заикался про «big data», а обладатели массивов информации относились к ним как к мусору, что не просто ненужен, и вдобавок и требует места для хранения.

Операторы не осознавали, каким сокровищем они владеют, а также несложная демонстрация того, прибыль и какую выгоду они смогут извлечь из собственной информации, приводила их в неописуемый восхищение. Это в 2012 году, в то время, когда термин прошлого года стал популярен, про «громадные эти» заговорили все, а кое-какие гордо утверждали, что трудятся с подобными базами уже пара лет и реализовали успешные проекты.

За некоторыми из этих проектов пряталась работа вашего покорного слуги, что собственной головой прошибал цементную стенке недоверия менеджеров разного уровня, обосновывая, что они сидят на золотой жиле и ее нужно разрабатывать. В ответ, в большинстве случаев, раздавалось сакраментальное «нас в этот самый момент хорошо кормят, для чего нам ваше Таити».

Диванная аналитика №61. как телефон и ваша sim-карта могут рассказать, кто вы

Но вода камень точит, и первые демонстрации возможностей анализа тех массивов данных, что имели операторы, выросли в отдельные проекты. Кое-какие из них носят только отвлечённый темперамент, какие-то занимательны национальным структурам и носят явную политическую окраску, а что-то применимо для бизнеса. Учитывая прогресс, случившийся в данной области за последние пара лет, не берусь делать выводы, кто и как трудится с таковой информацией, исходя из этого сосредоточусь на том, что знаю прекрасно, и попытаюсь доступно растолковать, как такие эти возможно применять для анализа абонентов либо, в случае если желаете, пользователей тех либо иных телефонов, операционных совокупностей.

Ищу старуху с детьми либо внуками, без вредных привычек

На протяжении дружеского застолья, в то время, когда менеджмент оператора громадной тройки отмечал получение собственных годовых бонусов, у нас состоялся примечательный и в чем-то пророческий разговор. В очередной раз обсуждали то, что у оператора огромное количество информации про абонентов, но вытянуть из нее что-то дельное фактически нереально.

В то время рекламные SMS-рассылки вошли в моду, но назвать умным подходом стрельбу по площадям, в то время, когда одно да и то же сообщение отправлялось всем абонентам, было сложно. Второй вариант, что операторы вычисляли «умным», заключался в выделении группы абонентов по показателю их среднемесячных трат. Так, «тяжелые» абоненты машинально становились самым лакомым кусочком, и SMS в их адрес стоило дороже, чем такое же сообщение для всех остальных без разбора.

Само собой разумеется, все осознавали, что массовая рассылка SMS злит людей, в особенности в то время, когда укороченная реклама, втиснутая в прокрустово ложе 140 знаков, стреляет мимо цели. Победи автомобиль! Возьми кредит!

Зайди в магазин за подарком! Чего лишь ни было в то время, но многие сообщения приводили к глухому раздражению у получателей, они не достигали цели и приводили к обратной реакции.

Мне пришлось нелегко, поскольку я постоянно опирался на опыт сетевых медиа, где вычисляют не только охват аудитории, но и конверсию, другими словами число тех, до кого удалось достучаться и они что-то сделали. У операторов с охватом было все замечательно, а вот за то, что они не считали конверсию для клиентов, их не следует винить. Так как в момент подсчета конверсии появлялась пропасть между запрошенным с клиента реальным выхлопом и бюджетом.

Цена активного контакта вырастала в лучшем случае до десятков американских долларов, а время от времени была равна и сотням долларов! И это совсем не шутка, на моей памяти одна такая рассылка привела целых трех клиентов в компанию с массового рынка. Заявить, что они были в ярости, значит ничего не сообщить.

Но тема была актуальной, все пробовали в ней собственные силы и по немногословному согласию сторон старались сохранить статус-кво. Операторы на всех конференциях утверждали, что такие рассылки трудятся, агентства завлекали клиентов, а последние отказывались признаваться, что спустили собственные деньги в никуда и появились в дураках.

Машинка получила и начала вовлекать все новые компании, в большинстве случаев, это были громадные корпорации, для которых вопрос SMS-рассылок стал не только модой, но и попыткой освоить новое медиа. Недолгое время рынок был диким.

Мое первое столкновение с данными операторов стало случайным, у меня попросили базу данных IMEI-номеров для различных телефонов, что продаются в Российской Федерации, дабы отыскать дедушек и бабушек в собственной базе и предложить им особенный тариф. В оператора были вдохновлены тем, что осваивают новую нишу, исследования рынка показывали, что эта ниша остается фактически незанятой, и итог мог быть весьма занимательным.

Моей задачей начало выделить телефоны, каковые были приоритетными для дедушек и бабушек, и обрисовать на основании настоящих продаж портрет клиента. По плану составителя технического задания, это разрешило бы создать модель аудитории нового тарифного замысла. Мне сама мысль тарифа для пенсионеров показалась здравой, но подход вызвал вопросы и сомнения.

Было нужно напроситься на встречу, чтобы выяснить, а чем руководствуются люди в оператора, в то время, когда они создают поле для предположений и допущений, практически имея на руках громадный пласт информации, что может повысить эффективность их рекламной компании в разы, в противном случае и на порядки. Битых три часа я растолковывал, что нужно разбирать не столько IMEI-номера, сколько поведение пользователей, и оно разрешит выделить целевую группу, которая была нужна нам для этого тарифного замысла.

Мне не верили, со мной спорили, а позже , что ни при каких обстоятельствах этого не делали и не знают, возможно ли отыскать такую данные в оператора. Забегая вперед, сообщу, что вIT-департаменте то, что мы попросили, позвало очевидный и стремительный ответ: «Вы сошли с ума, никто в мире для того чтобы не делает, это полная ерунда, и мы отвечаем решительным нет на все ваши попытки».

Пара недель я практически каждый день ездил к технарям и последовательно убеждал их, что это вероятно и не требует громадных затрат их времени. В итоге смог заинтересовать их тем, что для того чтобы никто не делал и они будут первыми в мире. Так ли это, я не знал, но весьма хотелось проверить собственные предположения на практике.

До тех пор пока шли борения с технарями, мы совершили маленькое изучение, чтобы выяснить поведенческий паттерн для старшего поколения. Так как уровень качества ответов зависит от того, какие конкретно вопросы вы задаете и как верно сформулирован запрос. Мусор на входе постоянно означает мусор на выходе, программисты прекрасно это знают на своем опыте.

Изучение стало причиной итогам, каковые были в чем-то очевидны, в чем-то неожиданны. Мы узнали, что пенсионеры в Российской Федерации весьма различаются по собственные привычкам, различия между мужчинами и женщинами разительные, так, дамы ведут более деятельный образ судьбы, тогда как мужчины предпочитают созерцательный покой. В то время проникновение SIM-карт еще было на большом растоянии от ста процентов, передачей данных практически не пользовались, а про LBS-сервисы массовый потребитель ничего не знал.

И технари срезали первую идею, что нужно проанализировать то, как передвигаются телефоны в течение дня, дабы на основании данной информации просчитать модель, кто и какой образ судьбы ведет. Во какое количество поднимаются люди, в то время, когда они приезжают на работу, кто остается дома и из-за чего. Сейчас подобный запрос хоть и выглядит сложным, не воображает трудности, любой мало-мальски большой оператор в течение дня может взять эти сведенья.

Тогда таковой запрос стал легко невыполнимым, сетевое оборудование не разрешало централизованно взять эти сведенья, а снимать ее с отдельных участков сети означало титаническую работу, овчинка не стоила выделки. Было нужно выкручиваться в условиях ограниченных примитивных интерфейсов и ресурсов, каковые не разрешали получить доступ ко всем данным, которыми владели операторы.

Чем отличается старшее поколение в собственных привычках, в то время, когда применяет мобильные телефоны? Сейчас многие его представители верны кнопочным телефонам, на протяжении той работы это всегда были кнопочные телефоны, причем, в отличие от сегодняшнего дня, они могли быть как дорогими, так и бюджетными. Выделить по модели телефона отечественных дедушек и бабушек не представлялось вероятным. Мы допустили, что старшее поколение не просматривает SMS-сообщения и тем более не отправляет их.

Чтобы проверить собственную теорию на практике и подтвердить ее, мы сделали выборку из номеров, каковые приобретали SMS, но ни при каких обстоятельствах не отправляли их. Биллинг показывал, что возраст обладателей номеров колеблется в широком диапазоне, от восемнадцати до шестидесяти лет, в основном обладателями были люди в диапазоне от 35 до 45 лет. Мне совсем без шуток пробовали доказать, что отечественная выборка – полная ерунда и этим людям просто бесполезны SMS-сообщения.

И девочка-маркетолог рвала на себе волосы и сказала, что все это разумеется не работает и мы напрасно тратим время. Было нужно случайным образом выбрать с дюжина номеров и позвонить по ним. В том месте, где мне отвечали, моими собеседниками были взрослые люди.

Я представлялся, сказал о том, что мы проводим изучение, и в обмен на маленький презент сказал с этими людьми. Промах произошёл лишь в двух случаях, один мужчина был жёстким экспедитором, что не применял SMS на рабочем номере, они были ему не необходимы. Второй промах с мужчиной, что в трубку сказал «Чо» и продолжительно не имел возможности осознать, что за изучение и кто мне дал его номер.

Дальше был анализ того, как выбранные по первому показателю абоненты звонят и приобретают звонки. Мы нарисовали сценарий, что обрисовывал бы поведение стариков (комплект одних и тех же номеров, приблизительно в одно да и то же время, отличия от вторых абонентов). Опущу ненужные мелочи и технические «подробности» в том сценарии, что мы придумали.

Итог был ошеломляющим, в отечественную выборку попали лишь те, кто нам был и нужен. Учитывая, что это был пилотный проект, затраты времени на него с отечественной стороны были огромными, для оператора они были малыми. В последующем данный проект взял развитие, и мы всегда улучшали точность поиска определенных социальных групп, в конечном счете дойдя от громадных сообществ – госслужащие (деление по рангу и типу чиновников), студенты, предприниматели – до в полной мере экзотических выборок, к примеру, поиска беременных либо молодых мам.

Анализ тех самых «громадных данных», что всегда был обезличенным, это в случае если внезапно кто-то, просматривая это, задумался о приватности, разрешил взять срез различных пользователей. Но это был детский лепет если сравнивать с тем, что мы обучились делать позднее. Тогда мир операторских данных лишь начинал собственную жизнь и не разрешал предугадывать поведение пользователей, их привычки либо пристрастия.

какое количество любовниц у столичного государственного служащего, либо 2.4 дамы на брата

Иногда меня приглашали как консультанта, дабы обсудить то, как вытянуть из того либо иного массива данных данные об определенной группе людей, это начало кроме того надоедать и в какой-то мере приелось. Мой хороший привычный на протяжении одной из таких встреч согласился, что тема анализа данных намного богаче, ее возможно применять как довод в общении с национальными структурами, но предлагать им чиновников и старушек как-то не комильфо, те про них и без того все знают.

Вот если бы возможно было надавить тут и пару кнопок же отыскать… Повисла продолжительная пауза и позже мой товарищ с опаской сказал: «…Тех, кто изменяет своим супругам обоего пола». Он очевидно планировал сказать что-то второе, к примеру, «коррупционеров», не смотря на то, что, думается, тогда это слово было не в ходу. Но не сообщил.

Так показался проект с шутливым заглавием «Альфонс», уже не помню, кто и из-за чего его так обозвал, но имя прилипло. Что мы делали? Сидели продолжительными днями и пробовали придумать, как создать выборку данных из стандартных, обезличенных звонков, SMS и редких интернет-сессий и выстроить социальные связи между различными объектами.

Не преувеличивая, могу заявить, что исписали мы тонну бумаги, доходило до обсуждений и драк на повышенных тонах. Полевые изучения для нас были неосуществимы, люди в большинстве случаев лгут об данной стороне собственной жизни, кроме того при неизвестных опросах. На каком-то сайте знакомств совершили онлайн-изучение с минимальной выборкой, результаты тут же отправились в помойку.

Прорыв наступил в момент, в то время, когда один отечественный товарищ решил стать подопытным зайцем и рассказал о связях на стороне. Методологически мы подошли к данной работе безобразно, но тогда отчаяние уже поселилось в отечественных сердцах, орешек не поддавался, и задача смотрелась неисполнимой. Мы оцифровали общение отечественного товарища и просто провели поиск по заданным параметрам.

не забываю, как на меня громадными глазами наблюдала отечественный помощник, наивная девчонка 18 с хвостиком лет, и сказала, что в таком-то столичном районе не имеет возможности жить так много людей, имеющих связи на стороне. Ее вера в непогрешимость данных была посильнее, чем вера в людей. Мы успокоили ее тем, что в модели возможно неточность и, возможно, многие номера из выборки – это вовсе не прелюбодеи, а дочери и любящие сыновья, каковые всегда общаются со собственными родителями либо хорошими приятелями, подругами.

Сдвинувшись с мертвой точки на отечественную модель «Альфонса» мы начали наслаивать дополнительные эти, выделили обычные паттерны поведения, обозвали их звучными именами, каковые по соображениям морали я тут приводить не буду. За одним из таких названий, как ни смешно, прятались дети, что поддерживали общение со собственными родителями, они кроме этого попали в паттерн поведения, что не был настроен правильно. Это еще один предлог заявить, что крайне важно то, что вы ищете, но еще ответственнее то, как вы это делаете и как вы понимаете свои действия.

Отправившись от обратного, мы нашли множество людей, каковые вели двойную судьбу. Контролировать на практике собственные изыскания означало вторгнуться в их жизнь, но нас уже понесло. Исходя из этого мы попытались сделать поиск по прошлым выборкам, например, забрали государственныхы служащих и стали смотреть, как их профиль отличается от среднестатистического «Альфонса».

В качестве эталонных государственныхы служащих брали не среднее по поликлинике, а тех, кто применял имиджевые модели телефонов, их выбрали вручную. Нежданно оказалось, что госслужащие вовсе не так развратны, как простые работяги. Процент тех, кто гулял на стороне неизменно, был меньше, чем у рабочего люда.

Но вот как они это делали, это песня. Как на данный момент не забываю в презентации цифру в 2.4 дамы на одного столичного государственного служащего, что гуляет. Время от времени среднее приводит вот к таким забавным выводам, каковые обескураживают.

Сложно представить государственного служащего, у которого имеется две любовницы и еще практически половинка дамы на стороне.

Не знаю, кому продемонстрировали результаты данной работы, нас попросили сделать анализ вторых социальных групп, а позже проект нежданно для всех умер. Днем ранее копошились и что-то делали, а на следующий сутки у оператора его скоро закопали и попросили о нем забыть окончательно. Это было первое столкновение с тем, что чем-то подобным занималось пара профильных ведомств, и они не захотели, дабы кто-то залезал на их поляну.

В неформальном беседе нам всем дали совет «копаться в собственном ****** маркетинге и не лезть в чужой огород, где играются громадные дяди». Учитывая бледный вид всех причастных к тематике, мы сочли наилучшим воспользоваться советом и копать то, что весьма интересно нам, а заодно не вызывает таковой ревности у возделывающих «Биг Дату» на соседней делянке.

Да и без доброй воли оператора, что предоставляет доступ к своим данным в опосредованном виде, что-то делать нереально, все зиждется на изначальной информации. Сокровище в том, как задавать вопросы, непременно, имеется. Но уровень качества таковой работы не так принципиально важно, тут не нужно самообмана, существующие совокупности автоматического анализа данных уже могут строить сложнейшие социальные связи и выступают в качестве ищеек.

Они смогут отыскать и раскрутить сложнейшие правонарушения в автоматическом режиме, легко разбирая поведение телефонов, а также их передвижение, звонки, применение сети и тому подобное. Это громадный массив информации. Если вы еще верите в очень способных сыщиков, каковые по горячим следам смогут обнаружить преступников в знаковых событиях, то не следует этого делать.

Большая часть стран сейчас надеется на информационные совокупности, ищейки, каковые смогут сделать это намного действеннее. Не всегда, но как правило. Одним из примеров для того чтобы рода может служить история про русскую девочку, которая якобы стала жертвой насильников в Берлине. Ее история не выдержала проверки автоматической совокупностью, а вовсе не полицией.

И в развитых государствах подобные разработки уже употребляются на полную катушку, не смотря на то, что доступ к ним имеет маленькой круг лиц, включая полицию, Министерство внутренних дел и тому подобные организации. До тех пор пока это удел маленького числа избранных, для которых данный инструмент открывает широчайшие возможности по поиску как определенных людей, так и их категорий.

Террористическая атака в Париже продемонстрировала, что Франция манкировала созданием таких совокупностей все эти долгие годы а также не вспоминала об их построении, в отличие от Германии. Да и опыт других государств, где за эти годы предотвратили важные террористические атаки, показывает, что подобные ищейки делают собственную работу прекрасно.

Это инструмент в руках людей, он может служить во благо, быть может стать и собственной противоположностью для поиска инакомыслящих и их искоренения, совсем как в фантастических произведениях. Китай, первым вступивший на эту тропу, так и не создал рабочую совокупность, в отличие от государств, что испугались его главенства в этом направлении и ринулись осваивать подобные разработки.

По понятным обстоятельствам в общедоступной литературе вы не отыщете никаких упоминаний того, что страны заняты обработкой таких «громадных данных», а всех, кто говорит об этом, именуют фантазерами. Защитная реакция, которая пробует сохранить в тайне разработку, дающую определенные преимущества.

владение и Уровень образования Lumia в Российской Федерации, про маргиналов

Совсем не желаю выдавать национальные секреты, пускай они касаются и других государств. Давайте взглянуть на мое утверждение, которое приводило к обиде у большинства людей и они приняли его как оскорбление на собственный персональный счет. А я всего лишь констатировал факт, что обладатели смартфонов Lumia отличаются нехорошим образованием, низкими доходами и являются маргинальной группой по отношению к обладателям вторых телефонов.

Поверьте, что столько экспрессии и агрессии в собственный адрес я не слышал в далеком прошлом. Особенную пикантность агрессии придавали испорченные слова, каковые выдавали нехорошее владение русским языком и низкий уровень образования. Но собственные выводы я сделал вовсе не по стилю письма этих людей, а руководствуясь анализом тех самых «громадных данных».

Разрешу себе маленькое отступление в сторону объяснения значения слова «маргинал». У меня имеется недочёты в университетском образовании, поскольку, не обращая внимания на 90-е годы, нас заставляли обучаться как тогда, так и позднее в аспирантуре. Из того времени я вынес четкое определение: маргинал – это человек, что живет на стыке культур, социальных групп, перенимает разные сокровища от них, но не имеет единой совокупности, обычно его убеждения имеют множество внутренних противоречий.

В Российской Федерации с подачи свободной и в большей мере желтой прессы это слово купило совсем иное значение, маргинал стал синонимом люмпена, а кое-кто продолжил ассоциативный последовательность а также вычисляет это определение тождественным быдлу. Конечно же, это не верно, по крайней мере, я не вкладываю для того чтобы значения в это слово и придерживаюсь его простой, общемировой трактовки. Не без умысла, поскольку применение для того чтобы определения прекрасно вскрывает чувстве людей и проявляет их в поступках.

Число маргиналов в любом обществе незначительно, соответственно, доказать то, что Lumia – не самый популярный аппарат, возможно весьма легко, нужно взглянуть на использования и цифры продаж этих телефонов. Цифры говорят сами за себя, эта совокупность есть самой неуспешной на рынке от корпораций для того чтобы размера. Так, не обращая внимания на агрессивную и дорогую рекламу от Микрософт, Windows Phone не стал популярен в широких кругах, его выбирают клиенты со смешанными ориентирами и обычно противоречивыми идеями, что как раз-таки превосходно описывается определением маргинала.

Сейчас давайте разберемся с тем, как возможно выяснить доходы человека по его телефону. Ответ несложной – никак! Это нереально. А также по одежде нельзя понять, что за человек перед вами. В случае если взглянуть на траты с его банковской карты, то это возможно определить, но у меня нет таковой возможности. Но проанализировав траты на сообщение да и то, как обладатели Lumia ей пользуются, возможно очень многое определить о них. Достаточно взглянуть на то, какими являются средние затраты на абонента (ARPU).

Данный показатель вдвое ниже, чем для пользователей Android-смартфонов, каковых большая часть на рынке. А это значит, что Android применяют как дворники, так и предприниматели, другими словами ARPU будет тяготеть к более низкому среднему значению. И, к примеру, добиться высоких значений легче, в случае если у вас прослойка обеспеченных пользователей.

К примеру, те немногие, что пользуются в Российской Федерации смартфонами Blackberry, тратят на сообщение больше, чем каждые иные обладатели смартфонов. Не оттого, что у них дорогая сообщение, а по причине того, что у них второй образ судьбы. А вот на Lumia добрая половина пользователей в Российской Федерации совсем не пользуется осознанной передачей данных, другими словами что-то запрашивают сами телефоны, но это мизер. Воображаете современного и образованного человека, что своим телефоном пользуется лишь для звонков?

Конечно же, это отечественные бабушки, дети и применяющие Lumia в качестве звонилки и второго телефона. В этот самый момент ничего нельзя сказать о том, что это необеспеченные люди. Но вот анализ их прошлых аппаратов за два года открывает весьма увлекательную картину (заодно возможно взглянуть, в каких телефонах жила их SIM-карта). Это недорогие и сверхдешевые телефоны, у большинства Lumia – это первый сенсорный телефон (детей возможно вычеркнуть сходу, в особенности в случае если срок судьбы SIM-карты достаточно велик).

И вдобавок возможно отыскать в памяти, что в роуминг ни по стране, ни по миру обладатели бюджетных Lumia не ездят. А процент бюджетных Lumia в неспециализированных продажах этих телефонов превышает 80, другими словами их большинство.

Возможно развивать идея и дальше, приводить точки для анализа, но для чего? Все равно найдутся те, кто посчитает это надуманным и притянутым за уши. С 2002 года мне довольно часто говорят, что посредством «громадных разрешённых» нельзя сделать то либо это.

Быть может, что вы не имеете возможность этого сделать, поскольку не можете либо не понимаете, как это делать. А основное, не имеете возможность отыскать точку входа чтобы получить информацию для анализа. Но это вовсе не означает, что другие не обучились этому и не смогут выполнить такую работу.

Пара историй из собственной практики, каковые я поведал, – это всего лишь эпизоды и вовсе не то, чем я занимаюсь каждый день. разминка и Интересные задачки для ума, каковые подвернулись как побочные проекты на отечественном рынке. И вовсе не стали главным направлением для деятельности, не смотря на то, что в середине 2000-х многие думали, что нужно кинуть все и, как в омут с головой, погрузиться в такие проекты.

Не уверен. Это весьма интересно делать в первый раз, а вот проделывать повторно одинаковые трюки скучно, это как перекладывать коробки из точки А в точку Б. Мне всегда было весьма интересно пробовать что-то новое, а когда осваиваешь что-то, теряешь к этому умению интерес. Надеюсь, вас развлекли эти истории и продемонстрировали, что анализ разрешённых может рассказать про вашу жизнь.

В случае если сказать кратко, он может поведать все.

Интересные записи:

Телефон не видит сим-карту? Не беда — исправляем эту ошибку!


Еще немного статей: