Вастрик
≡
UPD: к сожалению, этот пост не получился. Так бывает. На самом деле заложенная в него мысль была проста: вне зависимости от того, как у вас идут дела в компании, абсолютно всегда у вас будут показатели, по которым «всё просто зашибись» и одновременно с ними вы всегда сможете найти другие, которые скажут «всё очень плохо, мы завтра закрываемся». Любая компания существует в этой суперпозиции, поэтому вы всегда можете подогнать выгодный именно вам график и объявить себя «data driven», а всех остальных — отрицателями науки и невеждами. Сам проверял, работает почти всегда.
Хомосапиенсики 21 века очарованы циферками. Хочешь кого-то обмануть — покажи ему циферку. Хочешь забрать его деньги — нарисуй график. Наш мозг цепляется за циферки даже когда в этом вообще нет необходимости. До смешного: я вижу новость «в катастрофе Ан-26 погибло 25 человек» и мозг на автомате спрашивает «а куда делся еще 1?».
Корпорации даже научились монетизировать наше желание смотреть на циферки: у каждого второго на руке теперь фитнес-браслет, который считает шаги, пульс, кислород в крови. Мы не имеем ни единого понятия зачем это всё, но нам очень нравится.
Ядерное же оружие в мире циферок — это данные (когда много циферок). Мы верим в магию данных как пещерные люди верили в силу танца с голыми письками у костра. Если наш продукт-менеджер не сказал «data-driven» и «ai» минимум девятнадцать раз за день — мы увольняем его нахер. Он не A-player.
Мы обмазываем счётчиками каждую кнопку чтобы создать идеальный продукт, который будут одинаково ненавидеть все наши пользователи. Мы преуспели в этом.
Мы перестали доверять людям, зато уверовали в «данные» как фанатики
Я прекрасно понимаю как так сложилось. Маятник качнулся из одной крайности в другую. На смену олдскульным корпорациям, где все решения принимались по приказу толстопузого начальника, пришли хипстерские стартапы с плоскими структурами и верой в бигдату, где принимают решения руководствуясь объективным анализом... ммм... того громкого чувака с паверпоинтом.
Раньше я и сам верил в достижение продуктовой нирваны через анализ данных. Как и большинство из вас, я читал книжки по статистике в универе, где мне рассказывали про релевантность выборок, доверительные интервалы, дисперсию и другие полезные вещи.
Потом мы читали Талеба. Он приправил статистику когнитивными искажениями и резко взлетел в топ-100 лучших книг современности. Мы выучили наизусть про «ошибку выжившего» и «черных лебедей», и начали использовать их чтобы критиковать чужие работы. Другого применения этим знаниям мы так и не придумали.
Потом я решил проверить, что будет если я перестану собирать статистику на своих проектах вообще.
И... стало лучше!
Снизилась тревожность от дроча на стату, отвалились говнорекламодатели, умножавшие количество моих подписчиков в телеграме на 50 копеек чтобы получить цену поста.
Профессиональные отношения стали более серьезными, ведь когда людям не даёшь привычные им циферки, из которых они могут на автомате сделать привычные заблуждения, им приходится включать голову и думать.
Доходы растут, тревожность падает. Рекомендую.
Проблема осталась лишь одна — работа. Современные компании очарованы циферками еще сильнее и работают по принципу:
«Мы все тут data-driven пока начальство согласно, а когда не согласно, это явно ошибка в данных. Переделывайте, коллеги»
Ты либо принимаешь правила игры, либо уходи. К счастью, на любую противоположную точку зрения в интернете всегда можно найти научную статью, которая её подтверждает. Просто подвозите нужную. Хештег #пабмед.
Глупость нельзя победить, её можно лишь возглавить. Потому популярные советы читать книжки по матстату и делать зарядку по утрам, конечно, очень правильны, но абсолютно не работают.
Приведу три альтернативных совета, которые помогают лично мне оставаться в контакте с реальностью, даже когда вокруг меня происходит полный паверпоинт.
Самый рабочий для меня совет.
В научном методе всегда заставляют выдвигать гипотезу до эксперимента. Мы сначала говорим себе какой результат нас устроит, а лишь потом бросаемся его достигать.
И только в айти, блять, всё наоборот! Ведь ни у кого нет времени на всякую научную фигню, все хотят A/B-тесты хуячить, шоб по пятьсот когорт на страницу как у Букинга.
Плохо:
Хорошо:
— Если мы увеличим конверсию лендинга хотя бы на 10%, сколько это позволит нам заработать?
— +$1000
— А во сколько это обойдётся?
— Команда из трёх человек с зарплатами $5000 сможет сделать это за два месяца. Итого $30k.
— Хуйня какая-то
— Да нашим клиентам вообще насрать на наш лендинг, они находят нас в телеграме и заказывают напрямую
— Directed by Robert B. Weide
Это одна из причин, почему я не собираю никакую статистику по блогу. У меня лишь считаются просмотры постов, да и те неуникальные. Большинство из них наверняка делают боты, да насрать. Счётчика вполне достаточно чтобы сравнивать относительную популярность постов между собой, а большего мне и не нужно.
Я просто не понимаю какие выводы смогу сделать из всех циферок той же Яндекс.Метрики. Я увижу, что короткие смешные посты читают чаще, чем длинные и умные. А дальше что? Пора писать анекдоты?
Или вот есть тысяча уникальных просмотров поста на Вастрик.ру, а есть тысяча в телеграм-канале «Всратые Мемчанские». В личку заходит очередной SMMщик и говорит «тот телеграм-канал делал нам рекламу по 1500р, у них такой же охват, так что давай не выпендривайся, больше 2000р за пост в твоем блоге никто не даст». Он вооружен статистикой и уверен в себе.
А потом заходят ребята с курсами (не будем показывать пальцем), кидают сотку, продают курсов на 2.5 миллиона с одной моей рекомендации, жмут мне руку и просят занести еще.
Мы до сих пор понятия не имеем какая у меня конверсия и охват.
С авторскими проектами и стартапами статистика вообще не работает
Потому что стартапы (по крайней мере на ранней стадии) и авторские блоги - они ближе к ремеслу и искусству. А статистика любит бигдату, я под бигдатой подразумеваю не петабайты одного и того же показателя, а хоть какой-то серии.
А авторские блоги, они про крафт и опытное производство!
офигенно про метрики! Спасибо за сжатую формулировку)
+1 к теме про крафт и про бизнес. У нас стартап с рекламной монетизацией и через 100-200 партнерств уже начинаешь понимать, какие предложения заходят твоей аудитории, а какие - нет, и с какими рекламодателями, в принципе, имеет смысл работать.
Насчёт +18$ выгоды и -2500$ зарплаты, как-то сидела на популярной лекции Виктора Кантора по ML, и он в самом начале задал следующую задачку. Есть магазин, который хочет себе модель, которая бы решала когда нужно открыть ещё одну кассу, как бы вы это сделали? Все сразу начали предлагать варианты, а он загадочно поулыбался и сказал: сначала нужно вообще понять получит ли от открытия ещё одной кассы магазин прибыли больше, чем зарплата кассира. Лекция была пять лет назад, а я до сих пор помню, прямо-таки прозрела в тот момент :D
Хитрожопый лайфхак как быстро сломать собственное желание подгонять данные под результат — развернуть его наоборот. Вместо доказательства гипотезы, пытаться её опровергнуть.
И когда гипотеза настолько охуенна, что любая попытка её опровергнуть проваливается — смело её принимаем.
Да, для этого придётся чуть больше думать перед тем, как бросаться за эксперименты. Да, сын маминой подруги за это время уже 10 раз кнопку на лендинге подвигает.
Зато вы будете попадать в цель каждый раз, а не один из ста. Как настоящий дед, короче.
Зато вы будете попадать в цель каждый раз, а не один из ста
Меняем нуль-гипотезу, оборачиваем ошибки первого и второго рода. Говоря языком ненавистной статистики. :)
"Вместо доказательства гипотезы, пытаться её опровергнуть"
Я так в 2014-м предлагал всем участникам укросрачей поступать. Типа провести умственный эксперимент и представить, что убедило бы их в обратном.
В то же время ближайшая ассоциация со словосочетанием "опровержение гипотезы", критерий Поппера, имеет свои недостатки. Философы науки, проанализировав великие научные открытия последних ста лет, отметили, что большинство шли по пути не поиска опровержений, а наоборот.
мне очень запомнился момент из поезда в "ГП и методы рационального мышления"
Мой булщитометр откалиброван так: если на презентации человек оперирует голыми подсчётами чего-то, типа «среднее время доставки» или «количество заказов», не наделяя цифры какими-то качествами — я его внимательно слушаю.
Он явно умнее меня.
Когда же я слышу про «запросы рынка», «виральность», «вовлечённость» и другие вымышленные метрики «счастья пользователя» — я открываю твиттер и пишу туда несмешные шутки.
Как видно, второе случается крайне часто!
В желтой зоне булщитометра находятся слова «конверсия» и «ретеншен». Они вроде как и имеют свои чёткие формулы, но чаще всего используются для тактического запутывания. Тут как с погодой в горах — её хорошо знать, но ни один суперкомпьютер не сможет предсказать какой из миллиона факторов изменит её завтра.
Кстати, читайте мой пост про погоду, да.
Данные — это отлично. Проблема в том, что работать с ними умеют единицы, а большую часть времени мы просто делаем из них выгодные для нас выводы
Отдавайте подсчёты тем, кто в них шарит и скрупулезно рисует свечки в Jupyter'е. Не давайте картинкам с экспонентами в паверпоинте тратить ваше время.
Все будут вас ненавидеть. Начальство будет говорить, что вы неконструктивны, opinionated, biased, и другие непереводимые слова. Рекламодатели будут продолжать требовать у вас охваты и клики. Инвесторы желать графиков с кучей экспонент.
Поэтому снова приходится быть двуличным ублюдком как и в Оставайся Посередине. Иначе станешь отшельником.
Приходится симулировать дата-майнинг на публику :(
Для своих же проектов забейте на циферки. Нет смысла натужно увеличивать конверсию на 1.5%, когда один твит или новая фича может за вечер уронить её в два раза.
Когда вы верите в данные — получается фейсбук. А люди не хотят фейсбук.
Старый анекдот про Петьку и Василия Ивановича на современный лад.
Пара классических примеров про оптимизацию метрик. Выглядит как вредные советы, но в реальности во многих компаниях так и думают:
Пример первый:
Пример второй:
Да на самом деле даже так можно, как в примере с залогинами выше, если ты знаешь, что метрика залогиновости действительно на что-то влияет IRL. Ну, там, не знаю, если юзер залогинен, можно ему выдавать такие персональные предложения, что он скорее всего купит всё, что вам нужно и ему полезно.
С метриками же еще какая проблема: их часто берут с потолка, не понимая как эти метрики отражают реальность и зачем они нужны.
Это даже с баблом работает: не все понимают, что нужно измерять не только приход бабла от клиентов, но и его расход на их привлечение (ну, в реальном бизнесе, а не в инвесторских проектах на рост, но даже и там не помешает)
Нужна метрика "Нормально делаю" и бинарный классификатор "Нормально будет", и потом смотришь пост-фактум анализис и тренируешь потому что если вдруг нормально будет стало False значит и нормально делаю было не на 100 а на 99 только
А потом приходят грамотные люди и делают своими метриками такой таргетинг, что (уж простите) потом смотришь на данные ЦИК и думаешь куда бежать - за границу, за попкорном или сразу на кладбище.
Инструмент не то чтобы не работает. Не в инструменте проблема. А в невероятном количестве инфоциган, нашедших очередной повод для хайпа.
Дэйтадривен и искусственный прости господи интеллект звучит куда круче, нежели средний чек или призывы к логике и здравому смыслу.
Раз это не остановить, значит это надо возглавить.
Довольно однобоко
С циферками еще хорошо помнить про вариабельность процессов и то, что изменения циферок иногда ничего не значат - просто естественная случайность.
Для этого хорошо работают карты Шухарта - https://habr.com/ru/post/136193/ и https://habr.com/ru/post/139596/ в кратком изложении Макса Дорофеева.
Кажется, ты слишком много проводишь время с ответственными людьми, и тебе начало казаться, что это средний показатель по больнице.
Спрашиваю себя какие выводы я сделаю из циферок ДО того, как их увижу
В большинстве своем это приводит к манипуляцией результатом в угоду желаемому. Подгонке вообще всего, от цифр до человека. Цифры хотя бы чуть менее гибки.
Мы перестали доверять людям, зато уверовали в «данные» как фанатики
Если вцепиться побелевшими пальцами в камень над пропастью, вряд ли это можно описать как «уверовали в камень как фанатики, потому что нам больше нечего делать». Да, уверовали, потому что верить людям не работает в масштабах корпораций. Раньше больше верили? Раньше не было столь много столь громадных структур.
Тебе рекламу приносят ведь не потому что «смотри, какой чел прикольный», а потому что знают, в очень грубых допущениях, сколько и какой аудитории зайдет. Как ты сам же написал, «кидают сотку, продают курсов на 2.5 миллиона с одной моей рекомендации». Цифрами рискнули, цифры заработали.
Какая-то радикальная позиция, не сказать что посередине
Качественные характеристики часто очень сильно субъективны. Что значит, что одна картина красивее другой? а фича, которая приоритетнее следующей?
В принятии решений околокачественных характеристик числовые метрики могут помочь. но при условии, что со шкалой в целом согланы люди, принимающие решение. в местячковом пет проджекте таких людей мало(1) = договориться проще.
ну и как-то лично я редко встречаю людей, упарывающихся сугубо по аналитическим срезам с датки, всегда включается какой-то common sense
Роман Матанцев, Dmitriy Rozhkov,
Довольно однобоко
Согласен. Когда какое-то одно направление доминирует, чтобы сдвинуть всю парадигму, приходится сильно перекашивать её в другую крайность. Такое вот корректирующее воздействие.
Я отнюдь не призываю вообще отказываться от циферок. Это было бы глупо и невозможно. Поэтому всю вторую половину поста я вообще рассказываю как научился чуть меньше ошибаться в них сам. Так что не принимаю обвинения :)
В науке уже давно ходят слухи, что журналы перестанут принимать результаты, основанные только на p-value.
Как-то прочитала, что ученые выяснили и опубиковали в одном из престижнейших журналов, что пары, которые познакомились в интернете, реже разводятся. После того как я рассказала эту прекрасную новость половине своих знакомых выяснилось, что разница в уровне разводов оказалась меньше 2%.
"The percentage of marital break-ups was lower for respondents who met their spouse on-line (5.96%) than off-line [7.67%; χ2(1) = 9.95, P < 0.002]."
https://www.pnas.org/content/110/25/10135
Зато p-value значимый.
Частично не согласен с некоторыми моментами, но в целом — всё так, да. Циферки ради циферок.
После прочтения поста стало чуть легче, ибо я хоть и в одной лодке с теми, кто измеряет «счастье пользователя» в циферках, но никогда не считал эти измерения валидными. Они помогают понять в какую сторону двигаться, да, но не указывают прямой путь. Но коллеги считают иначе.
Весьма согласен. Data driven подход понятный, безотказный, но часто туповатый. И кроме эффектов очарования цифрами, которые ты назвал, я замечал ещё несколько интересных.
Боязнь малых выборок. Многие говорят, что если задумал что-то исследовать, готовь выборку побольше. Поспоришь — будешь иметь дело с центральной предельной теоремой. А это отказ от интересных исследований и интересных вопросов. Глаз сам начинает искать задачи с большими числами у верха воронки и избегать других типа провести интервью с 5 пользователями (всего пятью!). Но редуцировать значимость до статистической значимости — наивно. Лучше максимизироввть качество полученных знаний, а не количество строк в спредшите.
Табу на интуицию: кто не доказывает данными, тот лох. А ведь интуиция — это продукт знания предметной области и опыта предыдущих решений. Если разбираешься в предмете и хорошенько изучил ситуацию, то быстрое недоказанное суждение может быть сильно лучше измеренного и обоснованного цифрами. Мозг втихаря решил задачку оптимизации на очень большом количестве параметров. Круто же.
Слепота на сложные вопросы. АБ-тесты предлагают ответы для простых вопросов типа какой вариант лендинга выбрать. Точнее, даже не "Какой", а "Какой из двух". Плохо, если эти простые вопросы отбирают внимание и время у сложных. Например: «Что самое важное сейчас в продукте надо сделать, чтобы компания выросла в 10 раз через три года?» Приятнее искать ответ на простой вопрос, чем на сложный. Поэтому его и задавать сложнее. Хочется вместо этого сделать АБ тест.
Ещё в тему: https://en.wikipedia.org/wiki/McNamara_fallacy
The first step is to measure whatever can be easily measured. This is OK as far as it goes. The second step is to disregard that which can't be easily measured or to give it an arbitrary quantitative value. This is artificial and misleading. The third step is to presume that what can't be measured easily really isn't important. This is blindness. The fourth step is to say that what can't be easily measured really doesn't exist. This is suicide.
Знаете, что особенно смешно?
Я сейчас учусь в Яндекс. Практикуме по программе "аналитик данных", именно сейчас прохожу курс "принятие решений в бизнесе на основе данных" и там все три этих совета написаны весьма четко.
Проблема как всегда в том, что все знают как надо в теории, "но это жизнь, это бизнес" и все делают херню. Но это в принципе общая проблема человеческого существа, беда вовсе не в недостатке информации, а в том, что мы не делаем того, что, как знаем, надо делать.
Коротко: я согласен с выводами из поста, но я не согласен с основным текстом. Выводы из текста не следуют, а сам текст крайне жечлный и несвязный.
Теперь долго (боль продакта):
Пост отдает негативом к таким полезным понятиям как "АБ-тест" и "конверсия". Если это действительно так, то это абсолютно точно не заслуженно и однобоко, чувак.
Я не согласен с желтой частью булщитометра. Конверсия и ретеншн это нормальные метрики, обычно при должном понимании очень легко трансформирующиеся в ту самую прибыль из "зеленого сектора". Надо просто понимать бизнес-модель и юнит-экономику. Это абсолютно линейная арифметика.
АБ-тестирование тоже абсолютно адекватный подход. Просто очевидно, что не надо его применять направо и налево, ради самого себя.
Надо просто а) знать когда и что применять б) соотносить ожидаемый эффект с стоимостью эксперимента (тут я абсолютно согласен).
Если нынче всякие говнокурсы породили кучу полу-компетентых говнопродактов - ну сорян, это не проблема дата-дривен подхода. Да даже если хороший курс пройдет бестолковый человек - получится 0*1=0. Люди они такие, любую хорошую вещь нецелевым использованием могут извратить до любой самой конченой хуйни.
А мне первым делом приходят в голву примеры больших игроделов вроде Ubisoft, которые делают игровые продукты сугубо по проверенным циферкам и трендам и раз за разом обсираются в этом.
Ну, на самом деле, это дикий перекос в крайность, чтобы красиво доказать свой поинт. Далеко не на любую точку зрения можно найти научную статью в peer reviewed журнале, тем более на пабмеде.
Да, наука неидеальна и научные исследования не являются правдой в последней инстанции. Даже более того, учитывая проблемы кризиса репродуктивности результатов и низкий процент людей, которые указыают конфликты интересов, начинает казаться, что можно вот так просто отбрасывать научные исследования, потому что "на любую точку зрения есть свое научное исследование". Но ведь это не так.
Даже если сильно постараться, не получится найти нормальную научную базу для доказательства тех же вреда прививок и пользы от гомеопатии выше пользы плацебо. Тем более, в peer reviewed журналах.
Конечно, нужно со здравым смыслом подходить к любой аргументации. Если внезапно кто-то приводит научное исследование, доказывающее "память воды" (на момент, когда это исследование еще не было опровергнуто), необходимо усомниться в репродуктивности результатов и поискать дополнительные исследования на тему.
Если посыл у абзаца — дискредитация запроса на пруфы как такового, то это, я бы сказал, немного вредный абзац. Ведь появится тучка бумеров\зумеров и увидит в этом абзаце правду, а потом будет, вместо пользования здравым смыслом, просто кидать любой научный пруф в топку, "ведь так Вастрик сказал".
Если же посыл у абзаца ироничен, то, боюсь, слишком много людей не поймет шутки в перекос. Но это могут быть лишь мои пустые опасения. Пойду лучше дальше почитаю статью.
Доход - это тоже циферки