, Блог компании ScrumTrek

Пару недель назад в блоге венчурного фонда Andreessen Horowitz появились две интересные записи, посвященные метрикам стартапов. Первая статья была посвящена 16 метрикам, которые нужно мерить каждому стартапу. Вторая дополняла этот список еще 14-ю метриками.

В каждой статье уделялось место экономическим и продуктовым показателям, а также форматам их представления. Тем не менее, всех их объединяло одно - это те метрики, которые интересуют инвесторов, оценивающих потенциальные возможности того или иного продукта. И эти показатели должны давать понимание, куда движется продукт в настоящий момент времени, задавать вектор направления развития.

Перечислим их кратко:

Экономические и бизнес-показатели

• Annual Run Rate
• Валовая прибыль

Продуктовые показатели и показатели вовлечённости

• Активные пользователи
• Отток
• Зарегистрированные пользователи
• Количество загрузок

Среди форматов представления и оценки показателей были упомянуты когортный анализ и некоторые интересные диаграммы.

Наш тренинг , который ведёт Дарья Рыжкова, также посвящён в первую очередь тем продуктовым метрикам, которые помогают двигаться дальше. Поэтому мы и спросили у Дарьи, что она думает по-поводу тех показателей, которые были упомянуты a16z в первый и во второй разы – о разнице между ними.

К подобным метрикам можно отнести:

1. Количество пользователей. Метрика не дает никакого представления о том, что произошло с продуктом сегодня и насколько это хорошо или плохо, что сегодня к нам пришли 100 человек. Безусловно, охват важен, но без сегментирования и анализа поведения этой аудитории, он не говорит нам абсолютно ни о чем.
2. Выручка. Чаще всего становится продуктовой метрикой, хотя мы можем добиться роста выручки, не меняя продукта вообще, например, регуляруя ценовую политику, проводя рекламные кампании и т.д.
3. Количество скачиваний. Безусловно, скачивания оказывают какое-то влияние на нашу позицию в магазинах мобильных приложений. Но с точки зрения анализа поведения пользователя, лучше попробовать посмотреть конверсии, которые покажут вовлеченность загрузивших приложение пользователей в ваш продукт.
4. Время сесии. Очень сложно оценить качественно эту величину, не производя анализа действий аудитории. Например, нам может показаться, что если время сессии увеличилось с 1 минуты до 5, то это хорошо. Но что если окажется, что 4 из этих 5 минут пользователь пишет обращение в саппорт в форме обратной связи?
5. Like/Share и прочая социальная активность. Пока вы не поймете, сколько тратите на каждый Like/Share и сколько зарабатываете с каждого Like/Share, эти значения не будут вам говорить ровным счетом ни о чем.

Можно ли как-то понять, какие метрики будут полезными?

Основное, что нужно помнить, что хорошая метрика - всегда относительная, а не абсолютная величина. Относительные величины во-первых, дают возможность понять, как вы можете повлиять на изменение значения показателя. Во-вторых, они сравниваемы по своей природе, и вы всегда сможете оценить значение показателя с аналогичным за предыдущие периоды времени или с вашими конкурентами. В этом плане конверсии на каждом шаге воронки продаж могут стать хорошим примером подобных относительных величин.

Не стоит забывать о том, что аудиторию надо сегментировать и смотреть, как меняется ее поведение с течением времени. Многие крупные проекты с многотысячной, а иногда и миллионной аудиторией, на мой взгляд, совершают ошибку, что не используют инструменты сегментирования и когортного анализа. Например, если посмотреть на тот же отток (долю пользователей, которые перестали пользоваться продуктом) по когортам в разрезе разнообразных сегментов, то можно найти огромное количество инсайтов. Нужно очень четко понимать, для кого вы делаете ваш продукт и как он воспринимается вашими пользователями. Зная их потребности, ожидания и восприятие вашего продукта, выбирать дальнейшие шаги становится значительно легче.

Изучайте метрики глубже и концентрируйтесь на тех, которые действительно помогают вашему продукту развиваться!

Вы можете помочь и перевести немного средств на развитие сайта

В этой статье разговор пойдет о метриках в процессе продаж. « Выручка » , « Доля рынка » , « Доля в кошелке заказчика » , « Размер воронки продаж » , « Форма воронки продаж » , « Время утилизации CRM системы » , « Соотношение нового и старого продукта » – думаю, эти слова вы уже не раз слышали.

Однако осознанный подход к метрикам в продажах, понимание -- как правильно их использовать, встречается нечасто. Попробуем систематизировать эту область в доступных простому смертному терминах.

В общем и целом, метрики можно разделить на ряд классов:

1. Первый класс -- Метрики процессов продаж – решения или активности, применимые к конкретной личности. Этот класс является высокоуправляемым . К таким метрикам можно отнести: утилизацию CRM системы, объем звонков, соответствие распределения временных затрат ожидаемому и т.д. В большинстве случаев, такую метрику можно применять вплоть до конкретного продавца в части выдачи ему прямых указаний – «тебе необходимо совершать в день больше исходящих звонков» .
2. Второй класс -- Метрики целей продаж – требуют согласия или действия заказчика (или самого продавца) и косвенно управляемы . К таким относятся: результативность звонков, сумма сделки, доля кошелька, соотношение нового продукта к существующему и т.д. Тут влияние ограничено, то есть мы можем сказать продавцу – «выставляй коммерческие предложения не менее 300 тыс. руб.» , но вот какая доля заказчиков согласится на такие условия -- это вопрос открытый. К этому же классу можно отнести такие метрики, как уровень подготовки продавцов, «время разогрева», текучка продающих кадров и т.д.
3. Третий класс -- Метрики результатов продаж – любой результат, зависящий от многих факторов, который не может быть напрямую управляемым . Выручка, размер воронки, доля рынка, длина цикла сделки и т.д.

Важно отметить, что второй и третий класс метрик показывают нам то, что случилось. А первый -- то, что происходит сейчас.

Теперь об одной из самых главные проблем. Если задать вопрос среднестатистическому директору по продажам или маркетингу: « какие из этих метрик и для чего необходимо применять ». В ы его поставите в тупик, а ответ будет из серии: «Ну как для чего применять, для того чтоб за продажами следить» . На самом деле, правильный ответ несложный:

• метрики процессов нужно применять для управления действиями людей в текущих операциях,
• метрики целей для планирования и диагностики,
• метрики результатов продаж для отчетности.

В большинстве Российских компаний единственный инструмент управления продажами -- это комиссионные выплаты в зависимости от результатов продаж. Инструмент необходимый и важный, но совершенно недостаточный. Уже хотя бы потому, что его все применяют. А для создания иных инструментов нужны измеримые показатели.

Изучая опыт различных компаний, я пришел к выводу, что практически в каждой из них под процессом продаж понимаются совершенно разные процессы. Хотя на самом деле, идеальный формальный процесс продаж должен описывать все эти подпроцессы. А метрики должны применяться отдельно для каждой отдельной «роли» в процессе продаж. Невозможно успешно использовать одни и те же метрики для разных типов торгующего персонала.

Разберем подробнее Метрики процессов продаж – это самый важный класс, так как тут мы измеряем то, что происходит, а не то, что уже произошло. И повторюсь, именно этот класс метрик имеет прямое отношение к оперативному управлению продажами. На практике существуют следующие базовые подклассы:

1. Время – как персонал управляет своим рабочим временем и приоритетами. Например, доля завершенных в срок задач или процент времени продавца, уходящего на использование Sales Tools и т.д.
2. Звонки – звонок является единицей коммуникации с клиентом. Типичные метрики: процент успешных звонков, количество звонков за смену.
3. Возможности для продаж (Opportunity – большинство людей говоря об управлении процессом продаж, имеют в виду именно эту область). Сколько у нас лидов? Как мы их генерим? Как квалифицируем? Какой процент успешного закрытия? Какая средняя вероятность закрытия и т.д и т.п.
4. Управление заказчиком (он же Account Management ) – процессы длительного взаимоотношения с заказчиком, по которому уже были успешные закрытые сделки. Тут рассматриваются множества разных возможностей на одном заказчике и сложные сделки в B2B с многоступенчатым процессом принятия решения. Тут примерами могут служить такие метрики, как количество суппортеров в сделке, экономический эффект у заказчика от прошлых продаж, среднее количество одновременно открытых сделок на один аккаунт и т.д.
5. Управление территорией – тут все просто, без географии никуда, все на земле живем. Метрики могут применятся нетривиальные – например, плотность звонков на душу населения по целевой территории.
6. Управление потенциалом торгующего персонала (Он же Sales Force Management ). Процент времени, потраченный на обучение, нагрузка на продавца контролирующих механизмов, затраты на IT в расчете на голову продавца, процент рабочего времени на обучающих мероприятиях. Персонал, мотивация, стимулирование и техническое обеспечение продаж – все тут. Кстати, это один из важнейших пластов, но внимания измерениям по нему обычно уделяется меньше всего.

Для проектов постановки продаж можно использовать инструмент, который я называю «Матрица метрик по ролям ». Составьте подобную карту для своей организации, предварительно разобравшись, какие процессы наиболее критичны для каждой торгующей роли в вашем конкретном случае – и у вас готовый план работ.

Начинаем совершенствовать области по принципу от красного к зеленому и от младших ролей к старшим.

Теперь о метриках Целей продаж. Тут у нас следующие подклассы:

1. Ресурсная достаточность . А хватает ли у вас, вообще, людей для исполнения плана продаж? Время, уделенное непосредственно продажам, уровень покрытия рынка, количество заказчиков на одного продавца – вот примеры метрик.
2. Эффективность продавца . Типичные метрики: всякие конверсии – звонок во встречу, встреча в контракт, доля результативных встреч. Из более редких, но полезных – средний уровень скидки на рубль продаж.
3. Продуктовые метрики (Они же продуктовый фокус ). Доля нового\существующего продукта, прямые перекрестные продажи, размер сделки и т.д.
4. Метрики классификации заказчиков (Они же Клиентский фокус ). Сегментация, доля кошелька, уровень возврата.
5. Человеческий капитал . Текучка, время разогрева, уровень навыков.

Следующий шаг -- это увязать процессы с целями. На самом деле, в абсолютном большинстве случаев это несложно, и работает довольно простая матрица влияния процессов на цели:

Как эту матрицу использовать на практике?

• Хотите повышать долю успешно закрытых сделок? Это категория эффективности продавца. А значит, вам в первую очередь нужно ковыряться в процессах управления звонками, управления возможностями и потенциалом торгового персонала.
• Запускаете новый продукт? Не забудьте включить рассказ о нем в сценарий типового звонка, в план управления возможностями.
• Маржа маловата? Внедряем согласование скидок в процесс управления возможностями.

Так же из картинки напрашивается вывод, что наименее осознанные и применяемые в Российских практиках продаж процессы управления потенциалом торгового персонала, влияют на наибольшее количество областей целей продаж. Думайте сами, решайте сами, иметь или не иметь (с).

Очень важно так же помнить о базовой дилемме любого управленца в продажах. Спрашивают его обычно по метрикам результатов продаж, а они наименее управляемые. Они зависят от множества внешних и внутренних факторов, которые не в вашей власти. Если продукт говно, или конкурент в родственных связях с правительством страны, тяжело что-то сделать. Но можно. И когда финальный ожидаемый результат лежит не в очень близкой перспективе, внедренные в начале пути правильные метрики не дадут заблудиться. Если у вас возникла необходимость разработать правильную систему метрик для ваших продаж, то можете смело обращаться к нам в Два Совета.
In deal we trust.

Сегодня поговорим про экономику продуктов и метрики. Посмотрел доклад одного из топовых людей в индустрии аналитики Ильи Красинского из «Экономика продуктов и метрики» с #productcamp .

Как сам о себе рассказывает Илья:

«В детстве был благовоспитанным мальчиком, но начал играть в компьютерные игры, связался с программирование, дизайном и покатился… Характер настойчивый.»

До осени 2013 продакт-менеджер и руководитель мобильной и декстоп разработки LinguaLeo.

6 лет был продуктовым дизайнером, работал над продуктами для Channel4, The Guardian, Forbes, Avis.

С середины 2013 по 2015 год находил точки кратного роста с 700+ продуктовыми командами: от бизнесов с 30 миллионами пользователей по всему миру, до небольших стартапов.

Ментор в акселлераторе ФРИИ, Yandex Tolstoy Camp.

Менеджер сообщества RADUG, 1800 продакт-менеджеров и маркетологов.

Модерирует и выступает на конференциях Apps4All, MDDAY и MBLT.

Начнём с того для чего необходима аналитика, сама по себе она не очень важна, важны выводы и управленческие решения. Цель считать поменьше, а выводов делать побольше.

Вот такая фраза про стартапы:

Примерный путь к успеху:

На втором графике также показана примерная схема принятия продуктовых решений в продуктовой команде.

Но до сих пор во многих компаниях множество решений принимается пальцем в небо.

Многие стартапы закрываются очень быстро, самые упорные закрываются через 3 года, обычно стартап закрывается через 3 месяца после того как у него закончатся деньги:

Почему так получается?

Очень много компаний выходят в интернет и спрос на продукт-менеджеров и аналитиков весьма большой и будет расти дальше.

В каких случаях легко предсказать будущее стартапа глядя только на скриншоты?

Рассмотрим следующий продукт:

Первое, что нас интересует это первая сессия (активация), обычно первую сессию вообще не считают, что очень не правильно, так как количество пользователей в первую сессию 100%. Нет ничего важнее первой сессии.

Вот воронка использования этого продукта:

В целом, воронка очень большая, две больших воронки: из офлайна в онлайн, из онлайна в мобилку.

Считаем необходимую конверсию:

Как Вы думаете реальна конверсия в 20% в прошлой воронке? Я думаю нет.

Часто воронки проектируют сначала, но их нужно проектировать с конца:

Однажды, Илья ехал в метро и перевёл деньги, как Вы думаете почему?

Потому что думать не надо, возможно у ребят получилось бы намного лучше, если бы они сначала подумали и упростили схему работы, договорившись с мобильными операторами, а не тратили деньги инвесторов на то, что не будет работать.

Посмотрим на проект Hot Wifi:

3 000 рублей стоит подключение к сервису кафе, посмотрим на расходы: 3000 рублей стоит сам роутер и 3 000 рублей премия менеджеру по продажам. И теперь вопрос сколько денег заработает компания, если сделает 100 продаж за месяц, ответ: минус 300 000 рублей. Это так называемый кассовый разрыв, он бывает управляемый и неуправляемый, компании с большим инвесторским плечом могут себе его позволить, но у стартапов не много денег и не многие могут его перенести.

Что сделали ребята, что пришли через 3 дня и сказали, что перевыполнили план по продажам на месяц?

Продавали свой сервис сразу на несколько месяцев. Деньги сразу лучше, чем деньги потом.

Что из этого получилось:

Чем больше было инвестирование, тем больше ошибок было допущено при построении начальной бизнес модели, маленькое изменение метрик может давать кратный результат.

У многих стартапов жизнь-боль, только потому что они сами себе это придумали.

При скидки 50% на покупку сразу на 3, 6 месяцев происходит падение дохода в 4 раза. Как так?

Очень часто малое изменение нужной метрики даёт кратный рост.

Обычно глядя на эту формулу, говорят «Ну всё, понятно».

Но это на самом деле простая формула, на уровне 5-го класса, которую обычно считают на салфетки во время переговоров.

Необходимо сравнить всего две цифры: сколько мы заработали с одного пользователя и сколько мы на него потратили:

ARPU — это сколько денег нам в среднем приносит 1 привлечённый клиент.
ARPPU — это сколько денег нам в среднем приносит 1 платящий клиент.

Как устроен продукт:

Таблица умножения для проектов:

Что сказано в этой таблице, любой низкий средний чек ведёт экономику к краху. При чеке в 1 000 рублей и конверсии в 1-2-3% начинается низкомаржинальная экономика. B2B находятся в правой части таблицы.

Экономику гораздо проще сводить если есть хорошие продуктовые методы.

А самый главный продуктовый метод это та ценность, которую мы приносим клиентам:

Чем выше ценность продукта, тем проще его продавать.

Как искать точки кратного роста, картинка времён работы Ильи в LinguaLeo:

Красные блоки — критические факторы, влияющие на достижение цели.

Обычно 80% времени команда продукта занимается тем, что вообще не как влияет на метрики, вспомним закон Парето.

Компании перед инвесторами необходимо было увеличиться в два раза.

Плечо метрики это когда малые колебания дают очень большой рост, чем оно больше тем лучше.

Как Вы определяете приоритеты:

Большая часть решений никак не повлияет, потому что воздействует на симптоматику, а не на корневые проблемы. Любую гипотезу можно примерно рассчитать.

Если роста нет 3 недели / 3 месяца, это значит, что Вы решали не корневую проблему, а симптоматику.

Что делать в таком случае, сделать шаг назад и искать новые вершины (точки кратного роста):

Чтобы закрепить материал, лучше посмотреть доклад «Экономика продуктов» — vimeo.com

По поводу метрик очень хорошо обращать и считать метрику C2 — конверсия во вторую покупку.

Считайте только важные метрики, и считайте не ради того чтобы у Вас были метрики, а для того чтобы принимать правильные продуктовые решения.

В настоящее время в программной инженерии еще не сформировалась окончательно система метрик. Действуют разные подходы к определению их набора и методов измерения. Система измерения включает метрики и модели измерений, которые используются для количественной оценки качества ПО.

При определении требований к ПО задаются соответствующие им внешние характеристики и их атрибуты (субхарактеристики), определяющие разные стороны управления продуктом в заданной среде. Для набора характеристик качества ПО, приведенных в требованиях, определяются соответствующие метрики, модели их оценки и диапазоны их значений для измерения отдельных атрибутов качества.

Согласно стандарту 1БО 14598 метрики определяются по модели измерения атрибутов ПО на всех этапах ЖЦ (промежуточная, внутренняя метрика), и особенно на этапе тестирования или функционирования (внешние метрики) продукта. Остановимся на классификации существующих метрик ПО, правилах проведения метрического анализа и процессах их измерения.

Существует три типа метрик: метрики программного продукта, которые используются при измерении его характеристик или свойств; метрики процесса, которые используются при измерении свойств процесса ЖЦ создания продукта; метрики использования.

Метрики программного продукта. Эти метрики используют внешние метрики, обозначающие свойства продукта, видимые пользователю, и внутренние метрики, обозначающие свойства, видимые только команде разработчиков.

Внешние метрики программного продукта:

• метрики надежности, которые служат для определения числа дефектов;
• метрики функциональности, с помощью которых устанавливаются наличие и правильность реализации функций в продукте;
• метрики сопровождения, с помощью которых измеряются ресурсы продукта (скорость, память, среда);
• метрики применимости продукта, которые способствуют определению степени доступности для изучения и использования;
• метрики стоимости, которыми определяется стоимость созданного продукта.

Внутренние метрики программного продукта:

• метрики размера, необходимые для измерения продукта с помощью его внутренних характеристик;
• метрики сложности, необходимые для определения сложности продукта;
• метрики стиля, которые служат для определения подходов и технологий создания отдельных компонентов продукта и его документов.

Существует также некая общая мера - степень трассируемости ПП, которая определяется числом трасс, прослеживаемых с помощью моделей сценариев типа иМЬ, и оценкой количества требований, сценариев и действующих лиц, объектов, включенных в сценарий.

Внутренние метрики позволяют определить производительность продукта и являются релевантными по отношению к внешним метрикам.

Внешние и внутренние метрики задаются на этапе формирования требований к ПО и являются предметом планирования и управления в процессе достижения качества конечного ПП.

Метрики продукта часто описываются комплексом моделей для установки различных свойств, значений модели качества или прогнозирования. Измерения проводятся, как правило, после калибровки метрик на ранних этапах проекта.

• мера размера ПО в разных единицах измерения (число функций, строк в программе, размер дисковой памяти и др.);
• мера времени (функционирования системы, выполнения компонента и др.);
• мера усилий (производительность труда, трудоемкость и др.);
• мера учета (количество ошибок, число отказов, ответов системы и др.)

Специальной мерой может служить уровень повторного использования компонентов программной системы, измеряемый как отношение размера продукта, изготовленного из готовых компонентов, к размеру системы в целом. Данная мера используется также при определении стоимости и качества ПО. В качестве примеров таких метрик можно привести следующие характеристики: общее число объектов и число повторно используемых; общее число повторно используемых и новых операций; число классов, наследующих специфические операции; число классов, от которых зависит данный класс; число пользователей класса/операций и др.

При оценке общего количества некоторых величин часто используются среднестатистические метрики (среднее число операций в классе, наследников класса или операций класса и др.). Примером таких широко используемых внешних метрик являются метрики Холстеда - это характеристики программ, выявляемые на основе статической структуры программы на конкретном языке программирования, например число вхождений наиболее часто встречающихся операндов и операторов, длина программы как сумма числа вхождений всех операндов и операторов и др. На основе этих атрибутов можно вычислить время программирования, уровень программы (структурированность, качество) и языка программирования (уровень абстракции используемых средств языка, степень ориентации на проблему) и др.

Как правило, используемые метрики в значительной степени являются субъективными и зависят от знаний экспертов, производящих количественные оценки атрибутов компонентов программного продукта.

Метрики процесса. В качестве этих метрик могут быть использованы такие, как время разработки, число ошибок, найденных на этапе тестирования, и др. Но на практике обычно широко используются следующие метрики процесса:

• общее время разработки и отдельно время для каждой стадии;
• время модификации моделей;
• время выполнения работ на процессе;
• число найденных ошибок при инспектировании;
• стоимость проверки качества;
• стоимость процесса разработки.

Метрики использования. Они служат для измерения степени удовлетворения потребностей пользователя при решении его задач, помогают оценить не свойства самой программы, а результаты ее эксплуатации - ее эксплуатационное качество. Примерами могут служить точность и полнота реализации задач пользователя, затраченные ресурсы на эффективное решение задач пользователя (трудозатраты, производительность и др.).

Стандартная оценка показателей качества. В соответствии с рассмотренной четырехуровневой моделью качества оценка качества ПО начинается с нижнего уровня иерархии, т.е. с самого элементарного свойства оцениваемого атрибута показателя качества согласно установленным мерам. На этапе проектирования устанавливают значения оценочных элементов для каждого атрибута показателя качества анализируемого ПО, включенного в требования.

По определению стандарта 180/1Е89126-2 метрика качества ПО представляет собой «модель измерения атрибута, связываемого с показателем его качества». При измерении показателей качества ПО стандарт 180/1Е89126-2 рекомендует использовать следующие типы мер:

• меры размера в разных единицах измерения (количество функций, размер программы, объем ресурсов и др.);
• меры времени, периоды реального, процессорного или календарного времени (время функционирования системы, время выполнения компонента, время использования и др.);
• меры усилий, продуктивное время, затраченное на реализацию проекта (производительность труда отдельных участников проекта, коллективная трудоемкость и др.);
• меры интервалов между событиями, например время между последовательными отказами;
• счетные меры, счетчики для определения количества обнаруженных ошибок, структурной сложности программы, числа несовместимых элементов, числа изменений (например, число обнаруженных отказов и др.).

Метрики качества используются при оценке качества программы (безотказной работы, выполнимости функций, удобства применения интерфейсов пользователей, БД и т.п.) с помощью данных, полученных после проведения испытаний на множестве тестов.

При тестировании наиболее важным показателем является наработка на отказ, который как атрибут надежности определяет среднее время между появлением угроз, нарушающих безопасность, и обеспечивает трудноизмеримую оценку ущерба, которая наносится соответствующими угрозами.

Очень часто оценка программы проводится по числу строк. При сопоставлении двух программ, реализующих одну и ту же прикладную задачу, предпочтение отдается более короткой, так как ее создает более квалифицированный персонал, в ней меньше скрытых ошибок, ее легче модифицировать и времени на отладку и модификацию уходит меньше, хотя по стоимости она, как правило, дороже. Таким образом, длину программы можно использовать для сравнения и оценки программ с учетом квалификации разработчиков, стиля разработки и используемой среды.

Если в требованиях к ПО было указано использовать несколько показателей, то каждый просчитанный после сбора данных показатель умножается на соответствующий весовой коэффициент, а затем все показатели суммируются для получения комплексной оценки уровня качества ПО. На основе измерения количественных характеристик и проведения экспертизы качественных показателей с применением весовых коэффициентов вычисляется итоговая оценка качества продукта путем суммирования результатов по отдельным показателям и сравнения их с эталонными показателями ПО (стоимость, время, ресурсы и др.).

При проведении оценки отдельного показателя с помощью оценочных элементов просчитываются весовой коэффициент-метрика, коэффициент-показатель, коэффициент-атрибут. Например, в качестве показателя возьмем переносимость. Этот показатель будет вычисляться по пяти известным атрибутам, причем каждый из них будет умножаться на соответствующий коэффициент. Все метрики-атрибуты суммируются и образуют показатель качества. Когда все атрибуты оценены по каждому из показателей качества, производится суммарная оценка отдельного показателя, а потом и интегральная оценка качества с учетом весовых коэффициентов всех показателей ПО.

В конечном итоге результат оценки качества является критерием эффективности и целесообразности применения используемых методов проектирования, инструментальных средств и методик оценивания результатов создания программного продукта на стадиях ЖЦ.

Согласно стандарту ДСТУ 3230-1995 для оценки значений показателей качества используются следующие методы: измерительный, регистрационный, расчетный и экспертный (а также комбинации этих методов).

Измерительный метод основан на использовании измерительных и специальных программных средств для получения информации о характеристиках ПО, например определения объема, числа строк кода, операторов, количества ветвей в программе, числа точек входа/ выхода, реактивности и др.

Регистрационный метод используется при подсчете времени, числа сбоев или отказов, начала и конца работы ПО в процессе его выполнения.

Расчетный метод базируется на статистических данных, собранных при проведении испытаний, эксплуатации и сопровождении ПО. Расчетными методами оцениваются показатели надежности, точности, устойчивости, реактивности и др.

Экспертный метод осуществляется группой экспертов - специалистов, компетентных в решении данной задачи или используемом ПО. Их оценка базируется на опыте и интуиции, а не на результатах расчетов и экспериментов. Такая экспертиза обычно проводится путем просмотра программ и сопроводительных документов; для этого устанавливаются контролируемые признаки, которые коррелиро-ваны с одним или несколькими показателями качества и включены в опросные карты экспертов. Метод применяется при оценке таких показателей, как анализируемость, документируемость, структурированность ПО, и способствует всесторонней и качественной оценке созданного продукта.

При оценке значений показателей качества в зависимости от особенностей используемых ими свойств, способов их определения и назначения для каждой метрики качества применяется определенная шкала измерений:

• шкала метрическая (абсолютная, относительная, интегральная);
• шкала порядковая (ранговая), позволяющая ранжировать характеристики путем сравнения с опорными значениями;
• классификационная шкала, характеризующая наличие или отсутствие рассматриваемого свойства у оцениваемого ПО.

Показатели, которые вычисляются с помощью метрических

шкал, называются количественными , а показатели, определяемые с помощью порядковых и классификационных шкал, - качественными.

• 1. Номинальная шкала отражает категории свойств оцениваемого объекта без их упорядочения.
• 2. Порядковая шкала служит для упорядочения характеристики по возрастанию или убыванию путем сравнения их с базовыми значениями.
• 3. Интервальная шкала задает существенные свойства объекта (например, календарная дата).
• 4. Относительная шкала задает некоторое значение относительно выбранной единицы.
• 5. Абсолютная шкала указывает на фактическое значение величины (например, число ошибок в программе равно 10).

Заинтересовать инвестора можно только цифрами. Какие показатели приведут к миллиардным вложениям в вашу компанию? Венчурный фонд Andreessen Horowitz, в портфеле которого - BuzzFeed, Facebook, Foursquare, Skype и другие, описал , на какие метрики обращают внимание его партнёры, а «Секрет» выбрал самые важные из них. Мы не стали включать в список самые распространённые показатели вроде количества активных и зарегистрированных пользователей, валовой прибыли, источников трафика, стоимости привлечения клиента или среднего чека, а сосредоточились на тех метриках, которые вы вряд ли используете.

Inventory Turns / Оборачиваемость запасов

Все знают, как считать конверсию: количество товара, проданного в определённый период, надо разделить на количество товара на начало периода. Чем выше этот показатель, тем востребованнее продукты компании и тем привлекательнее компания для инвесторов. Для компаний, предоставляющих площадку для торговли (marketplace businesses), высокая конверсия означает, что поставщики и дальше будут работать с ней. Также инвесторам будет интересен рост конверсии - он особенно важен на ранних этапах и показывает развитие бизнеса.

У ритейлеров и производителей высокая конверсия указывает на то, что они способны правильно угадывать спрос и отвечать потребностям покупателей. Но для этих категорий бизнесов иногда важнее другой показатель - оборачиваемость запасов. Алгоритм вычисления следующий.

1) Надо выяснить среднюю стоимость запасов. Например, на начало года у вас было товаров на 100 000 рублей, а к концу - на 120 000 рублей. Обе цифры складываются и делятся на два - средняя стоимость запасов составляет 110 000 рублей.

2) Теперь высчитываем оборачиваемость запасов. Стоимость проданных за год товаров делится на среднюю стоимость запасов. Например, если вы продали товаров на 1,5 млн рублей, коэффициент оборачиваемости - 13. Чем выше цифра, тем эффективнее компания.

Если оборачиваемость со временем снижается, это плохой сигнал для инвесторов - либо падает спрос, либо компания не развивается. Есть два способа увеличить этот показатель и повысить привлекательность компании для инвесторов: более интенсивно продавать при том же количестве запасов или продавать так же, но снизить количество запасов, нужное для осуществления сделок.

Network Effects / Сетевые эффекты

Сетевой эффект возникает, когда ценность продукта растёт по мере того, как его используют всё больше людей. Посчитать его по одной формуле нельзя - для каждого бизнеса важно определить свои метрики, которые покажут эффект. Это нужно, чтобы не просто заявить инвестору о том, что вы создали сообщество клиентов, но и подтвердить это фактами.

Andreessen Horowitz приводит в пример компанию OpenTable - сервис по онлайн-бронированию столов в ресторанах. Их сетевой эффект заключается в том, что больший выбор ресторанов привлекает больше клиентов, а, в свою очередь, чем больше клиентов, тем больше новых ресторанов-партнёров. Вот метрики, которые помогли подтвердить этот эффект для инвесторов.

1) Производительность продажников OpenTable растёт отчасти из-за увеличившегося количества запросов от ресторанов. Это более важно, чем рост самой базы ресторанов, так как она растёт и без сетевых эффектов.

2) Число клиентов, посетивших рестораны через OpenTable, растёт. Это снова более важно, чем число зарегистрированных пользователей.

3) Число клиентов, пришедших на OpenTable, чтобы зарезервировать столик, растёт по сравнению с числом клиентов, сделавших это через сайт ресторана.

4) Наконец, отток ресторанов-партнёров снижается.

Для каждого бизнеса набор метрик будет своим, но инвестору важно видеть, что вы не просто наблюдаете этот сетевой эффект, а можете управлять им.

Virality / Виральность

Если сетевой эффект - показатель ценности сообщества клиентов, то виральность - показатель скорости, с которой продукт распространяется от одного пользователя к другому. Коэффициент виральности показывает, сколько пользователей привлекли других людей к использованию продукта. Вот базовый способ вычисления этого коэффициента.

1) Посчитайте своих действующих пользователей. Допустим, их 1000.

2) Умножьте это число на среднее число приглашений, которое отсылает один пользователь своим друзьям за определённый период времени. То есть, если пользователь отправляет за месяц около пяти приглашений друзьям, всего приглашённых пользователей 5000.

3) Определите, как много приглашённых пользователей совершили желаемое действие. Будьте осторожны с этим пунктом - например, количество скачиваний приложения вовсе не значит, что новые пользователи его запустили. Лучше выбрать тех, кто прошёл, например, первый уровень вашей игры. Допустим, получится 15%, или 750 людей.

4) Виральный коэффициент можно вычислить, если разделить количество новых пользователей на количество старых пользователей. В этом случае он равен 0,75. Результат меньше единицы не считается виральным. Если набрали выше - сумели зацепить пользователей, и ваши затраты на привлечение нового клиента будут ниже, чем у конкурентов.

Важно помнить, что виральность не свидетельствует о наличии сетевого эффекта - количество не всегда перерастает в качество.

Net Promoter Score (NPS) / Индекс лояльности

Эта метрика позволит выяснить, насколько потребитель удовлетворён вашими услугами. Она строится на главном вопросе: «Какова вероятность того, что вы порекомендуете нашу компанию / продукт / сервис другу или коллеге?» Задайте клиентам этот вопрос и позвольте отвечать по шкале от 1 до 10 (10 - вероятнее всего). Затем выясните процент «промоутеров» (тех, кто поставил от 9 до 10) и «недоброжелателей» (тех, кто поставил ≤ 6). Индекс потребительской лояльности равен разнице между процентом «промоутеров» и «недоброжелателей».

Для инвестора высокий индекс потребительской лояльности - индикатор того, что компания думает не только о количестве пользователей, которые совершили определённое действие больше нескольких раз в месяц, но и имеет хорошие перспективы развития. Также инвесторы могут сравнить ваш индекс лояльности с показателями конкурентов.

Cohort Analysis / Когортный анализ

Когортный анализ позволяет выявить, как пользователи взаимодействуют с продуктом на протяжении определённых периодов. Например, можно взять для исследования группу, которая зарегистрировалась в вашем сервисе в первую неделю января, и проследить, кто из них пользуется сервисом через месяц, три месяца, полгода и далее. Инвесторы особенно ценят это, потому что большинство стартапов не получают прибыль и только поведение пользователей может помочь оценить перспективы компании.

Вот самые важные шаги для правильного когортного анализа.

1) Выберите правильный набор метрик, а не метрики, которые пускают пыль в глаза (например, количество скачиваний).

2) Выберите правильный период для анализа - обычно это день, неделя или месяц, потому что короткие временные периоды лучше подходят для молодых бизнесов.

3) Совместите период и метрики - в это время 100% ваших пользователей делают определённое главное действие (покупают продукт, размещают фото и так далее).

4) Выберите второй период - неделя или месяц спустя - и проверьте, сколько пользователей всё ещё совершают это действие.

5) Повторяйте анализ в другое время, чтобы понять, что влияет на поведение пользователей.

Инвесторам нужно видеть, что процент удержанных клиентов (или клиентов, совершающих определённое действие) в разные периоды стабилен или растёт. Это значит, что бизнес находится на пути построения большой устойчивой базы клиентов. Также инвесторам понравится, если новые когортные анализы (например, после введения новой функции) показывают лучшие результаты, чем предыдущие. Это говорит о том, что со временем компания повышает ценность продукта и учится лучше понимать своих пользователей.

Customer Concentration Risk / Риск концентрации клиентов

Концентрация клиента определяется отношением выручки с самого большого клиента и общей выручки. То есть если самый большой клиент платит вам $2 млн в год, а общая выручка - $20 млн в год, то концентрация равна 10%. Инвесторы предпочитают компании с низким показателем концентрации, потому что бизнес, который получает все средства лишь от нескольких клиентов, больше подвержен рискам. Например, такие клиенты могут оказывать плохое влияние на продукт, требуя функций, которые подходят только им, или принуждать компанию продавать им товары и услуги по заниженным ценам.

LTV (Life Time Value) / Ценность клиента на протяжении жизненного цикла

Эта метрика позволяет выяснить долгосрочную ценность клиента - сколько чистой прибыли вы получите с него (без затрат на привлечение) за всё время ваших отношений. Для вычисления этой ценности нужно знать следующие показатели.

1) Выручка с клиента (в месяц) = средняя стоимость заказов, умноженная на количество заказов.

2) Вклад на покрытие клиента = выручка с клиента минус различные затраты на клиента (например, продажи, административный и другие операционные расходы, связанные с обслуживанием).

3) Средняя продолжительность жизни клиента (в месяцах) = 1 разделить на ежемесячный процент оттока клиентов.

Для полученияе показателя жизненной ценности вклад на покрытие надо умножить на среднюю продолжительность жизни клиента. Чем больше показатель, тем перспективнее компания для инвестора.

Burn Rate / Скорость расходования средств

Знать скорость сгорания средств особенно важно для стартапов на ранних стадиях. Когда деньги заканчиваются, у молодых компаний уже не остаётся возможностей снизить расходы и нет времени, чтобы поднять инвестиции. Формула вычисления опасной скорости проста: от баланса на начало года надо отнять баланс на конец года и разделить результат на 12. Год - нестрогое ограничение по времени, можно взять любое число месяцев и, соответственно, подставить его в делитель.

CMGR (Compounded Monthly Growth Rate) / Составной месячный темп роста

Ежемесячный рост измерить очень просто - обычно его считают как среднее всех ежемесячных показателей за год. Однако в Andreessen Horowitz уверяют, что инвесторов интересует совокупный показатель, который считается по более сложной формуле. Она такова: (последний месяц года / первый месяц года) * (1 / Количество месяцев) – 1. Для маленьких компаний этот показатель может быть ниже, чем просто средний темп роста.

Churn / Отток клиентов

Важно понимать не только, сколько клиентов остаётся с вами, а сколько уходит. В этом поможет формула расчёта оттока - существует несколько вариантов. Andreessen Horowitz предлагает наиболее простой: число потерянных клиентов надо разделить на число клиентов на начало периода. Учитывать новые сделки, совершённые в течение этого месяца, не надо.

К работающим по подписке облачным сервисам самые строгие требования - ежемесячный отток не должен превышать 5–7%. В других сферах этот показатель может подниматься выше 20%, но конечно, чем ниже - тем лучше для инвестора.

«Секрет» благодарит за помощь в подготовке материала CEO Blackmoon Financial Group Олега Сейдака