Medir a satisfação de funcionalidades é diferente da satisfação de produtos
Originalmente publicado no blog da PM3
Neste artigo vamos abordar outro tema pouco falado, que é a satisfação das funcionalidades, e não necessariamente do produto como um todo. Muitas vezes nós estamos preocupados em lançar features e ficamos olhando para métricas de negócio e satisfação do produto, sem saber se, de fato, o que lançamos está gerando impacto.
Um erro comum aqui é pensar que o NPS é a melhor maneira de mensurar isso. Quem dera fosse simples assim. Pouco se fala, mas o problema do NPS é que ele mede a experiência do produto como um todo, e não as funcionalidades.
Imagina só a pergunta “De 0 a 10, quanto você recomendaria nosso produto para um amigo ou parente?” O NPS vai dar algumas informações macro e apontar alguns problemas. Porém, às vezes, você precisa de mais detalhes.
Por exemplo, o NPS presume que alguém não pode ser promotor e detrator ao mesmo tempo. Mas os humanos são complexos e muitas vezes contraditórios. Uma pesquisa rodada pela C Space provou que algumas pessoas que foram detratoras de um produto recomendaram ele para alguns colegas e vice-versa. A pesquisa revelou que 52% de todas as pessoas que desencorajaram ativamente outras pessoas a usar uma marca também a recomendaram ativamente. E na escala NPS, eles encontraram consumidores que promoveram e criticaram ativamente a mesma marca.
Óbvio que o NPS tem suas vantagens, porque é uma pergunta simples e serve de benchmark para você comparar com o NPS da sua indústria. Mesmo assim, ele conta só uma parte da história e não te ajuda a avaliar as funcionalidades e sim o produto/empresa toda. Esse é o principal desafio para nós, pessoas de Produto.
Neste artigo vou lhe dar 2 alternativas interessantes para medir a satisfação de funcionalidades. Não quer dizer que você precisa parar de usar NPS, pelo contrário, ele continua sendo bem útil para medir algo mais macro.
Neste caso vamos focar na mensuração das funcionalidades. E sim, dá mais trabalho, e sim, é mais complexo. Por isso poucos fazem e isso é um dos motivos pelo qual a gente não cria produtos melhores. Espero poder ajudá-lo nisso.
Como medir a satisfação das funcionalidades
Precisamos começar a perguntar para as pessoas o que elas acham da feature em si. Veja, por exemplo, como o Miro faz com novas funcionalidades:
Podemos ir mais longe, inclusive. Imagine que você é Product Manager do WhatsApp e acabou de lançar a funcionalidade de enquete. Como você mensuraria a feature?
Vou mostrar como eu faria:
Logo após o usuário usar a enquete pela primeira vez (seja para criar ou para responder) eu perguntaria o seguinte, dentro do app mesmo:
Quão satisfeito você está ao poder criar e responder enquetes no Whatsapp?
Criaria segmentos diferentes e mostraria a pergunta em 4 momentos diferentes para cada segmento, sendo eles:
1 — Quem usou pela primeira vez
2 — Quem usou pela segunda vez
3 — Quem usou pela terceira vez
4 — Quem usou pela quarta vez
Faria essa separação pois é possível que a primeira vez seja mais difícil usar do que as outras, portanto é sempre relevante fazer a comparação.
Na análise ainda iria comparar os feedbacks para quem usou em mensagens privadas e em grupos. E para quem usou em grupos iria separar por tamanho de grupos para ver se mostra alguma diferença.
Você também pode medir o esforço de usar as funcionalidades
Embora a adoção e retenção possam indicar a necessidade de uma funcionalidade, não quer dizer que as pessoas estejam satisfeitas em usá-la. Por exemplo, muita gente é obrigada a usar o aplicativo do FGTS, mas ele ter uma boa adoção não é garantia de satisfação.
Voltando ao exemplo do WhatsApp, outra maneira de medir seria perguntar:
No geral, quão fácil foi criar uma enquete e enviá-la aqui no WhatsApp?
As respostas deveriam variar da seguinte maneira:
- Muito mais difícil do que eu imaginava
- Mais difícil do que eu imaginava
- Como esperado
- Mais fácil do que eu esperava
- Muito mais fácil do que eu esperava
Você ainda poderia criar uma variação somente para quem respondeu, aumentando as chances de assertividade ao contextualizar melhor a pergunta:
No geral, quão fácil foi responder uma enquete aqui no WhatsApp?
De acordo com uma pesquisa da Gartner, 96% das pessoas não se tornam fiéis a um produto/serviço se ele exigir um alto esforço para ser usado. Em contrapartida, apenas 9% não se torna fiel caso ele seja de baixo esforço para ser utilizado. Portanto, mensurar o esforço pode ser um excelente proxy para medir satisfação.
Conclusão
Espero conseguir ter ajudado você a entender que medir satisfação não se trata apenas de NPS e precisamos mensurar as funcionalidades ao invés do produto como um todo. Ao fazermos isso corretamente, aumentamos a chance de tomarmos decisões melhores na hora de priorizar os produtos, afinal, é como o Paul Buchheit fala: “Empresas não fracassam porque elas não trabalharam 10% a mais. Elas falham porque elas trabalharam nas coisas erradas.”
Originalmente publicado no blog da PM3: https://www.cursospm3.com.br/blog/medindo-o-sucesso-das-funcionalidades-por-meio-da-adocao/
Esse artigo faz parte da série destes outros três artigos:
1 — Medindo o sucesso das funcionalidades através da adoção
2- Medir a satisfação de funcionalidades é diferente da satisfação de produtos
