No último mês de agosto, a Jessie Chen, representante da Invision, plataforma colaborativa para designers desenvolverem trabalhos incríveis, participou do evento Designers + Geeks e descobriu como a Netflix vem trabalhando com Teste A/B ao longo dos anos. Descubra como a maior plataforma de streaming de vídeos da atualidade utiliza este recurso para aprimorar cada vez mais a entrega do seu serviço.
Durante o evento, Anna Blaylock e Navin Iyengar, ambos designers de produto da Netflix, compartilharam insights de como eles vêm realizando teste A/B com os dez milhões de membros da plataforma streaming. Eles também mostraram exemplos relevantes de teste A/B para ajudar os participantes a repensarem o design de suas próprias páginas.
A seguir, confira a review que Chen fez da apresentação de Blaylock e Iyengar no evento, e aproveite para se inspirar e realizar testes A/B cada vez mais eficientes para a suas landing pages.
Estilos de Teste A/B
Hipótese
Na ciência, “hipótese” é uma ideia ou explicação que você pode testar através de estudo e experimentação. No design, uma teoria ou achismo também pode ser chamado de “hipótese”.
A ideia básica de uma hipótese é que não há resultado pré-determinado. É algo que você pode testar e estes testes podem ser replicados.
“O conceito geral por de trás do teste A/B é criar um experimento com um grupo de controle e um ou mais grupos experimentais (chamados de “células” dentro do Netflix) que recebem tratamentos alternativos. Cada membro pertence, exclusivamente, a uma célula com um experimento diferenciado, uma das células sempre será denominada “célula padrão”. Esta célula representa o grupo de controle, que recebe a mesma experiência que todos os outros membros da Netflix que não estão em teste.” – Blog da Netlfix.
É assim que a Netflix realiza teste A/B: logo que o teste A/B começa, eles rastreiam métricas específicas, de relevância. Por exemplo, pode ser elementos como horas de streaming e retenção. Uma vez que os participantes forneceram dados relevantes o suficiente, a eficácia de cada teste é avaliada e um vencedor é definido de diferentes variações.
O teste A/B é o jeito mais confiável para analisar o comportamento do usuário.
Experimento
Muitas empresas como a Netflix realizam experimentos para gerar dados de usuários. Também é importante separar um tempo e esforço para organizar o experimento de forma apropriada para assegurar que ambos, tipos e quantidade de dados, são o suficiente e estão disponíveis para esclarecer questões de interesse, tanto eficientemente quanto possivelmente.
Você provavelmente já deve ter percebido que o filme ou série, em destaque na página inicial da Netflix, muda sempre que você realiza o login. Tudo isso é parte de um complexo experimento da Netflix para fazer com que você assista ao conteúdo deles.
A ideia do teste A/B é apresentar conteúdos diferentes para diferentes grupos de pessoas, reunir suas reações e usar estes resultados para construir estratégias futuras. De acordo com Gopal Krishnan, engenheiro da Netflix, “se você não capturar a atenção do usuário em 90 segundos, este usuário provavelmente perderá o interesse e mudará para outra atividade. Tal fracasso pode ocorrer porque nós não mostramos o conteúdo certo ou porque nós mostramos o conteúdo certo, mas não oferecemos evidências suficiente do motivo pelo qual o usuário deveria assistir determinado conteúdo.”
Em 2013, a Netflix realizou um experimento para ver se eles poderiam criar algumas artes variantes que aumentariam o interesse da audiência para um título. O resultado foi:
Krishnan comentou que, “foi um sinal que os usuários são sensíveis a mudanças na arte. Também foi um sinal de que há melhores maneiras que poderiam ajudar os membros da Netflix a encontrar o tipo de histórias que eles queriam ver dentro da experiência na plataforma.”
Mais tarde, a Netflix criou um sistema que automaticamente agrupava artes de conteúdo streaming, elas tinham diferentes aspectos como proporções, culturais, retoques e títulos localizados, mas com a mesma imagem de fundo. Eles replicaram o experimentos em outras séries para rastrear a performance da arte. Veja alguns exemplos:
Que conclusões podemos tirar do teste A/B da Netflix?
O teste A/B é a forma mais confiável de aprender o comportamento do usuário e, no nosso caso, leads.
1. Quando e por quê realizar teste A/B? Uma vez que você finalizar a produção das páginas de captura, use o teste A/B para adaptar o design da página e marque duas métricas chaves: retenção e receita. Através das alterações do teste A/B ao longo da produção e rastreamento de leads ao longo do tempo, você poderá analisar se suas mudanças geram retenção ou aumentam a receita. Se os resultados forem positivos, torne este teste A/B padrão. Desta forma, o teste A/B poderá melhorar continuamente as métricas de negócios.
2. Os seus usuários (leads) estão encontrando ou fazendo algo que você quer que eles encontrem ou façam? Com frequência, os usuários nem sempre completam uma tarefa tão rápido quanto você gostaria e, às vezes, eles nem conseguem encontrar um determinado botão na sua página. As razões disso podem variar: pode ser porque o design da página não é intuitivo o suficiente; a cor não é tão vibrante; o usuário não tem conhecimento tecnológico o suficiente; eles não sabem como tomar uma decisão porque há muitas opções em uma única página; e assim por diante.
3. As suas intuições estão corretas? Infelizmente, quando se trata de comportamento do usuário, as nossas intuições podem estar erradas – e a única forma de atestar nossa intuição é através do teste A/B. O teste A/B é melhor maneira de validar se o design de uma página é melhor do que outro. Por exemplo, se você quer descobrir se o design da página pode melhorar a taxa de usuários que clicam em um anúncio do Google Ads. Crie alguns designs experimentais diferentes e teste.
4. Explore as fronteiras. As melhores ideias vem de muitas outras ideias que foram exploradas. Aqui no leadlovers, o setor de marketing trabalha colaborativamente com o setor comercial e de suporte. Com muitas partes envolvidas, nós podemos explorar as fronteiras juntos.
5. Observe o que as pessoas fazem, não o que elas dizem que fazem. Quando for falar com os usuários, sempre tenha isso em mente: Eles sempre dizem uma coisa, mas realmente fazem outra.
6. Use uma data para estimar o tamanho da oportunidade. É tudo uma questão de “porquês”. Dados ajudam a moldar ideais.
Se até a Netflix tem necessidade e vê oportunidade em realizar teste A/B na sua página inicial, acredito que esta mesma visão deve ser adotada em relação as suas páginas de captura, através do teste A/B você terá maior entendimento sobre o público que você está impactando e poderá traçar estratégias mais assertiva, aumentando suas chances de conversão.
Não deixe de comentar o que você achou deste artigo, vamos amar saber o que você está achando. E para acessar o conteúdo original (em inglês) da Invision, clique aqui.
[et_bloom_inline optin_id=”optin_144″]
