O que são sistemas de recomendação e como eles funcionam?

Algoritmos de sistemas de recomendação são conjuntos de instruções que estimam a probabilidade de você gostar de cada item de um catálogo e depois ordenam esse catálogo do mais provável para o menos provável. O que aparece na sua tela é só o topo dessa lista. Eles usam duas pistas: o que você já fez (cliques, tempo de tela, compras, o que pulou) e o que pessoas com comportamento parecido com o seu fizeram.

Não existe intuição nem opinião no meio. É cálculo de probabilidade rodando sobre dados de comportamento. Este guia explica como esses sistemas decidem, com números tirados de documentos oficiais das próprias empresas (Netflix, Amazon, Google e Spotify), e mostra por que o algoritmo erra de propósito em algumas ocasiões.

Resposta rápida

• O que são: filtros que preveem sua preferência e ordenam um catálogo grande demais para ser visto por inteiro.
• Como decidem: por três métodos principais, a filtragem colaborativa (o que gente parecida com você gostou), a filtragem baseada em conteúdo (o que se parece com o que você já gostou) e a híbrida (as duas juntas).
• Por onde passam: um funil de duas etapas, primeiro reduzem milhões de itens a algumas centenas, depois ordenam essas centenas.
• Peso real: na Netflix, o sistema de recomendação influencia a escolha em cerca de 80% das horas assistidas, segundo artigo publicado por dois executivos da empresa em dezembro de 2015.
• Por que erram: falta de dados sobre você, mudança de gosto e exploração deliberada, quando o sistema testa algo novo para aprender.

O que é um algoritmo de sistema de recomendação?

Um algoritmo de sistema de recomendação é um conjunto de instruções matemáticas que analisa dados de comportamento para prever quais itens têm mais chance de interessar a cada pessoa. Ele resolve um problema simples de enunciar: o catálogo é grande demais e o seu tempo é curto.

Esse sistema não tem vontade própria. Ele observa padrões, como as páginas que você visita, o tempo que passa em cada tela e o que decide comprar. A partir dessas pistas, monta um modelo estatístico do seu gosto.

O funcionamento cabe em três etapas:

• Coleta de sinais: o sistema registra interações. Cliques, buscas, avaliações e também o que você ignorou contam.
• Identificação de padrões: ele compara suas ações com as de milhares de outras pessoas e com as características dos itens.
• Ordenação e entrega: ele calcula uma nota para cada item e mostra os melhores colocados.

Repare no terceiro ponto, porque é o mais mal compreendido. O algoritmo não escolhe um item, ele ordena uma lista inteira. A recomendação que você vê é consequência da ordenação, e não uma decisão isolada sobre um filme ou produto.

Como funcionam os algoritmos de recomendação na prática?

Na prática, esses sistemas usam três abordagens para decidir a ordem da lista. A diferença entre elas está em qual pergunta cada uma tenta responder.

O que é a filtragem colaborativa?

A filtragem colaborativa responde à pergunta “quem se parece com você gostou disso?”. Ela baseia a recomendação no comportamento de pessoas com histórico parecido com o seu. Se você e outra pessoa avaliaram bem os mesmos cinco livros, é provável que concordem sobre o sexto.

Quando você vê a frase “quem assistiu isso também assistiu”, está diante desse modelo. Ele usa a experiência coletiva para filtrar o que pode interessar a uma pessoa específica.

Como funciona a filtragem baseada em conteúdo?

A filtragem baseada em conteúdo responde a outra pergunta: “isso se parece com o que você já gostou?”. Ela analisa as características do próprio item, como gênero, tema, autor, ritmo ou palavras-chave.

Se você lê muitos textos sobre gestão, o sistema identifica esse tema e passa a sugerir outros textos com as mesmas etiquetas. Ele não olha para o que os outros fazem. Olha para o objeto.

O que são os modelos de recomendação híbridos?

Os modelos híbridos combinam as duas técnicas para cobrir as fraquezas de cada uma. A filtragem colaborativa não sabe o que fazer com um item recém-lançado, que ninguém consumiu ainda. A baseada em conteúdo tende a te prender no mesmo assunto para sempre.

Juntas, elas conseguem recomendar tanto um sucesso de público quanto um nicho específico. É por isso que quase todo sistema grande em operação hoje é híbrido.

Tabela comparativa das três abordagens

Abordagem	Pergunta que responde	Ponto forte	Ponto fraco
Filtragem colaborativa	Quem se parece com você gostou disso?	Descobre itens fora do seu histórico e gera surpresa boa	Não funciona com item novo nem com usuário novo, que ainda não têm histórico
Baseada em conteúdo	Isso se parece com o que você já gostou?	Funciona desde o primeiro item consumido e explica a sugestão com facilidade	Fecha você numa bolha temática e repete mais do mesmo
Híbrida	As duas perguntas ao mesmo tempo	Equilibra descoberta e relevância	Mais cara e mais complexa de construir e manter

O funil de duas etapas que quase todo sistema grande usa

Aqui está a parte que a maioria das explicações pula. Um sistema de recomendação não dá nota para o catálogo inteiro. Seria caro demais.

Ele trabalha em duas etapas. O artigo “Deep Neural Networks for YouTube Recommendations”, de Paul Covington, Jay Adams e Emre Sargin, apresentado na conferência ACM RecSys em 2016, descreve o sistema do YouTube dividido exatamente assim, no que os autores chamam de “clássica dicotomia de duas etapas da recuperação de informação”:

• Geração de candidatos: o primeiro modelo pega o catálogo inteiro e reduz para algumas centenas de itens plausíveis. Aqui o objetivo é não deixar nada bom de fora, mesmo que entre coisa ruim junto.
• Ordenação (ranking): um segundo modelo, mais caro e mais preciso, dá nota só para essas centenas e define a ordem final que você vê.

Entender esse funil explica uma frustração comum. Quando um vídeo ou produto ótimo nunca aparece para você, muitas vezes ele nem chegou à etapa de ordenação. Foi cortado antes, na geração de candidatos.

Quais são os principais exemplos de sistemas de recomendação?

Os exemplos a seguir usam números publicados pelas próprias empresas. A data importa, porque esses sistemas mudam rápido.

Netflix: o que os 80% realmente significam

No artigo “The Netflix Recommender System: Algorithms, Business Value, and Innovation”, publicado por Carlos A. Gomez-Uribe e Neil Hunt na revista ACM Transactions on Management Information Systems em dezembro de 2015, os autores afirmam que o sistema de recomendação “influencia a escolha em cerca de 80% das horas assistidas na Netflix” e que “os 20% restantes vêm da busca”.

Vale ler essa frase com atenção, porque ela é citada errado com frequência. O dado não diz que 80% do que as pessoas assistem foi sugerido pelo algoritmo. Diz que a recomendação influenciou a escolha nessas horas. Busca e recomendação são os dois caminhos possíveis, e a busca responde pelos 20% restantes.

Outros dados do mesmo artigo, referentes à Netflix daquele momento:

• A página inicial é onde “2 de cada 3 horas assistidas na Netflix são descobertas”.
• A página inicial tinha tipicamente cerca de 40 fileiras, variando conforme o aparelho, e até 75 vídeos por fileira.
• Pesquisa de consumo citada pelos autores sugeria que um assinante típico perde o interesse depois de talvez 60 a 90 segundos escolhendo, tendo olhado de 10 a 20 títulos.
• Os autores afirmam, sem apresentar a conta: “achamos que o efeito combinado de personalização e recomendação nos economiza mais de US$ 1 bilhão por ano”. É um número autorreportado pela própria empresa, ligado à redução de cancelamentos em “alguns pontos percentuais”, e não a receita nova. Foi escrito quando a Netflix tinha 65 milhões de assinantes.

Aquele número de 60 a 90 segundos explica o resto do projeto. O sistema não foi feito para acertar o filme perfeito. Foi feito para você achar algo aceitável antes de desistir.

Amazon: comparar produtos em vez de comparar pessoas

A grande virada da Amazon foi de perspectiva. Em vez de procurar clientes parecidos com você, o sistema procura produtos parecidos entre si. A técnica se chama filtragem colaborativa item a item.

Segundo artigo de Larry Hardesty publicado no site Amazon Science em 22 de novembro de 2019, o motivo é de custo computacional: “inspecionar o histórico de compras recentes de todos que compraram um determinado item exige muito menos consultas do que identificar os clientes que mais se parecem com um dado visitante do site”.

O mesmo texto conta que o algoritmo já rodava havia seis anos quando Greg Linden, Brent Smith e Jeremy York publicaram o artigo que o descreveu, em 2003. E que, em 2017, no aniversário de 20 anos da revista IEEE Internet Computing, o conselho editorial escolheu esse artigo como o único, em toda a história da publicação, que melhor resistiu ao “teste do tempo”.

A Amazon Science também relata um experimento de 2014 com dados de visualização do Prime Video em que uma rede neural do tipo autoencoder superou a filtragem item a item por dois para um. A métrica era específica: treinar o modelo apenas com dados anteriores a uma data de corte e verificar se pelo menos uma das seis principais recomendações feitas a um cliente era, de fato, um filme que ele assistiu nas duas semanas seguintes a essa data. Vale a ressalva que a própria Amazon faz: na primeira versão do teste, sem essa separação cronológica, o item a item vencia o autoencoder, e uma simples lista dos títulos mais assistidos também.

Spotify: quando o algoritmo erra de propósito

Em publicação de 16 de janeiro de 2020, baseada em palestra de Tony Jebara, vice-presidente de engenharia e responsável por aprendizado de máquina na empresa, o blog de engenharia do Spotify descreve o uso de um framework chamado multi-armed bandit, que equilibra duas forças opostas:

• Exploitation (aproveitar): recomendar com base no que já se sabe que você gosta. Aposta segura.
• Exploration (explorar): recomendar algo incerto de propósito, para descobrir como você reage.

O multi-armed bandit é a moldura da decisão, não o modelo que faz a previsão. Segundo o mesmo texto, os modelos de aprendizado propriamente ditos, como regressão logística, boosted trees e redes neurais profundas, operam por baixo desse framework.

Isso responde a uma dúvida frequente. Quando aparece uma sugestão fora do seu perfil, nem sempre é falha. Às vezes é o sistema pagando o preço de aprender. Um algoritmo que só aproveita o que já sabe fica preso no passado e nunca descobre um gosto novo seu.

Por que as recomendações erram?

Erro de recomendação quase sempre cai em um destes quatro casos:

• Pouco histórico: usuário novo ou item recém-lançado não têm dados suficientes. O sistema chuta com base em popularidade geral.
• Sinal contaminado: você assistiu algo na conta com outra pessoa, ou comprou um presente. O sistema registra aquilo como gosto seu.
• Gosto em movimento: seu interesse mudou e o modelo ainda opera com o padrão antigo.
• Exploração deliberada: como no caso do Spotify acima, o sistema está testando para aprender.

Perceber a diferença entre esses casos muda a forma de usar a ferramenta. Sinal contaminado se resolve com perfis separados. Gosto em movimento se resolve dando sinais novos e consistentes.

A lição do prêmio de US$ 1 milhão da Netflix

Esta é a parte mais reveladora da história desses sistemas, e a menos contada.

Em 2006, a Netflix ofereceu US$ 1 milhão a quem melhorasse em 10% a precisão do Cinematch, seu sistema de previsão de notas, o que exigia reduzir o erro (RMSE) de 0,9525 para 0,8572 ou menos. Em publicação de 6 de abril de 2012 no blog de tecnologia da empresa, os engenheiros Xavier Amatriain e Justin Basilico contam o desfecho.

A equipe Korbell venceu o primeiro Progress Prize com uma combinação de 107 algoritmos, resultado de mais de 2.000 horas de trabalho. A Netflix colocou em produção apenas os dois melhores componentes daquele conjunto, a fatoração de matrizes e as máquinas de Boltzmann restritas, que em 2012 seguiam em uso no motor de recomendação.

E a solução vencedora completa? O conjunto que levou o US$ 1 milhão dois anos depois combinava centenas de modelos preditivos. Segundo o mesmo texto, a Netflix avaliou offline apenas alguns dos novos métodos, e “os ganhos adicionais de precisão que medimos não pareciam justificar o esforço de engenharia necessário para levá-los a um ambiente de produção”. Os autores acrescentam que, àquela altura, o foco da empresa em melhorar a personalização já havia mudado de patamar. O conjunto campeão nunca entrou no ar inteiro.

A lição vale para qualquer projeto de aprendizado de máquina: precisão em teste não é a mesma coisa que valor em produção. O modelo mais preciso perde para o modelo que dá para manter rodando.

Como assumir o controle das suas recomendações

Você entrega os dados que alimentam esses sistemas. Isso dá alguma alavanca. O passo a passo abaixo vale para a maioria das plataformas de streaming, vídeo e compras:

1. Separe os perfis. Se mais de uma pessoa usa a conta, perfis distintos evitam a mistura de sinais que estraga a previsão para todo mundo.
2. Use os sinais explícitos. Curtir, dispensar, marcar “não tenho interesse” e avaliar valem mais que os sinais implícitos, porque não exigem que o sistema adivinhe sua intenção.
3. Limpe ou pause o histórico quando ele mentir sobre você. Aquela maratona atípica ou a compra de presente pode ser removida do histórico na maioria dos serviços.
4. Dê sinais consistentes por algum tempo. Um clique isolado quase não move o modelo. Um padrão repetido, sim.
5. Aceite a exploração. Consumir de vez em quando algo diferente é o que ensina o sistema a sair do lugar comum com você.
6. Revise as configurações de privacidade e personalização. Elas definem quais dados podem ser usados para montar as sugestões.

Nenhum desses passos desliga a recomendação. Eles só trocam quem está no comando dos sinais.

Qual a relação entre Machine Learning e recomendação?

O Machine Learning é o motor que permite ao sistema aprender com os dados sem que alguém escreva uma regra fixa para cada situação. O sistema de recomendação é o produto final, aquilo que você enxerga na tela.

Sem aprendizado de máquina, seria preciso programar manualmente algo como “quem gosta de comédia recebe comédia”. Com ele, a plataforma descobre sozinha padrões que ninguém pensou em escrever, incluindo combinações estranhas que só aparecem nos dados. Os modelos do YouTube descritos no artigo de 2016 usam redes neurais nas duas etapas do funil.

Se você quer entender a base disso, vale ver como a inteligência artificial aprende e como os algoritmos funcionam de forma geral. O mesmo raciocínio aparece nos algoritmos de recomendação das redes sociais.

Qual a importância desses sistemas para os negócios?

Para uma empresa, a recomendação transforma catálogo grande em vantagem, e não em obstáculo. Os benefícios práticos são três:

• Personalização em escala: atender milhares de pessoas ao mesmo tempo com uma vitrine diferente para cada uma.
• Redução de esforço de escolha: menos paralisia de decisão significa mais chance de a pessoa concluir alguma coisa.
• Retenção: no caso da Netflix, os autores do artigo de 2015 ligam a personalização diretamente à queda de cancelamentos, e é dessa redução que vem o valor autorreportado de mais de US$ 1 bilhão por ano economizados.

Note a ordem de causa e efeito no terceiro item. O ganho declarado não veio de vender mais para quem já ia comprar. Veio de manter quem ia embora.

Como implementar um algoritmo de recomendação eficiente?

Um projeto de recomendação segue quatro etapas, e a primeira decide o resto:

1. Defina a métrica de sucesso antes do modelo. Aumentar vendas, tempo de uso ou facilitar navegação levam a modelos diferentes. A história do prêmio da Netflix mostra o custo de otimizar a métrica errada.
2. Trate os dados. Sinal sujo ensina padrão errado. Compra de presente e conta compartilhada são os casos clássicos.
3. Escolha a abordagem. Conteúdo, colaborativa ou híbrida, conforme o volume de dados que você já tem e a quantidade de itens novos que entra no catálogo.
4. Teste com gente de verdade. Meça se a recomendação gera interação real, e não só se o modelo acerta em base histórica.

O ajuste fino aparece quando você compara a resposta da máquina com a reação humana. É trabalho de manutenção, não de lançamento.

Perguntas frequentes

Algoritmo de recomendação é inteligência artificial?

Sim, na maioria dos casos atuais. Os sistemas modernos usam aprendizado de máquina, que é um ramo da inteligência artificial. Existem versões antigas baseadas em regras fixas, mas as grandes plataformas descritas neste texto usam modelos que aprendem com dados.

O aplicativo está ouvindo minhas conversas para recomendar?

Os documentos técnicos publicados pelas empresas citadas aqui descrevem sistemas alimentados por comportamento registrado na própria plataforma: o que você clica, assiste, pula, busca e compra. Esse histórico costuma ser detalhado o bastante para gerar coincidências que parecem leitura de pensamento.

Por que recebo uma recomendação que não tem nada a ver comigo?

Pode ser falta de dados, sinal contaminado por outra pessoa na mesma conta, mudança de gosto ou exploração deliberada do sistema, que testa itens incertos para aprender, como descreve o blog de engenharia do Spotify.

Dá para desligar as recomendações?

Desligar por completo raramente é possível, porque a ordenação do catálogo é a própria interface do serviço. O que dá para fazer é mudar os sinais que alimentam o sistema, com perfis separados, limpeza de histórico e uso das configurações de privacidade e personalização.

Qual a diferença entre filtragem colaborativa e baseada em conteúdo?

A colaborativa olha para pessoas parecidas com você. A baseada em conteúdo olha para itens parecidos com os que você já consumiu. A primeira descobre novidade, a segunda mantém coerência com seu histórico.

Fontes

• Gomez-Uribe, C. A.; Hunt, N. The Netflix Recommender System: Algorithms, Business Value, and Innovation. ACM Transactions on Management Information Systems, v. 6, n. 4, artigo 13, publicado online em 28 de dezembro de 2015.
• Amatriain, X.; Basilico, J. Netflix Recommendations: Beyond the 5 stars (Part 1). Netflix Technology Blog, 6 de abril de 2012.
• Hardesty, L. The history of Amazon’s recommendation algorithm. Amazon Science, 22 de novembro de 2019.
• Covington, P.; Adams, J.; Sargin, E. Deep Neural Networks for YouTube Recommendations. Proceedings of the 10th ACM Conference on Recommender Systems (RecSys), 2016.
• For Your Ears Only: Personalizing Spotify Home with Machine Learning. Spotify Engineering, 16 de janeiro de 2020.