A Vivo possui diversos aplicativos para atender seus clientes, e diariamente milhares de clientes utilizam a avaliação das stores desses aplicativos como canal de comunicação com a marca. Através desse canal, os usuários dos aplicativos expressam seu nível de satisfação, através de avaliações contendo textos onde são feitos elogios e críticas tanto ao aplicativo e seus serviços, quanto outros serviços prestados pela empresa.
Quanto mais rápido é feita a avaliação e o entendimento do que está sendo dito, antes a empresa consegue identificar problemas que podem impactar centenas de milhares de usuários.
A interpretação e categorização humana é pouco escalável em um contexto onde horas entre o início e a identificação de um problema pode significar uma crise de grande impacto.
Implementar um fluxo de atendimento das app stores que atue na coleta de dados, armazenamento, tratamento e classificação dos dados, disposição em dashboards e análises.
Implementar uma IA que faça a classificação automática dos reviews near real time e que identifique cenários fora da normalidade e acione os responsáveis para o tratamento adequado.
O fluxo de atendimento tem como base 5 camadas distintas e uma equipe multidisciplinar envolvida.
1 - fontes de dados
Configuração da plataforma e estrutura de integração
2 - gestão ágil operacional
Processo de gerenciamento e performance
3 - saídas estratégicas
Delivery de insights e contribuição para o negócio
4 - processo de comunicação
Fluxo de inputs e canal de alinhamento
5 - segurança da informação
Camada tecnológica de seguridade
A consolidação de dados dá sustentação ao desenvolvimento da capacidade analítica e possibilita a integração, segurança e acervo de informação necessários para a operação.
Nessa consolidação é realizado o processo de Extração, Transformação e Carga (ETL), assim como agregação de metadados, anotações e controle de ETL para possibilitar rastreio da informação e processos de auditorias.
Nessa etapa também pode ser realizado as regras de controle de histórico de dados através do uso de Slowly Changing Dimension.
Dashboards mostram a situação dos aplicativos tanto em nível estratégico, tático e operacional.
Permitindo acompanhamento da evolução das notas, quantidade de reviews e acompanhamento em detalhe do que está sendo falado pelos usuários, podendo chegar até o nível de review.
A partir da análise histórica dos reviews foi construída uma estrutura de classificação que facilita o processo de atendimento ao mesmo tempo que cria uma base anotada para processos de machine learning. Esses processos passam a sugestão dos rótulos a serem classificados para os novos reviews.
Os dados passam por várias etapas de pré-processamento para limpar e padronizar os dados, a fim de obter os melhores resultados com o algoritmo de classificação, o algoritmo que tivemos melhor resultado para esse cenário foi o de Randon Forest, mas o processo foi realizado com vários algoritmos amplamente utilizados.
Os dados já categorizados historicamente são separados em duas bases, treino e teste. A partir do momento que o algoritmo de Machile Learning realiza o treino, ele está apto a fazer classificações, e a base de teste é então utilizada para identificar a assertividade do modelo.
Essa assertividade pode ser medida através de algumas métricas, as mais comumente utilizadas são: Precision, Recall e F1 Score.
Precision é mede a quantidade de reviews classificados como elogio, quantos efetivamente eram da classe elogio.
O recall é a frequência em que o seu classificador encontra os exemplos de uma classe, ou seja, “quando realmente é elogio, o quão frequente você classifica como elogio?”
F1 Score é uma métrica que combina precision e recall de modo a trazer um número único que indique a qualidade geral do seu modelo.
Esses resultados permitem que a IA seja usada com segurança na categorização dos reviews, em casos de frases ambíguas ou com mais que uma classe o preditor retorna mais que uma classe e o percentual de confiança naquela classe, e direcionado a decisão humana de qual classe melhor representa aquele review de acordo com regras de negócio combinadas com o cliente.
Com os resultados obtidos na primeira versão, já foi possível realizar a classificação automatizada de cerca de 60% dos reviews diários recebidos pelos aplicativos.
