Easynvest Data Platform

Introdução

Sumário

Dentro do planejamento anual da Easynvest, um investimento na expansão da equipe de data & analytics teve como objetivo encurtar a tomada de decisão e entregar maior qualidade aos clientes por meio de um processo operacional com baixo custo.

Dentre os principais objetivos deste projeto, tivemos a automatização de análise de crédito na aprovação do cadastro de clientes utilizando Machine Learning, um processo que até então era longo e manual, sendo realizado pelo back office.

Seguido de uma melhor oferta de produtos ao cliente, realizando a categorização de acordo com o perfil de cada cliente, permitindo sugestões mais atraentes de produtos, estando alinhadas com as preferências pessoais, assim como de acordo com o perfil de cada investidor (conservador, moderado ou agressivo).

Por último, mas não menos importante, a detecção inteligente de lavagem de dinheiro gerando relatórios para as autoridades responsáveis.

Problemática

Entretanto, houve limitações nas ferramentas de dados, principalmente devido ao fato de seram softwares proprietários (com licenças limitadas) e projetados para uso em data centers. Além disso, o banco de dados analítico foi modelado para modelos tradicionais de Business Intelligence (OLAP, etc), tornando o processo de tomada de decisão pesado, devido à quantidade exigente de interações durante o ETL.

Anteriormente para um cliente ser aprovado, o processo levava de 10 a 15 dias. Para que todas as informações necessárias fossem coletadas, tendo uma perspectiva completa do perfil, includindo análises de crédito. Após coletar as informações o back office gerava uma pontuação na análise interna de crédito.

Sendo que, na maioria dos casos, o cliente não era notificado sobre atualizações referentes ao processo e não recebia feedback ao fim (caso recusado), a menos que fosse explicitamente solicitado (contatando o suporte via chat ou e-mail, por exemplo) o que tornava o processo demorado e custoso. Sem contar as inúmeras quantidades de clientes perdidos para a concorrência durante esta longa espera.

Solução

Implementação Técnica

Para tornar isso possível, construímos uma implementação híbrida em nuvem usando AWS componentes baseados em nuvem (principalmente AWS S3, EMR e ECS), para extender a capacidade do data center, implementando um ecossistema Hadoop cloud-first (substituindo os componentes de software proprietário por open-source equivalentes). Dando à Easynvest a possibilidade de crescer seu Data Lake exponencialmente.

O design do Data Lake foi robusto, visando lidar com a execução pesada de processos analíticos através de modelos de Machine Learning, com suporte para data quality, governança de metadados, segurança da informação e self-service de dados (os proprietários dos dados poderiam compartilhar seus dados com consumidores de outras áreas da empresa, permitindo o auto-serviço de seus dados analíticos).

Um Chatbot também foi utilizado para reduzir a carga operacional no ambiente, sendo responsável pela manutenção e atualização dos componentes de infra-estrutura. Desde o acionamento de deployments até a geração de chaves de criptografia on-demand para segurança e governança da plataforma de dados. Implementado com Errbot em Python interagindo com Slack.

Indo além, implementamos as melhores práticas de DevOps, tendo Jenkins como ferramenta para CI/CD dos componentes desenvolvidos junto com Ansible para Gerenciamento da Configuração.

Impacto e resultados

Graças à utilização de camadas no Data Lake e a implementação de pipelines de dados, conseguimos reduzir o tempo de ingestão dos dados em 78%, incluindo metadados e catálogo de dados, além de automatizar grande parte do trabalho que antes era feito manualmente durante a ingestão.

Assim, trazendo resultados positivos, principalmente durante a aprovação de novos registros de usuários, de ~10 dias para aproximadamente 1 dia. Tornando também a plataforma de dados mais democrática, fornecendo informações relevantes que facilita a análise de outras áreas da companhia como risco (análise de crédito) e suporte (atendimento), sem ter que abrir mão da segurança.

Matheus Cunha
Matheus Cunha
Engenheiro de Sistemas e Mágico

Apenas um amante de tecnologia empoderando empresas com computação “high-tech” para ajudar na inovação (:

comments powered by Disqus