Wall-M : Performe consultas semânticas na caixa de entrada do seu email e tenha respostas acuradas com citações de fontes

Introdução

Com o crescimento da Gen AI, acreditamos que agora os usuários devem ser aptos a acessar dados não estruturados de uma maneira muito mais simples. A maioria das pessoas tem muitos emails que não conseguem dar conta. Por exemplo, em investimentos/trading, os profissionais dependem de decisões rápidas que levem em consideração o máximo de informação possível. Da mesma maneira, empregados seniores em uma startup lidando com muitos times e disciplinas podem ter dificuldade em organizar todos os emails que recebem. Esses problemas comuns podem ser resolvidos usando GenAI e ajudar a fazer suas vidas mais fáceis e organizadas. A possibilidade de alucinação em modelos GenAI pode ser assustadora, e é aí que a pesquisa RAG + Hybrid aparece para salvar o dia. É isso que nos inspirou a construir o produto WALL-M (Work Assistant LL-M: Assistente de trabalho LLM - Large Language Model: Grandes modelos de linguagem).  No HackUPC 2024, desenvolvemos o WALL-M como parte do desafio de pesquisa por vetores InterSystems É uma plataforma de geração de recuperação aumentada (RAG - Retrieval Augmented Generation), desenhada para responder perguntas de forma acurada em emails com o mínimo de alucinações possíveis. Essa solução endereça o desafio de lidar com longos e numerosos emails, especialmente em áreas movidas pela velocidade, como investimento e trading, startups com muitos times e disciplinas, ou indivíduos que procuram administrar suas caixas de entrada cheias.

O que ele faz

Você pode carregar os emails da sua caixa de entrada e escolher filtrar por data e remetentes para definir o contexto para o LLM. Então, dentro do contexto, você pode escolher consultas específicas relacionadas aos emails escolhidos. Exemplo 1: ideias de trading baseadas em selecionar relatórios bancários ou relatórios de pesquisa de investimento. Exemplo 2: Um funcionário em uma companhia/startup pode pedir uma lista de itens de ação baseados nos emails relacionados a trabalho recebidos na última semana.

Depois disso, se você tiver quaisquer outras questões, também adicionamos um segmento para conversar com o Wall-M, baseado no contexto selecionado usando a consulta inicial. Isso assegura que todas as questões subsequentes também receberão respostas que não alucinam e incluem os emails fonte usados para gerar a resposta.
 

Como construimos ele

Frontend: Taipy

Backend: InterSystems Database, SQL

RAG + Vector Search: InterSystems Software, ChatGPT

Tools: LangChain, LlamaIndex

Desafios que encontramos

Aprender a usar com a framework (estrutura) de Python full-stack "TaiPy". Otimização de prompt para evitar alucinações. Usar LangChain para obter um padrão específico que inclui citações apontando para a fonte da resposta/alegação. Incompatibilidades entre diferentes ferramentas que queríamos usar.

Próximos passos para o Wall-M

Usar a prova de conceito para os casos de uso específicos e avaliar sua performance usando benchmarks  para validar a credibilidade do produto. Melhorar a integração com aplicações comuns de emails como Outlook e Gmail com usos personalizados para melhorar a utilidade do Wall-M.

Teste você mesmo

Nosso repositório GitHub : https://github.com/lars-quaedvlieg/WALL-M