Práticas recomendadas para aprimorar seu Agente Personalizado

O desempenho do seu agente se resume a três coisas: o modelo em que ele é executado, como seus gatilhos e escopo são configurados e como suas instruções são escritas. Ajustar qualquer um desses aspectos pode tornar seu agente mais confiável, mais consistente e mais econômico.

Este guia explica como:

• escolher um modelo adequado para a tarefa;

• controlar os gatilhos e o escopo do seu agente;

• deixar seu agente ajudar você a depurá-lo e otimizá-lo.

O Product Scout é um Agente Personalizado criado para responder a perguntas internas sobre produtos. Sua função é ajudar os colegas de equipe a obter respostas rápidas e precisas, como "O recurso X permite exportações em massa?", extraindo informações de documentos e conversas anteriores.

No momento, o Product Scout é acionado em todas as mensagens em um canal do Slack, pesquisa todo o espaço de trabalho em busca de contexto e é executado no modelo mais poderoso disponível. Funciona, mas três coisas se destacam: as respostas nem sempre são consistentes, ele é executado com mais frequência do que o necessário e há espaço para reduzir custos. Vamos usá-lo ao longo deste guia para mostrar como cada ajuste funciona na prática.

O Notion permite que você escolha em qual modelo seu Agente Personalizado é executado, e essa escolha é um dos maiores fatores que afetam o custo. O objetivo não é escolher o modelo mais poderoso disponível, mas sim encontrar o modelo que proporcione consistentemente resultados que atendam ao seu padrão de qualidade.

Ao selecionar um modelo, passe o cursor sobre cada opção no seletor de modelos para comparar velocidade, inteligência e custo.

Aqui está uma estrutura geral:

• Automático permite que o Notion selecione o melhor modelo para cada solicitação. Essa é a opção padrão recomendada para a maioria dos agentes.

• Os modelos leves funcionam bem para fluxos de trabalho repetitivos e de menor risco, como rascunhos de rotina, encaminhamento e triagem simples ou geração de conteúdo estruturado. Eles são uma boa opção quando a velocidade, a consistência e o custo-benefício são mais importantes do que o raciocínio complexo.

• Modelos poderosos (por exemplo, Opus) são ideais para tarefas que exigem escrita com nuances, raciocínio complexo ou alta precisão, mas usam mais créditos por execução.

Teste alguns modelos diferentes para ver qual deles atende consistentemente ao seu padrão de qualidade. Se a qualidade do resultado cair à medida que a tarefa ficar mais complexa, você sempre poderá mudar para um modelo mais potente.

O Product Scout estava originalmente sendo executado no modelo mais poderoso disponível. Mas sua tarefa principal, encontrar documentos relevantes e resumi-los, não requer um raciocínio complexo. A mudança para um modelo mais leve reduziu os custos sem perda de qualidade alguma.

Os gatilhos e o escopo do seu agente trabalham juntos. Os gatilhos controlam quando o agente é executado. O escopo controla o que ele lê. Se um deles for muito amplo, você gastará créditos em execuções que produzem resultados com ruído ou irrelevantes.

Um bom gatilho é frequente o suficiente para ser útil e específico o bastante para ser executado apenas quando necessário. Sempre que seu agente é acionado, ele usa créditos, mesmo que nenhuma ação seja realizada. Concentre seu gatilho nos momentos em que a ajuda do agente é realmente necessária.

Na configuração do Product Scout, ele era acionado em todas as mensagens em #product-questions, incluindo respostas, reações e “obrigado!” Isso ocasionava gastar créditos em execuções que não produziam nada útil.

Comece definindo quando o seu agente deve intervir:

• Quais perguntas este agente deve responder? Defina o pequeno conjunto de tipos de perguntas dentro do escopo e anote alguns exemplos.

• O que ele deve ignorar? Reações, "obrigado", conversas gerais e mensagens fora do tópico não devem acionar uma execução.

Depois de definir esses limites, ajuste seus gatilhos de acordo. Por exemplo, limite seu gatilho a @ menções, filtre por palavras-chave ou acione-o em uma alteração de propriedade específica em vez de deixá-lo ativo em cada edição.

Mudar o gatilho do Product Scout para @ menções faz com que ele só seja executado quando alguém está de fato fazendo uma pergunta.

Seu agente lê tudo a que você dá acesso. Se esse escopo for amplo, ele analisará muitas informações irrelevantes e a qualidade do resultado será prejudicada.

O Product Scout estava pesquisando todo o espaço de trabalho e todas as suas ferramentas conectadas: páginas de marketing, documentos de RH, anotações de reuniões antigas e meses de histórico do Slack de canais não relacionados. Nenhum deles contém respostas sobre o produto, mas o agente estava lendo tudo mesmo assim. Isso levava a resultados mais confusos e respostas menos consistentes.

Veja como definir o escopo do seu próprio agente:

• Comece por onde as respostas realmente estão: se o seu agente responde a perguntas sobre produtos, conecte-o aos seus documentos de produtos e canais relevantes do Slack, não a todo o seu espaço de trabalho e a todas as ferramentas conectadas.

• Não adicione contexto “por precaução”: cada página, base de dados ou canal extra é mais conteúdo para o seu agente classificar. Se não contiver respostas úteis regularmente, remova-o.

• Se o seu agente ainda abrange muitos tópicos não relacionados, divida-o em dois agentes focados: um agente que lida com perguntas sobre produtos e consultas de faturamento está fazendo duas tarefas. Dois agentes separados com escopos restritos fornecerão melhores resultados de cada um.

Restringir o escopo do Product Scout apenas à base de dados de Lançamentos de Produtos e ao histórico do Slack de #product-questions deu ao agente uma ideia mais clara de onde procurar. As respostas ficaram mais consistentes porque o agente passou a lidar com menos ruído.

Você não precisa acertar suas instruções na primeira tentativa. A maneira mais rápida de melhorá-las é mostrar ao seu agente personalizado alguns resultados “ruins” e pedir que ele ajude a reescrevê-los.

Aqui está um fluxo de trabalho simples:

• Reúna de 3 a 5 exemplos reais em que a resposta do agente foi muito longa, fora do tópico ou muito confiante.

• Pergunte ao agente o que deu errado: O escopo era muito amplo? As regras sobre quando responder não estão claras?

• Peça que ele proponha instruções aprimoradas que adicionem tipos de perguntas dentro do escopo, regras de “não responder” ou um modelo de resposta.

• Teste as novas instruções nos mesmos exemplos e mantenha a menor alteração que resolva o problema.

Por exemplo, você pode colar uma resposta em que o Product Scout extraiu de um documento de RH não relacionado e dizer a ele: “Esta resposta fez referência a uma página fora de Lançamentos de Produtos. Como devo atualizar suas instruções para evitar isso?” O agente pode sugerir adicionar um limite como “Fazer referência apenas a páginas na base de dados de Lançamentos de Produtos”.

Cada rodada de feedback ajuda você a identificar o que está faltando, e as instruções ficam mais precisas à medida que você avança.

As instruções originais do Product Scout eram amplas: “Responda a perguntas sobre produtos usando o conteúdo do espaço de trabalho.” Depois de algumas rodadas de testes e feedback, elas ficaram muito mais precisas: “Responda usando as Especificações do produto e o histórico do Slack. Se a resposta não estiver nos nossos documentos, diga isso. Mantenha as respostas com menos de 3 parágrafos.”

Antes de disponibilizar o agente para a sua equipe, teste-o você mesmo clicando em Executar agente na parte superior da página de configurações. Faça os tipos de perguntas que sua equipe realmente faria e veja como ele responde.

Para ver como essas práticas funcionam com um agente diferente, assista a este passo a passo:

Os melhores Agentes Personalizados são moldados ao longo do tempo. Cada pequeno ajuste se acumula e, em pouco tempo, você tem um agente mais confiável, mais consistente e mais econômico.