A pergunta interessante sobre uma assistente de IA dentro de um sistema clínico não é o que ela responde. É o que ela se recusa a responder.
O Psicotime tem uma assistente chamada Alma, que ajuda psicólogos em tarefas de registro e organização do trabalho clínico. Os documentos produzidos com esse apoio precisam respeitar a Resolução CFP 06/2019. E a decisão de produto mais importante que tomamos nela não foi uma funcionalidade: foi uma lista de coisas que ela não faz.
Ela não emite hipótese diagnóstica. Não sugere conduta terapêutica. Não produz, sozinha, nenhum documento que vá para o prontuário com o nome do profissional embaixo.
Isso não é modéstia de produto. A Resolução CFP 06/2019 atribui à psicóloga ou ao psicólogo responsabilidade ética e disciplinar pelas informações presentes nos documentos psicológicos, além das responsabilidades civis e criminais aplicáveis. A ferramenta pode apoiar a elaboração. Ela não substitui a leitura, a decisão e a assinatura do profissional.
Por que o prompt não é uma garantia
A forma mais comum de impor um limite a um modelo é escrever esse limite no prompt. "Você não deve fornecer diagnósticos." Funciona na maior parte das vezes, e é exatamente esse "na maior parte" que impede de chamar isso de garantia.
Uma instrução no prompt é uma camada de proteção, não uma garantia isolada. Ela concorre com tudo o mais que entra na conversa: o contexto acumulado, a insistência de quem pergunta, a reformulação hábil. O usuário nem precisa estar tentando burlar nada. Basta ele perguntar, de boa fé, "e o que isso pode indicar?", e o caminho de menor resistência do modelo pode ser responder.
Um limite que depende apenas do modelo seguir uma instrução no momento certo não é uma barreira suficiente. É uma tendência de comportamento.
Onde o limite mora de verdade
O limite útil fica fora do modelo. Na prática, isso significa desenhar o sistema de forma que a coisa proibida seja estruturalmente impossível, e não apenas desencorajada.
A assistente não tem ações livres, tem um repertório fechado. Ela não é um chat com acesso ao sistema; ela executa um conjunto pequeno e nomeado de operações. Não existe a operação "concluir diagnóstico" para ser chamada. A ausência é a trava.
O texto que ela produz é rascunho, nunca registro. Nada entra no prontuário sem a ação deliberada do profissional. A diferença entre "a IA escreveu no prontuário" e "a IA propôs um texto que o profissional leu, editou e assinou" parece pequena na interface e é a diferença inteira do ponto de vista ético e legal.
O que ela vê é limitado por criptografia, não apenas por política. Na arquitetura atual do Psicotime, o conteúdo clínico do prontuário é cifrado com uma chave derivada da senha do profissional. Isso limita o acesso operacional da própria Sothen ao conteúdo em claro. Não elimina a necessidade de proteger metadados, credenciais, dispositivos e cópias de segurança, mas reduz o que a operação da plataforma consegue expor.
Esse último ponto é o mais importante e o menos comum. Quase todo produto trata o acesso aos dados do cliente como uma questão de política interna: quem tem permissão, quem auditou, qual foi o treinamento. Política é revogável, e depende de todo mundo se comportar, inclusive daqui a três anos, inclusive depois de uma aquisição. Arquitetura não depende de comportamento.
Custa caro. Perde-se a recuperação de senha trivial, perde-se uma pilha de análises agregadas, perde-se a possibilidade de dar suporte olhando o dado do cliente. Foi um preço que fazia sentido pagar num produto que carrega conteúdo de sessão de psicoterapia.
A pergunta que vale para qualquer domínio regulado
Saúde, direito, contabilidade, crédito, seguros. Sempre que a IA encosta num domínio com responsabilidade profissional definida em lei ou em conselho de classe, o desenho começa pela mesma pergunta:
Qual é a pior frase que este sistema poderia produzir?
Não a mais provável, a pior. Escreva ela. Depois torne a sua emissão impossível, e não apenas improvável. Isso se faz removendo a capacidade, não instruindo contra ela.
A segunda pergunta é o complemento: quem assina o resultado? Se a resposta for "o profissional", então o sistema inteiro precisa ser construído para que ele leia, edite e assuma, com atrito suficiente para que isso não vire um clique automático. Uma IA que produz saída boa demais para ser conferida é um problema disfarçado de recurso.
O que isso faz com o produto
O efeito mais interessante de trabalhar assim é que o produto fica melhor, não pior.
Uma assistente com escopo fechado é mais previsível, e previsibilidade é o que faz um profissional confiar numa ferramenta e usá-la todo dia. O limite claro também é um argumento comercial: dá para explicar, em uma frase, o que a ferramenta faz e o que ela nunca fará, para um público que tem razões legítimas de desconfiar de IA sobre dado sensível.
Não é IA como enfeite, com um chat genérico colado na lateral da tela. É IA embutida numa operação específica, com fronteira desenhada antes da funcionalidade. E a fronteira é, ela própria, parte do que se está vendendo.