Pesquisar no ChatGPT para obter respostas é um risco - pode oferecer a você "fatos" totalmente inventados que parecem legítimos, como descobriu recentemente um advogado de Nova York . Apesar de terem sido treinados em grandes quantidades de dados factuais, grandes modelos de linguagem, ou LLMs, são propensos a gerar informações falsas chamadas alucinações. Isso pode acontecer quando os LLMs são encarregados de gerar texto sobre um tópico que não encontraram muito ou quando misturam erroneamente informações de várias fontes. No caso do infeliz advogado, ChatGPT alucinava opiniões judiciais imaginárias e citações legais que ele apresentava no tribunal; o juiz presidente ficou previsivelmente descontente.

"Imagine usar a função de autocompletar do seu telefone para terminar a frase 'Meu restaurante favorito é...' Você provavelmente terminará com um texto de aparência razoável que não é necessariamente preciso", explica Marc Marone , candidato a doutorado do terceiro ano na Departamento de Ciência da Computação da Whiting School of Engineering .

Marone e uma equipe de pesquisadores que incluía os doutorandos Orion Weller e Nathaniel Weir e os orientadores Benjamin Van Durme , professor associado de ciência da computação e membro do Centro de Linguagem e Processamento de Fala ; Dawn Lawrie , pesquisador sênior do Centro de Excelência em Tecnologia da Linguagem Humana ; e Daniel Khashabi , professor assistente de ciência da computação e também membro do CLSP, desenvolveu um método para reduzir a probabilidade de alucinações dos LLMs. Inspirados por uma frase comumente usada no jornalismo, os pesquisadores realizaram um estudo analisaram o impacto de incorporar as palavras "de acordo com" nas consultas do LLM.

Eles descobriram que "de acordo com" solicita modelos de linguagem direcionados com sucesso para fundamentar suas respostas contra o texto previamente observado; em vez de alucinar respostas falsas, os modelos são mais propensos a citar diretamente a fonte solicitada – assim como um jornalista faria, diz a equipe.

"Os modelos de linguagem são realmente bons em seguir pistas sintáticas e semânticas", explica Weller. "Como 'de acordo com' é mais provável de ocorrer online quando um artigo de notícias cita uma fonte, um LLM pode usar o prompt como uma pista para pesquisar especificamente por citações de seus dados de treinamento."

Usando Data Portraits , uma ferramenta desenvolvida anteriormente por Marone e Van Durme para determinar rapidamente se um determinado conteúdo está presente em um conjunto de dados de treinamento sem a necessidade de baixar grandes quantidades de texto, a equipe verificou se as respostas de um LLM poderiam ser encontradas em seus dados de treinamento originais . Em outras palavras, eles foram capazes de determinar se o modelo estava inventando coisas ou gerando respostas com base nos dados que já havia aprendido.

Essa métrica, que a equipe chama de "QUIP-Score" - abreviação de precisão das informações citadas - aumentou de 5% a 15% quando as consultas usaram um prompt de base, como "De acordo com a Wikipedia..." Na verdade, adicionar um prompt de base que incentiva um modelo a obter informações de uma fonte de alta qualidade aumenta a capacidade do modelo de citar o texto e quão detalhadas e precisas são suas respostas em geral, relata a equipe.

"Estamos buscando melhorar a base de conhecimento fazendo com que os LLMs citem diretamente de recursos confiáveis ??subjacentes que eles viram durante o treinamento", explica Khashabi. "Nosso objetivo é que os modelos acessem conteúdo útil, como cadeias de caracteres memorizadas de documentos confiáveis ??ou de alta qualidade."

Embora isso possa parecer o que um assistente virtual faz, há uma diferença crucial: na implementação da equipe Hopkins, o LLM não tem acesso à internet. Em vez disso, ele deve responder inteiramente por meio de seu próprio conhecimento implícito – uma distribuição aprendida sobre sentenças observadas anteriormente – sem nenhum dado extra fornecido por uma pesquisa ao vivo.

A técnica de solicitação "de acordo com" funciona bem com uma ampla variedade de LLMs sem a necessidade de ajuste humano, diz a equipe. No entanto, eles afirmam que é mais bem-sucedido quando usado com modelos maiores e em conjunto com o ajuste de instruções, que é quando um modelo é treinado com instruções como "Responda à pergunta com a resposta correta", além de pares típicos de perguntas e respostas.

"Também é importante observar que, embora o texto gerado pelo modelo possa estar presente na Wikipedia, ou em qualquer fonte que você especificar, isso não torna automaticamente a geração de saída correta em relação à pergunta feita", diz Weller.

Em última análise, a precisão da resposta de um modelo ainda depende da qualidade dos dados com os quais ele foi treinado, e é por isso que a equipe considerou a capacidade de filtrar informações de sites de má reputação.

"Mostramos que é possível colocar literalmente 'Não cite XYZ.com' em sua consulta, e o ChatGPT atenderá", diz Weir, "mostrando mais evidências de que ele entende as instruções de aterramento".

Van Durme acrescenta: "Nosso método não é uma solução definitiva, mas é um passo para ajudar os LLMs a gerar informações mais fatuais e corretas, ajudando-os a usar o que aprenderam com seus dados de treinamento".