Como é que os grandes modelos de linguagem (LLM) compreendem a linguagem natural?

Nos últimos anos, os grandes modelos de linguagem (LLM), como o ChatGPT, o Claude e o Gemini, tornaram-se populares, e as suas poderosas capacidades de processamento de linguagem natural são surpreendentes. As pessoas começaram a perguntar-se: será que estes modelos realmente "compreendem" a linguagem? Como é que "compreendem" as nossas expressões quotidianas? Este artigo analisará profundamente a forma como os LLM processam a linguagem natural, desde os princípios, os métodos de treino e os mecanismos de compreensão, até aos casos práticos, e esclarecerá alguns equívocos comuns.

O que é "compreensão"? Em que é que a compreensão das máquinas difere da compreensão humana?

No mundo humano, a compreensão da linguagem depende do conhecimento de fundo, da experiência, do raciocínio lógico e das ligações emocionais. No contexto da máquina, a compreensão significa mais "a capacidade de prever corretamente as relações contextuais da linguagem e de gerar respostas significativas".

Por conseguinte, a compreensão da linguagem pelos grandes modelos linguísticos é uma construção "estatística-padrão". Não tem consciência ou intenção humana, mas através de vastos corpora e formação, pode captar a estrutura, a lógica e o contexto inerentes à linguagem, demonstrando assim uma espantosa "capacidade de compreensão" em termos funcionais.

I. Fundamentos da formação: da incorporação de palavras à arquitetura Transformer

1. Linguagem de vetorização

Antes de treinar um LLM, a linguagem precisa primeiro de ser convertida numa forma "numérica" que a máquina possa compreender. Este processo é chamado vetorização. A forma mais comum atualmente é usar incorporação de palavras (word embeddings) ou incorporação de subpalavras (token embeddings).

Eis um exemplo:

Estes vetores não são atribuídos aleatoriamente, mas são aprendidos pelo modelo para que as palavras semanticamente semelhantes tenham distâncias vetoriais mais curtas. Por exemplo, os vetores para "maçã" e "banana" estão mais próximos, enquanto "tigre" é muito diferente deles.

2. Transformer: a chave para capturar o contexto

Desde que o Google propôs a arquitetura Transformer em 2017, os modelos de linguagem entraram num desenvolvimento rápido. Através do Mecanismo de Atenção Própria (Self-Attention), o Transformer permite que o modelo compreenda a relação entre cada palavra e outras palavras na frase.

Segue-se um diagrama de ilustração visual (pseudocódigo):

Entrada: "O gato sentou-se na esteira"
         ↑    ↑    ↑    ↑    ↑
        Pesos de atenção diferentes (por exemplo, "gato" e "sentou-se" têm pesos elevados)

Este mecanismo permite que o modelo compreenda "quem fez o quê a quem", ou seja, a estrutura sintática e semântica, e não apenas a combinação de palavras.

II. Como é que os grandes modelos de linguagem são treinados?

1. Pré-treino: prever a próxima palavra

A maioria dos modelos linguísticos utiliza o treino auto-regressivo:

Dado o texto anterior, prever a próxima palavra.

Por exemplo:

Entrada: A capital de França é
Alvo: Paris

O modelo repete continuamente esta tarefa, utilizando milhares de milhões ou mesmo biliões de frases para o treino. Esta escala permite que o modelo "extraia conhecimento" das regularidades estatísticas da linguagem.

2. Ajuste fino e ajuste de instruções

Após o pré-treino, a fim de se adaptar a aplicações práticas, tais como conversação, escrita e resposta a perguntas, é também necessário passar por:

• SFT (Supervised Fine-Tuning): humanos rotulam pares entrada-saída para supervisionar a aprendizagem do modelo;
• RLHF (Reinforcement Learning from Human Feedback): humanos classificam múltiplas respostas para guiar o modelo para se assemelhar mais à "lógica humana".

Este método de treino torna o modelo mais "compreensível" das necessidades do utilizador e capaz de responder às perguntas de uma forma mais natural.

III. O principal mecanismo pelo qual os modelos de linguagem "compreendem" a linguagem

1. Capacidade de modelação contextual

Os grandes modelos não compreendem as palavras em si, mas sim a relação entre as palavras. Por exemplo:

• Ordem das palavras: quem vem antes, quem vem depois
• Substituições sinónimas: capacidade de reconhecer o mesmo significado por detrás de diferentes expressões
• Manutenção do contexto: se a lógica do texto anterior é mantida em conversas longas

Por exemplo, ao responder a:

"Quais são as tragédias escritas por Shakespeare?"

O modelo associará:

• "Shakespeare" ⇒ escritor, drama, tragédia
• "Tragédia" ⇒ Hamlet, Macbeth, Otelo e outras obras

Isto não se deve ao facto de ter memorizado uma determinada resposta, mas sim ao facto de ter aprendido a relação de coocorrência destas palavras a partir de um grande volume de texto.

2. Transferência modal e raciocínio abstrato

À medida que os parâmetros do modelo aumentam, este adquire gradualmente uma certa "capacidade de abstração", como:

• Compreender relações analógicas: "gato para gatinho, como cão para o quê?"
• Inferir situações: "Se chover hoje, não vou." ⇒ Determinar se vai ou não
• Gerar conversas com várias voltas: combinar contextos anteriores e posteriores para continuamente produzir conteúdo adequado

IV. Análise de casos reais

Caso 1: "Compreensão contextual" na tradução de línguas

Entrada:

"Ele viu o pato dela."

Esta frase pode ter dois significados:

• Ele viu o pato dela (pato é um substantivo)
• Ele viu-a baixar-se para se esquivar (pato é um verbo)

O modelo de linguagem usa o contexto para determinar qual o significado. Os experimentos descobriram que grandes modelos como o GPT-4 conseguem escolher a semântica correta em 92% das tarefas de desambiguação de frases ambíguas, enquanto os sistemas de tradução tradicionais só conseguem fazê-lo em 63%.

Caso 2: Assistência médica

Os investigadores utilizaram milhões de artigos médicos do PubMed para treinar o LLM e descobriram que:

• A precisão na identificação de doenças básicas aumentou para 87%
• No que diz respeito às recomendações de sintomas e questões de acompanhamento, o desempenho aproximou-se do de um interno.

Isto mostra que o modelo é capaz de "compreender" a terminologia, o processo de raciocínio e a lógica patológica a partir de dados profissionais.

V. Equívocos comuns: o LLM não é uma verdadeira "compreensão"

1. Sem autoconsciência: o modelo não "sabe" o que está a dizer.
2. Incapaz de construir um modelo do mundo: falta-lhe a perceção direta das entidades do mundo real e das leis físicas.
3. Propenso a alucinações: quando falta conhecimento, o modelo tende a "inventar" respostas.

Por conseguinte, a sua "compreensão" é um comportamento probabilístico e preditivo, que é essencialmente um reconhecimento de padrões.

VI. Perspetivas: as fronteiras da compreensão estão a ser quebradas

Embora os modelos de linguagem não "compreendam" verdadeiramente a linguagem, estão a demonstrar capacidades de processamento que excedem o nível médio humano em um número crescente de tarefas.

As futuras direções de desenvolvimento incluem:

• Compreensão multimodal (linguagem + imagem + voz)
• Melhorar a capacidade lógica e de raciocínio
• Introduzir conhecimento do mundo (gráfico de conhecimento + tecnologia RAG)
• Reforçar os mecanismos de memória (por exemplo, janelas de contexto longas, sistemas de memória externos)

Estes avanços aproximarão o LLM da "compreensão semelhante à humana".

VII. Conclusão

A razão pela qual os grandes modelos de linguagem são capazes de "compreender" a linguagem é porque capturaram os padrões subjacentes da linguagem com uma escala e algoritmos sem precedentes. Da semântica literal à compreensão contextual, da conversa simples ao raciocínio complexo, estão constantemente a aproximar-se da lógica central da linguagem humana.

A compreensão não é uma capacidade "exclusiva dos humanos", mas sim um processo complexo de mapeamento e indução. Neste ponto, o LLM está a "aprender a verdade da linguagem" de outra forma.

? Eles não entendem a linguagem, mas chocaram o mundo com a linguagem.