Os LLM que hoje chamamos de inteligência artificial não são exatamente inteligentes. Se formos levar em consideração que inteligência envolve a capacidade de, conscientemente, reconhecer o significado e valor das palavras e dados e raciocinar em cima deles, a IA que temos hoje não pode ser considerada inteligente.
O mecanismo pelo qual os chatbots são capazes parecer inteligentes é porque os vemos com assustadora rapidez fornecendo-nos respostas complexas para perguntas complexas. Entretanto, acredite se quiser, não é exagero dizer que os LLM são, na verdade, um tipo (ultra sofisticado, é verdade) de preditor de texto. Recomendo um documentário sobre o tema ao final do texto.
Entretanto, quando falamos sobre a estrutura da fala dos modelos de linguagem, é notado que boa parte deles - todos, talvez? - tenham sido treinado com base em bancos de dados onde os humanos mais falam: reddit, wikipedia, quora. Isso não é segredo. E aparentemente as IAs entenderam que alguns padrões de estruturas semânticas parecem ser mais eficientes para transmitir mensagens do que outros.
O problema é que as IAs tem muita dificuldade em dosar a mão.
Você certamente já viu vários e vários textos com "cara de IA". Palavras incomuns. Regras de grafia e gramática corretas demais para serem de verdade. Frases contrapostas tentando deixar o leitor impactado em situações que simplesmente não demandam isso.
Em português, por exemplo, os termos "por que", "porque", "por quê" e "porquê" tem significados e regras de uso ligeiramente diferentes e a grande verdade é que a imensa maioria das pessoas simplesmente substitui a escrita de todas elas por simplesmente "pq" ao digitar qualquer coisa online. Contudo, na hora de escrever um texto mais sério, a grafia por extenso da palavra comumente sai equivocada (do ponto de vista gramatical). A IA, entretanto, jamais erra esse tipo de coisa.
Por que, nas perguntas. Porque nas respostas. Porquê, se for precedido pelo artigo o. Ou algo assim.
As frases contrapostas e reafirmações impactantes também são grande característica dos chatbots comuns. "Esse texto não tem nada de extraordinário. É simplesmente uma ideia, texto e papel. E isso importa". Algum humano fala assim no dia a dia?
Algo bastante peculiar ainda é a necessidade patológica de adjetivar substantivos que simplesmente parecem não precisar de adjetivo algum. "A verdade brutal"? "A resposta real"? Sem falar no exagero da estruturação de tudo em tópicos e o uso indiscriminado de emojis para tentar deixar a escrita mais visual e chamativa.
A partir do momento que começa-se a identificar esse padrão, ele simplesmente se torna impossível de ser desvisto e a realidade que se impõe a partir daí é assustadora: esse jeito de escrita simplesmente está em todo lugar. Instagram. LinkedIn. Twitter. A teoria da internet morta começa a deixar de ser ficção e parecer uma segunda-feira qualquer.
Os LLM de hoje em dia não são exatamente exemplos de "sistemas avançados de cadeias de Markov", mas entender como esse modelo matemático ajuda a predizer textos, é (ao menos foi, pra mim) fundamental pra compreender melhor a evolução de um autocomplete até os modelos "transformer" atual. As cadeias de Markov são uma espécie de processo matemático que, com base no estado atual de determinada coisa - ou seja, sem memória - predizem a probabilidade de um evento futuro (como uma palavra, por exemplo) Apesar de parecer um tema chato, a história de como isso foi descoberto é bastante interessante e pode ser encontrado aqui. A partir desse passo inicial, ao menos ao que me parece, é que surgiram processos melhores como os RNN e finalmente os ditos transformers que as IAs modernas se baseiam para conversar conosco. E aproveitando e misturando conceitos, convido-os a ler (ou ao menos pedir pra alguma IA analisar pra você) esse interessante artigo que valida (corrobora?) a tendência de LLMs em gerarem textos repetitivos, além de explicar mais algumas coisas sobre as cadeias de Markov.