Há tempos venho discutindo as falhas dos modelos de linguagem e outras IAs na Pesquisa de Experiência do Usuário (UX). Muitas organizações já destacaram questões significativas relacionadas a isso. Minha formação acadêmica me ensinou a compreender a tomada de decisões humanas, e rapidamente percebi as armadilhas de dependermos de modelos baseados em classificações humanas.

A principal preocupação é que as respostas da IA são moldadas pelos desejos dos usuários, o que nem sempre reflete julgamentos pessoais. Por exemplo, os ‘especialistas em IA’ que antes defendiam o blockchain agora exaltam os modelos de linguagem sem realmente entendê-los, o que mostra um viés conformista.

Embora a IA tenha seu valor, como assistente em pesquisas de UX, ela não substitui a intuição e a análise crítica humanas. No entanto, muitos veem a IA como uma solução suficiente, principalmente quando há resistência a investir em pesquisas abrangentes.

Os modelos de linguagem não são treinados para precisão, mas para fornecer respostas desejáveis. Isso pode ser divertido, mas é problemático quando aplicado à pesquisa de UX, onde a compreensão real do usuário é essencial.

Realizei uma experiência para testar a eficácia de ‘usuários sintéticos’, criando cenários absurdos e observando as respostas geradas pela IA. Embora divertido, isso levanta dúvidas sobre a aplicabilidade dessas técnicas em pesquisas sérias.