Poderá o ChatGPT acabar com os empregos na área financeira? Os testes dizem para “não se preocupar”

Os modelos de linguagem de grande dimensão (LLMs), como o ChatGPT, podem ter um bom desempenho quando se trata de respostas de escolha múltipla em exames de licenciamento financeiro, mas ficam aquém do esperado com perguntas e projetos com mais nuances.

Isto de acordo com um estudo realizado pela Universidade do Estado de Washington. O estudo analisou mais de 10.000 respostas a perguntas de exames feitas por LLMs de IA: ChatGPT, Llama e BARD.

Os investigadores pediram aos modelos que selecionassem respostas e explicassem as suas decisões. As respostas de texto foram comparadas com as de profissionais humanos.

Qual foi o desempenho dos modelos de IA?

Duas versões diferentes do ChatGPT tiveram o melhor desempenho, mas quando se tratou de tópicos mais complexos e avançados, apresentaram níveis elevados de imprecisão.

Isto mostra que, atualmente, os factos devem ser verificados quando se trata de procurar informações avançadas junto dos LLM.

“É demasiado cedo para nos preocuparmos com a possibilidade de o ChatGPT vir a ocupar completamente os empregos no setor financeiro”, afirmou o autor do estudo, DJ Fairhurst, do Carson College of Business da WSU. “Para conceitos gerais em que já existem boas explicações na Internet há muito tempo, o ChatGPT pode fazer um ótimo trabalho de síntese desses conceitos. Se se tratar de uma questão específica e idiossincrática, vai ter dificuldades”

Fairhurst e o co-autor Daniel Greene, da Universidade de Clemson, publicaram a sua investigação no Financial Analysts Journal. As suas perguntas baseavam-se em tarefas reais que os profissionais do setor financeiro poderiam realizar de forma realista. Foram utilizadas perguntas do exame Securities Industry Essentials, bem como dos exames de licenciamento das séries 6, 7, 65 e 66.

“Passar nos exames de certificação não é suficiente. Precisamos realmente de ir mais fundo para saber o que estes modelos podem realmente fazer”, disse Fairhurst.

Qual o modelo de IA com melhor desempenho?

A versão 4.0 do ChatGPT (a versão paga) foi a que teve melhor desempenho durante as tarefas, dando respostas que melhor imitavam as de especialistas financeiros da vida real. Em comparação com outros modelos, a sua precisão foi 18 a 28 pontos percentuais superior. Quando os investigadores forneceram respostas corretas à versão gratuita anterior do Chat GPT (versão 3.5), o seu desempenho foi semelhante ao do ChatGPT 4.0.

Em última análise, todos os modelos ficaram aquém das respostas a determinadas perguntas, em comparação com peritos financeiros humanos. Deram respostas cada vez mais incorretas para situações específicas, como a avaliação da cobertura de seguros e da situação fiscal dos clientes.

No entanto, tiveram um bom desempenho quando se tratou de analisar as tendências financeiras do mercado e as transações de títulos. Embora os humanos também possam ter falhas, isto sugere que os modelos não competem com o trabalho dos peritos financeiros.

IA limitada no tempo?

Estes modelos podem enfrentar limitações com base nos dados de treino que lhes são fornecidos, uma vez que o ChatGPT é treinado em datas até setembro de 2021. Os co-autores estão agora a verificar o que o modelo pode fazer num projeto de avaliação de potenciais negócios de fusão, considerando que não pode conhecer os negócios após setembro de 2021.

Como muitos outros profissionais sugerem, o ChatGPT pode ser uma ferramenta útil para ajudar em algumas tarefas, mesmo em finanças, como revisões ou pesquisas, desde que os factos sejam acompanhados e verificados duas vezes.

A crise dos empregos de analista júnior?

Os LLM não parecem ser um substituto para os profissionais do setor financeiro. Se for para transformar drasticamente qualquer emprego na área, em breve, talvez possa alterar de alguma forma os empregos de analista de nível de entrada nos bancos, sugerem os autores.

“A prática de trazer um monte de pessoas como analistas juniores, deixá-los competir e manter os vencedores - torna-se muito mais dispendiosa” ,disse Fairhurst.

“Por isso, pode significar uma diminuição desse tipo de empregos, mas não é porque o ChatGPT seja melhor do que os analistas, é porque temos estado a pedir aos analistas juniores para fazerem tarefas mais insignificantes.”

Talvez, em vez de perda de postos de trabalho, isto se pareça apenas com descrições de trabalho diferentes para os candidatos de nível de entrada, envolvendo menos trabalho servil e repetitivo e análises mais perspicazes.

Referência da notícia

How Much Does ChatGPT Know about Finance? Financial Analysts Journal. 2024. DOI: 10.1080/0015198X.2024.2411941