Documento interno revela sérios problemas de alucinação e vazamento de informações pessoais no chatbot da Amazon.

Após três dias do anúncio da Amazon sobre o chatbot Q, que utiliza inteligência artificial, documentos internos vazados revelaram que funcionários da empresa encontraram problemas graves durante os testes com o concorrente do ChatGPT. Eles relataram alucinações severas e vazamento de dados confidenciais.

Segundo os documentos vazados obtidos pelo site Platformer, o novo chatbot Q da Amazon está enfrentando “alucinações graves e vazamento de dados confidenciais”, revelando informações como a localização dos data centers da AWS, programas de descontos internos e recursos ainda não lançados.

Um dos funcionários da Amazon classificou o incidente do chatbot como “sev 2” nos documentos, o que significa que é um problema grave o suficiente para exigir que os engenheiros trabalhem durante à noite e nos fins de semana para corrigi-lo.

“O Amazon Q pode ter alucinações e fornecer respostas prejudiciais ou inadequadas. Por exemplo, o Amazon Q pode fornecer informações de segurança desatualizadas que podem colocar em risco as contas dos clientes”, descreve um trecho do documento sobre as alucinações e respostas incorretas do chatbot.

Amazon minimiza problemas com chatbot que utiliza inteligência artificial generativa

Em resposta ao Platformer, a empresa minimizou a importância das preocupações dos funcionários, afirmando que não foram identificados problemas e que continuará a ajustar o chatbot até o lançamento oficial.

“Alguns funcionários estão compartilhando feedback por meio de canais internos e sistemas de emissão de bilhetes, o que é uma prática comum na Amazon”, disse um porta-voz. “Nenhum problema de segurança foi identificado como resultado desse feedback. Agradecemos todo o feedback que já recebemos e continuaremos a ajustar o Q à medida que ele deixar de ser um produto em pré-visualização e passar a estar disponível para todos.”

Após a publicação da reportagem, o porta-voz enviou outra declaração refutando as alegações dos funcionários: “O Amazon Q não vazou informações confidenciais”.

Embora a empresa tenha negado o vazamento e diminuído a importância dos alertas internos, os riscos descritos nos documentos são comuns em grandes modelos de linguagem (LLMs), como já relatamos em diversos casos relacionados a esses modelos de aprendizado profundo, nos quais as respostas incorretas ou inadequadas são retornadas pelo menos parte do tempo.

Adam Selipsky, CEO da Amazon Web Services (AWS), declarou ao The New York Times que “os assistentes de IA foram banidos da empresa devido a preocupações com segurança e privacidade”. O jornal também acrescentou que “a Amazon criou o Q para ser mais seguro e privado do que um chatbot voltado para o consumidor”.

O Q foi anunciado na terça-feira (28), durante a conferência anual de desenvolvedores da Amazon Web Services, como um concorrente para as IAs generativas já lançadas pela Microsoft e Google. Além disso, o Q está sendo oferecido com um preço inicial mais baixo em relação aos seus concorrentes. Apesar de ter chegado atrasada, a Amazon tem investido pesadamente no setor, incluindo um investimento de US$ 4 bilhões na startup de IA Anthropic em setembro.

O chatbot recém-lançado está disponível em uma versão de visualização gratuita e é uma ferramenta empresarial no estilo ChatGPT, capaz de responder a perguntas dos desenvolvedores sobre a AWS, editar o código-fonte e citar fontes, como destacado por executivos da Amazon durante o anúncio do produto. A Amazon promoveu o chatbot como sendo mais seguro em comparação com as ferramentas direcionadas para o público consumidor, como o ChatGPT da OpenAI.