Inteligência Artificial falha, e sempre falhará
- Victor Hugo Germano
- há 16 horas
- 9 min de leitura
Passei alguns meses coletando casos de falhas em IA para trazer mais um artigo como o último sobre Mentiras e as Promessas da IA, e de que forma estamos sendo basicamente enganados por produtos meio acabados e promessas mirabolantes para nos deixar correndo em círculos enquanto a especulação financeira criar os novos bilionários mundiais. Mas tenho achado pouco produtivo, então vou buscar uma nova abordagem.
Você provavelmente já sabe que IA falha consistentemente no uso diário. Se é de tecnologia, já vivenciou isso enquanto usa o Copilot, tentando dez prompts diferentes para refatorar um método, ou buscando uma nova alternativa para um problema até perceber que é difícil confirmar nesses sistemas quando seu emprego está em jogo: uma hora todos nós chegamos nessa realização.
Enquanto estive à frente de equipes de IA para minha empresa, uma conversa recorrente com executivos durante nossas visitas e projetos era: "Vocês conseguem garantir que o modelo tenha 100% de precisão? Nós precisamos de 100% de precisão, senão esse sistema não funciona!"
Na tentativa de criar soluções com Machine Learning e Visão Computacional, a expectativa das empresas é que tecnologia resolva toda e qualquer ocorrência do problema que precise ser resolvido:
Identificar problemas na operação de maquinário industrial
Encontrar vazamentos em tubulação
Segurança do Trabalho e uso de EPIs
Prever acidentes ou risco de segurança patrimonial
Contagem de animais em criadouros
Minha resposta sempre foi a mesma, desde 2018, quando compramos uma empresa de Datascience e Machine Learning:
"Não é possível garantir precisão em modelos probabilísticos baseados em Machine Learning. Apesar do apelo desses sistemas, existe um processo inerente de aproximação de resultados a partir dos dados de treinamento, que leva a algum grau de incerteza - isso significa que será necessário um trabalho contínuo de fine-tuning e melhoria para alcançar algum resultado satisfatório no longo prazo"
Trocando para o português claro: "Não viaja, não tem jeito"
Ainda que exista uma discussão recente de que basta ter mais dados, que eventualmente os modelos conseguiram generalizar qualquer situação, a evidencia ainda não é suficiente.
Além disso: todo sistema em produção precisa ser adaptado com o tempo. É exatamente por isso que todos os produtos vendidos como AI-First, que trazem o sonho de sistemas completamente automatizados e inteligentes, dependem de uma legião de pessoas fazendo o fine tuning de modelos, e atualizando esses sistemas com novas informações encontradas em tempo de operação - é o padrão porque é a única forma de garantir consistência dos sistemas.
Todo projeto de IA que se preze trabalha no mínimo com um tradeoff entre Precisão e Performance, e cada objetivo depende de uma análise real de quais as melhores abordagens para solucionar o problema. E a maior parte dessas abordagens assume que 100% de precisão é quase impossível. Em muitos casos, a empresa não precisa de Machine Learning, e estratégias já velhas de guerra de estatísticos como práticas de Regressão podem alcançar resultados bastante satisfatórios.
Mas se você quer usar Machine Learning ou GenAI com os modelos multimodais, ou soluções de agentes, saiba que sua realidade será bastante diferente do que campanhas de marketing fazem parecer.
De drones assassinos a carros autônomos, passando por supermercados inteligentes, TODOS os produtos da atualidade usam Data Annotators para garantir o sonho de sistemas autônomos. Inclusive com regiões destruídas como alvo de headhunting para as grandes consultorias de data annotation (Appen, Playment, Zhubajie, Clickworker).
Ainda que influenciadores, jornalistas e vendedores de ferramenta vendam a utopia de um mundo Pós-escassez, onde avanços tecnológicos possam transformar nosso sistema produtivo para algo melhor, no mundo real as coisas andam um pouco mais devagar. E infelizmente a maior parte de nós não consegue esperar até 2027 para AGI (que era 2025, depois virou 2028, mas quem sabe com certeza depois 2030)
Toda adoção de tecnologia toma tempo e dinheiro, mas principalmente, costuma ser cooptada por equipes de marketing: é importante descrever o investimento em projetos com o hype do momento para que se possa transmitir ao mercado a imagem de inovação.
O quê você precisa saber: a grandiosa maioria dos projetos de IA nos dias atuais FALHA. Em um estudo recente da IBM feito com 2000 CEOs aponta uma realidade que você não vai ver em press releases e demos de AI Agents:
• CEOs entrevistados relatam que apenas 25% das iniciativas de IA entregaram o retorno esperado sobre o investimento (ROI) nos últimos anos, e somente 16% foram ampliadas para toda a empresa.
• Para acelerar o progresso, dois terços (65%) dos CEOs participantes afirmam que sua organização está priorizando casos de uso de IA com base no ROI, e 68% relatam que sua organização possui métricas claras para medir o ROI da inovação de forma eficaz.
• Pouco mais da metade (52%) dos CEOs entrevistados dizem que sua organização está percebendo valor nos investimentos em IA generativa além da redução de custos.
• 59% dos CEOs entrevistados admitem que sua organização enfrenta dificuldades para equilibrar o financiamento das operações existentes e o investimento em inovação quando ocorre uma mudança inesperada, enquanto 67% dizem que é necessário mais flexibilidade orçamentária para aproveitar oportunidades digitais que impulsionam o crescimento e a inovação a longo prazo.
• Até 2027, 85% dos CEOs entrevistados esperam que seus investimentos em eficiência e economia de custos ampliados por IA tenham gerado um ROI positivo, enquanto 77% esperam ver retorno positivo dos investimentos em crescimento e expansão por meio de IA em larga escala.
Esses números são bem diferentes da enxurrada de comentários de linkedin de quem diz estar transformando a operação para buscar maior eficiência operacional com IA e entregar mais valor aos clientes 🤮
E a maior parte das empresas está num jogo pouco discutido, mas mais importante que produtos de sucesso: sinalizar resultados para investidores - então toda vez que você escuta um CEO discutindo como sua empresa é AI-first, ou como potencialmente os próximos anos serão de abundância e transformações inimagináveis, desconfie: esse papo não é pra voce.
Como já disse antes: Em um mercado que espera aceleração de crescimento, se não for pra multiplicar faturamento, não presta. Vale tudo para promover a perspectiva de crescimento infinito, e executivos tem os maiores incentivos para mentir e exagerar em suas declarações.
Quando você está em rodada de investimento ou sinalizando uma nova etapa de captação, é importante gerar engajamento através de promessas absurdas, que todo executivo de startup segue a risca: Sebastian Siemiatkowski, CEO da empresa Klarna de atendimento através de chatbots, em fevereiro para a Bloomberg:
"Eu sou da opinião que AI já pode fazer todos os trabalhos que nós, humanos, fazemos".
Mas parece que o jogo mudou, e que apesar de chatbots "autônomos" serem baratos, eles não são tão bons quanto uma equipe de atendimento treinada em CX. O mesmo CEO, essa semana comentou sobre o retorno em contratar pessoas para o atendimento:
“Como o custo infelizmente parece ter sido um fator de avaliação predominante demais na operação, o que acabou acontecendo é uma qualidade inferior.”
Quer ter sucesso com IA? Atue em uma indústria que não dependa da assertividade operacional - que a falha não coloca em risco sua operação e pode ser entendida apenas como mais uma oportunidade de venda: como fake news, engajamento de redes sociais e AI Slop - você nunca vai colocar em risco sua operação nesses mercados usando modelos atuais de GenAI.
Tem futuro?
Em cima disso tudo, existe uma crescente preocupação com a crise atual no mercado de trabalho, e sua relação com o uso de inteligência artificial para substituir profissionais. Brian Merchant faz uma análise mais aprofundada sobre o momento, e muda a perspectiva para o que também acredito ser o motivo atual de demissões e mudanças:
"A crise dos empregos causada pela IA não se parece com programas com consciência surgindo ao nosso redor e substituindo inevitavelmente os empregos humanos em massa. Trata-se de uma série de decisões gerenciais tomadas por executivos que buscam reduzir custos com mão de obra e consolidar o controle em suas organizações.”
Interessante ouvir algo parecido com o que venho dizendo há bastante tempo: Você perde o emprego pra uma decisão gerencial de quem só tem incentivo de redução de custo no curto prazo, e não visão de longo prazo. Simplesmente não importa o impacto futuro da decisão - tem alguém dizendo que usar IA vai cortar custos.
"A conexão entre capacidades da IA e seu impacto social e econômico são baixas: O gargalo para impacto está no ritmo de desenvolvimento de produtos e sua adoção, não as capacidades da IA."
Arvind Narayanan, coautor de AI Snake Oil
Quanto mais tenho estudado sobre o impacto do uso de LLM como mecanismos de conhecimento para atividades profissionais, mais encontro problemas reais e riscos futuros que seriam inimagináveis em outras situações.
IA corrói nossa capacidade de pensar criticamente a respeito do trabalho e da vida
GenAI resolve problemas de Executivos de empresas, mas quase nenhum problema real de domínio. Usando propriedade intelectual sem autorização, textos genéricos e medianos que permitem reduzir equipe de jornalistas, imagens contorcidas que retiram emprego de artistas, encheção de linguiça para roteiros medíocres. Ao mesmo tempo, a redução de time traz mais lucro para empresas que optam pela tecnologia, mesmo que em detrimento da qualidade do conteúdo produzido: seja código, seja texto, seja imagem.
Entenda GenAI é a ferramenta perfeita para a máquina das redes sociais: conteúdo genérico e rápido é usado para gerar engajamento, que é privilegiado pelo algoritmo das Redes Sociais, que por sua vez é dependente deste engajamento para vender visualizações para empresas que pagam por propaganda. GenAI existe para acelerar nossa sociedade da desatenção, em postagens rápidas, frases de efeito e videos curtos. Pessoalmente me recuso a percorrer esse caminho, e exatamente por isso os textos aqui tendem a ser piores do que o algoritmo privilegia.
Como Ruha Benjamin nos diz: nós estamos presos dentro da imaginação daqueles que monopolizam poder e recursos para beneficiar poucos em detrimento do resto do mundo. Enquanto tech lords investem em viagem espacial e a busca por super inteligência artificial, construindo bunkers de luxo para sobreviver a uma eventual derrocada da sociedade, gritam a todos os cantos que redução da pobreza através saúde acessível e justiça social são impossíveis de serem alcançadas.
Quando estamos falando em trabalhos com consequências sérias à vida das pessoas, a evidencia é ainda pior. Como isso é um mundo a parte, que pretendo dedicar mais tempo a respeito, vou deixar aqui uma referencia importante, discutindo sobre a evidente degradação de registros médicos com o uso de ferramentas de IA, ao ponto de tornar tais registros inúteis.
Será que um dia vai melhorar?
O que eu espero de você com os meus textos sobre IA é que a gente consiga definir um campo comum de ceticismo e crítica a esse mercado que só espera explorar as máquinas de engajamento, e vender uma utopia inalcançável. Duvide de tudo que lê sobre inteligência artificial online, já que a maior parte das notícias parecem mais peças de marketing do que análise crítica do momento atual do mercado.
No meu post no início do ano com previsões, eu comentei sobre um esforço de responsabilização de ferramentas no uso de IA, comentando como isso poderia ser um motivador para melhores ferramentas e menos hype. Acredito que eu tenha errado na previsão para o mercado de Saúde, mas pelo lado positivo: Os últimos desenvolvimentos no mundo de copyright tem sido bastante promissores:
O Escritório de Direitos Autorais dos EUA (U.S. Copyright Office) acaba de divulgar uma versão pré-publicação do relatório “Copyright and Artificial Intelligence Part 3: Generative AI Training” (pdf), que é super extenso em detalhar a pesquisa relacionada ao uso de material com propriedade intelectual para treinamento de IA Generativa.
O relatório conclui que “fazer uso comercial de grandes volumes de obras protegidas por direitos autorais para produzir conteúdos expressivos que competem com elas nos mercados existentes, especialmente quando isso é feito por meio de acesso ilegal, vai além dos limites estabelecidos para o uso justo (fair use).”
E ainda:
“Em nossa opinião, a liderança americana no campo da IA seria mais bem promovida por meio do apoio a ambas essas indústrias de classe mundial que contribuem tanto para o nosso avanço econômico e cultural. Opções eficazes de licenciamento podem garantir que a inovação continue avançando sem prejudicar os direitos de propriedade intelectual. Essas tecnologias inovadoras devem beneficiar tanto os inovadores que as desenvolvem quanto os criadores cujo conteúdo as alimenta, assim como o público em geral.”
Esse relatório será muito importante para os próximos processo de uso de material restrito, e se posiciona em favor dos criadores (artistas, músicos, escritores, diretores de cinema, etc)
Como esse é um mundo relativamente polarizado em IA, houve também nos últimos tempos uma decisão na China sobre o mesmo tema:
Duas decisões judiciais recentes na China são marcos importantes na proteção de propriedade intelectual relacionada à inteligência artificial. Uma delas decidiu que imagens geradas por IA não possuem originalidade e, portanto, não são protegidas por direitos autorais. A outra, pela primeira vez, concedeu proteção à estrutura e aos parâmetros de um modelo de IA com base na Lei Anti-concorrência do país. Estou me aprofundando melhor nesse tema, mas vale a referência para estudo futuro.
E se ainda não fosse por isso, as empresas tem dado cada vez mais demonstrações de que pouco se importam com a justiça, desde que favoreçam seus interesses:
Um juiz federal em San Jose ordenou que a Anthropic, e pronunciasse sobre acusações de que um de seus especialistas citou em documentos judiciais um artigo acadêmico inexistente - provavelmente gerado por IA - em defesa de um processo de direitos autorais movido por grandes gravadoras (Universal Music Group, Concord e ABKCO).
A citação, que supostamente apoiava as alegações da Anthropic de que o chatbot Claude raramente reproduz letras de músicas protegidas por direitos autorais, revelou-se uma “completa fabricação”. É a mesma coisa que eu entregando meu trabalho do mestrado que o Claude Sonet programou pra mim, mas só que no mundo real e com consequências reais...
E como se não bastasse, ainda temos os casos de colapso de LLMs conhecidas. Dessa vez o grok tem pirado e colocado informações sobre a Africa do Sul em perguntas genéricas, como uma pesquisa sobre Hawk Tuah meme, e sobre paisagens. Mais uma visão para um futuro em que quem controla as LLMs, dita o que é verdade no mundo.
Upper Echelon tem uma visão bem mais negativa da tecnologia do que eu: