Na Era Dourada dos dados e da IA, empresas estão adotando machine learning (ML) e modelos de linguagem grandes (LLMs) de forma cada vez mais rápida. Entre 2022 e 2023, o número de modelos em produção subiu 411%, enquanto as taxas de experimentação em ML cresceram 54%, aponta o relatório “Perspectiva de dados + IA 2023” realizado pelo Databricks.

O relatório, que ouviu mais de nove mil clientes da Databricks, examinou padrões e tendências na adoção de dados e IA para identificar quais produtos e tecnologias são os mais populares e de crescimento mais rápido e quais tipos de aplicativos de ciência de dados e machine learning (DS/ML) estão sendo desenvolvidos com mais afinco no contexto empresarial.

Neste panorama, a empresa descobriu que o processamento de linguagem natural (NLP) está dominando os casos de uso, com um foco acelerado em LLMs. Isso porque as linguagens têm sido fundamentais para permitir que as máquinas entendam, interpretem e gerem interações mais humanizadas, que se estendem desde a tradução automática até a  criação de conteúdo para assistentes virtuais e chatbots.

Este desenvolvimento torna-se cada vez mais importante à medida que os consumidores passam a associar o atendimento dos assistentes virtuais a experiências negativas. No Reino Unido, 47% dos consumidores preocupados com a crescente proeminência da IA estão especificamente preocupados com o fato de terem que interagir com a IA mais do que com pessoas em canais de atendimento ao cliente ou mesmo em serviços de emergência, conforme aponta uma pesquisa divulgada pela Mintel.

Em função disso, as empresas estão ficando mais eficientes em Machine Learning. Dados do relatório apontam que, para cada três modelos experimentais desenvolvidos, aproximadamente um é colocado em produção, em comparação com a taxa de um para cinco modelos experimentais um ano antes. Adicionalmente, o NLP responde por 49% do uso diário da biblioteca de ciência de dados Python, tornando-o o aplicativo mais popular entre os desenvolvedores.

Produtos de dados e IA: os campeões de crescimento 

Embora o Microsoft Power BI, ferramenta de inteligência para negócios, ocupe a primeira posição no Ranking de principais produtos de dados e IA, a solução não aparece na lista de produtos que mais cresceram em uso ao longo do ano. Neste recorte, o dbt, ferramenta de transformação de dados, lidera o ranking, com crescimento de 206%.

Fivetran (181%), Informatica (174%), Qlik Data Integration (152%) e Esri (145%) fecham o Top 5. Segundo a Databricks, a ascensão destas ferramentas, em específico, sugere uma nova era do mercado de integração de dados, com ferramentas desafiadoras avançando à medida que as empresas passam a priorizar as iniciativas de ciência de dados e machine learning.

O relatório também mostrou que as ferramentas de Business Intelligence são adotadas de forma mais ampla em organizações em relação a categorias mais emergentes e continuam crescendo com um aumento anual de 66% na adoção. Já as ferramentas de integração de dados provaram-se as campeãs em velocidade de expansão, com crescimento anual de 117%.

Leia também: Riscos e benefícios gerados pela expansão da Inteligência Artificial