Não categorizado
Na madrugada de 20 de fevereiro de 2025, a xAI lançou o Grok 3, agora disponível para todos os usuários do X (antigo Twitter). O próprio Elon Musk afirmou que “Grok 3 é a IA mais inteligente do mundo”, mas, como ele é dono da empresa, essa declaração pode não ser tão imparcial.
Para testar essa afirmação, realizamos uma avaliação independente comparando Grok 3 com os principais modelos do mercado no momento: Claude 3.5 Sonnet, OpenAI o1, Gemini 2.0 Flash e Llama 3.2. Submetemos esses seis modelos a três desafios de negócios e pedimos que as próprias AIs avaliassem suas respostas – primeiro sem saber quem era o autor (teste às cegas) e depois com os nomes revelados.
O resultado? Grok 3 e sua variante Grok DeepSearch superaram as outras AIs segundo a avaliação feita pelas próprias Inteligências Artificiais concorrentes, que chegaram a qualificá-lo como “inovador”. Mas será que isso significa que ele é realmente o melhor? Vamos explorar os detalhes.
Metodologia: Como avaliamos as IAs?
Para garantir um teste imparcial, utilizamos duas abordagens distintas:
1 – Teste às cegas:
Os modelos analisaram respostas sem saber quem as havia produzido. Os resultados de cada IA foram classificados como “Pessoa 1”, “Pessoa 2”, e assim por diante até a “Pessoa 6”. Em seguida, pedimos que cada Inteligência Artificial avaliasse o material produzido por essas “pessoas” e afirmasse qual solução era a melhor.
As respostas de todos os modelos de linguagem foram registrados em uma planilha pública, permitindo conferência independente.
Abaixo um print da OpenAI o1 comentando que a Pessoa 1 (Grok) se saiu melhor do que as outras AIs
2 – Teste com nomes revelados:
Nesta etapa, revelamos os nomes dos modelos e pedimos que Claude, GPT-o1, Gemini e Llama analisassem novamente as respostas, agora sabendo que as respostas foram dadas por seus “pares”.
O Claude 3.5 Sonnet destacou Grok 3, nas duas versões, como o melhor nos três desafios. GPT-o1 e o Gemini 2.0 Flash fizeram o mesmo. O Llama 3.2 não conseguiu avaliar, por conta da sua limitação para lidar com textos muito grandes.
Para que todos possam conferir essas avaliações, deixamos links para elas ao final deste artigo.
O que outras IAs disseram?
Claude 3.5 Sonnet: “Se eu tivesse que escolher a IA que melhor se saiu nos três desafios, indicaria o Grok 3 DeepSearch pela combinação de detalhamento, praticidade, alocação eficiente de recursos e consideração realista dos desafios específicos.”
O OpenAI o1 também ranqueou o Grok no topo de sua avaliação, ainda que ao lado de si mesmo quando lhe enviamos os nomes dos “participantes”.
Abaixo, um screenshot do Gemini, que ao avaliar o primeiro desafio (ele não conseguiu avaliar todos por limitação de tokens), continuou apontando o Grok 3 DeepSearch como melhor, colocando a si mesmo em segundo lugar.
Resumindo: Qual é a melhor IA para você?
Os testes revelaram características distintas entre os modelos avaliados. Grok 3 e sua variante Grok DeepSearch foram frequentemente destacados por aliar inovação a soluções práticas, segundo as análises realizadas.
Enquanto isso, Claude 3.5 Sonnet se sobressaiu pela clareza e organização em suas respostas. Já o OpenAI o1 impressionou pela profundidade em análises mais complexas, mostrando força em cenários que exigem detalhamento.
Embora o Grok 3 tenha sido elogiado pelas concorrentes, a escolha da melhor IA depende do contexto e das necessidades específicas de cada usuário. Os testes, focados em cenários profissionais, mostram que o desempenho varia por tarefa ou área, não sendo universal para todos os casos.
Até o momento, o Grok 3 se diferencia por oferecer seu modelo mais avançado gratuitamente e por incluir funcionalidades como busca na internet e integração com a base de dados do X. Ao passo que OpenAI, Claude e Gemini costumam cobrar um valor de aproximadamente 20 dólares mensais para o uso mais intenso dos seus mais avançados modelos de AI.
Dados recentes mostram que ele já figura como o segundo aplicativo de produtividade mais baixado na AppStore, à frente de concorrentes como Gemini e Microsoft 365 Copilot.
O campo da inteligência artificial segue em rápida evolução, com avanços constantes que prometem transformar ainda mais suas capacidades. Especialistas apontam que os modelos atuais são apenas o começo, e muitas inovações estão por vir nos próximos anos.
Conheça mais sobre as IAs que foram testadas
Grok 3 (xAI)
Desenvolvido pela xAI, de Elon Musk, o Grok 3 foi lançado em 20 de fevereiro de 2025. Sua principal inovação é a integração com o X (Twitter), permitindo acesso a dados em tempo real. Além disso, ele inclui mecanismos de autocorreção para aprimorar respostas e modos especiais, como “Big Brain”, que melhora seu desempenho em matemática e programação.
Grok DeepSearch (xAI)
Versão especializada do Grok 3, voltada para raciocínio avançado e criatividade. Usa um modo especial chamado “DeepSearch”, que permite explorar soluções fora da curva, combinando heurísticas sofisticadas e insights de mercado.
Claude 3.5 Sonnet (Anthropic)
Criado pela Anthropic, empresa fundada por ex-pesquisadores da OpenAI, Claude 3.5 Sonnet é conhecido por sua clareza e segurança nas respostas. Ele evita ambiguidades e prioriza estratégias organizadas e bem estruturadas, sendo uma IA confiável para planejamentos mais conservadores.
OpenAI o1 (OpenAI)
O OpenAI o1 foi lançado em 2024 como um modelo focado em raciocínio profundo e resolução de problemas complexos. Ele divide problemas em etapas menores e oferece análises detalhadas, incluindo cronogramas e métricas precisas.
Gemini 2.0 Flash (Google)
Parte da família Gemini, o modelo 2.0 Flash é uma versão mais leve e rápida, otimizada para eficiência operacional. Seu foco é entregar respostas diretas e de fácil execução, sendo útil para tarefas práticas e rápidas.
Llama 3.2 (Meta AI)
Desenvolvido pela Meta AI, o Llama 3.2 é um modelo open-source, acessível e eficiente em tarefas básicas. No entanto, ainda está em fase de maturação e apresentou dificuldades em lidar com desafios complexos.
Conheça os desafios propostos para cada IA
Submetemos os modelos a três cenários reais de negócios, testando sua criatividade, viabilidade prática e clareza.
Desafio 1: E-commerce de Moda Sustentável
O primeiro desafio foi proposto por meio do seguinte prompt:
Uma startup brasileira de e-commerce de moda acessível, com foco em roupas sustentáveis, quer aumentar suas vendas em 30% em 3 meses. Ela opera com um orçamento de marketing de R$ 2.000 (cerca de $400) e tem uma equipe enxuta de 5 pessoas. Crie um plano detalhado para uma campanha de crescimento, considerando a alta concorrência de grandes players como Shein e Renner, e a preferência do público jovem por redes sociais. Inclua estratégias específicas, alocação de orçamento e métricas de sucesso mensuráveis.
O vencedor no Teste Cego foi o Grok DeepSearch, com sua estratégia de gamificação (“Compre e Plante”). Você pode conferir a resposta do modelo da xAi aqui. Também registramos as respostas do Grok 3, Claude 3.5 Sonnet, Open AI o1, Gemini 2.0 Flash e Llama 3.2.
Desafio 2: Cooperativa de Café
A questão do segundo prompt foi a seguinte:
Uma cooperativa de pequenos produtores de café no interior de Minas Gerais quer expandir sua distribuição para supermercados regionais em um raio de 200 km em 6 semanas, com um orçamento operacional de R$ 5.000 (cerca de $1.000). Eles têm 10 agricultores associados, uma produção limitada e enfrentam desafios como logística rural e negociação com varejistas. Desenvolva um plano prático para alcançar esse crescimento, detalhando ações, custos e como medir o sucesso (ex.: volume vendido ou novos contratos).
Mais uma vez, Grok 3 DeepSearch, se saiu vencedor no Teste às Cegas, destacando pela estratégia mais prática e eficiente, baseada em feiras locais, que você pode conferir aqui. Como no outro desafio, você também pode fazer a própria análise para as respostas do Grok 3 (que ficou em primeiro na análise do GPT), Claude 3.5 Sonnet, Open AI o1, Gemini 2.0 Flash e Llama 3.2.
Desafio 3: SaaS para PMEs
O terceiro desafio envolvia uma empresa de Software como Serviço:
Uma empresa brasileira de software como serviço (SaaS) que oferece uma ferramenta de gestão financeira para pequenas e médias empresas quer conquistar 50 novos clientes em 2 meses, com um orçamento de aquisição de R$ 3.000 (cerca de $600). A operação é 100% digital, mas a equipe de vendas é composta por apenas 3 pessoas. Crie um plano de crescimento detalhado, incluindo táticas de prospecção, alocação de recursos e KPIs para avaliar o sucesso (ex.: taxa de conversão ou custo por cliente). Considere a resistência de PMEs a assinaturas recorrentes.
Vencedor no Teste Cego: Grok DeepSearch, embora o Claude tenha mostrado um bom desempenho também. Entretanto, a abordagem precisa e escalável da IA da xAI .
Links para vídeos e acesso às conversas
Análise Comparativa entre as AIs
Teste cego (Grok 3 DeepSearch): https://x.com/i/grok/share/0n7hgzTI34uYXTi5f9fizv2qr
Teste cego (OpenAI o1): https://chatgpt.com/share/67b8cfb8-0f0c-8001-b1ad-ab8f320236a0
Teste cego (Claude): Claude.mp4
Teste cego (Gemini): Gemini.webm
Teste com nomes revelados (Grok 3 DeepSearch):https://x.com/i/grok/share/zRyxfPF7jaU078nxOabXuUUgF
Teste com nomes revelados (Open AI o1): https://chatgpt.com/share/67b8d591-2b54-8001-bd44-b36a9f93013d
Testes com nomes revelados (Claude): Claude (1).webm
Testes com nomes revelados (Gemini): Gemini (1).webm
Link da planilha com todos os resultados: clique aqui
Links para as respostas do Grok 3: Prompt 1, Prompt 2 e Prompt 3
Links para as respostas do Grok 3 DeepSearch: Prompt 1, Prompt 2 e Prompt 3
Links para as respostas do Claude 3.5 Sonnet: Prompt 1, Prompt 2 e Prompt 3
Links para as respostas do OpenAI o1: Prompt 1, Prompt 2 e Prompt 3
Links para as respostas do Gemini 2.0 Flash: Prompt 1, Prompt 2 e Prompt 3
Links para as respostas do Llama 3.2: Prompt 1, Prompt 2 e Prompt 3