A organização Artificial Analysis apresentou em 27 de outubro a quinta versão de seu índice de desempenho de modelos de inteligência artificial. A revisão incorpora novos testes e altera avaliações usadas para comparar capacidades em diferentes tarefas.
Segundo a organização, 60% do índice agora se baseia em conjuntos de teste privados ou respostas reservadas. A mudança procura reduzir o risco de modelos já terem encontrado as respostas durante o treinamento.
LEIA TAMBÉM
O que o índice mede
Uma pontuação composta reúne resultados de diferentes provas e depende da escolha dos testes e de seus pesos. Ela pode ajudar a observar tendências, mas não resume todos os usos de um assistente nem substitui testes nas tarefas de cada usuário.
As notas da versão 5 não devem ser comparadas diretamente com as da versão anterior como se tivessem sido calculadas com a mesma metodologia.
Limites da comparação
Desempenho, custo, velocidade, privacidade e condições de acesso podem apontar para escolhas diferentes. Uma classificação também muda à medida que novos modelos e resultados são incorporados.
Os resultados apresentados pelo índice são medições da organização responsável, não uma garantia de qualidade em toda situação real.
