Réalité/Mensonge-Véracité des informations :

Perplexity par défaut : Contient des informations incorrectes, car l’article mentionne une acquisition finalisée en mars 2024 alors que cela n’était pas le cas à cette date. Erreurs sur les dettes et les détails financiers.
Perplexity Pro Search : Plutôt correct, mais manque de précision sur l’état actuel des négociations.
Perplexity Expérimental : Similaire à Pro Search, contient des informations généralement correctes mais aussi des approximations.
GPT-4 Turbo : Bien informé, donne une vue d’ensemble précise.
Mistral Large : Correct, mais répétitif et manque de précision sur certains détails.
Claude 3 Sonnet (Anthropic) : Correct et détaillé.
Claude 3 Sonnet natif : Incorrect, parle d’une situation en 2022, hors contexte en 2024.

Qualité du résumé- Qualité de synthèse :
Perplexity par défaut : Détail complet mais contient des erreurs.
Perplexity Pro Search : Bon résumé, clair et précis.
Perplexity Expérimental : Clair et concis.
GPT-4 Turbo : Très détaillé et bien structuré.
Mistral Large : Bon mais un peu long et répétitif.
Claude 3 Sonnet (Anthropic) : Très bon résumé, complet et précis.
Claude 3 Sonnet natif : Mauvais résumé, hors contexte.

Notes sur 5
Perplexity par défaut : 2/5
Perplexity Pro Search : 4/5
Perplexity Expérimental : 4/5
GPT-4 Turbo : 5/5
Mistral Large : 3/5
Claude 3 Sonnet (Anthropic) : 5/5
Claude 3 Sonnet natif : 1/5

Classement du meilleur au moins bon
GPT-4 Turbo (5/5)
Claude 3 Sonnet (Anthropic) (5/5)
Perplexity Pro Search (4/5)
Perplexity Expérimental (4/5)
Mistral Large (3/5)
Perplexity par défaut (2/5)
Claude 3 Sonnet natif (1/5)

Voici l’évaluation des résumés proposés pour l’affaire Swisscom — Vodafone Italia selon les critères « réalité/mensonge », « qualité du résumé » et une note sur 5 pour chaque réponse :

Perplexity par défaut

Réalité/mensonge : Correct mais contient des informations inexactes, comme l’acquisition finalisée.
Qualité du résumé : Détails bien couverts mais un peu long et certaines informations sont incorrectes.
Note : 3/5
Perplexity Pro Search

Réalité/mensonge : Correct et factuellement précis.
Qualité du résumé : Concis, couvre les points essentiels.
Note : 4/5
Perplexity Expérimental

Réalité/mensonge : Correct et factuellement précis.
Qualité du résumé : Similaire à Perplexity Pro Search, bon équilibre de détails.
Note : 4/5
GPT-4 Turbo (Open AI)

Réalité/mensonge : Correct et factuellement précis.
Qualité du résumé : Détails bien équilibrés et bien organisés.
Note : 4.5/5
Mistral Large

Réalité/mensonge : Correct mais manque certaines nuances.
Qualité du résumé : Clair mais légèrement moins détaillé.
Note : 3.5/5
Claude 3 Sonnet (Anthropic)

Réalité/mensonge : Correct et factuellement précis.
Qualité du résumé : Très bien structuré et équilibré.
Note : 4/5
Claude 3 Sonnet d’Anthropic (natif)

Réalité/mensonge : Incorrect, informations décalées (2022) et non pertinentes pour l’affaire actuelle.
Qualité du résumé : Incohérent avec la réalité actuelle.
Note : 2/5
Classement du meilleur au moins bon :

GPT-4 Turbo (Open AI) — 4.5/5
Perplexity Pro Search — 4/5
Perplexity Expérimental — 4/5
Claude 3 Sonnet (Anthropic) — 4/5
Mistral Large — 3.5/5
Perplexity par défaut — 3/5
Claude 3 Sonnet d’Anthropic (natif) — 2/5