Classements LLM (LMArena)

Description

Cet acteur collecte les classements de modèles de langage depuis le dataset LMArena hébergé sur Hugging Face.

Source : Dataset HF lmarena-ai/leaderboard-dataset (licence CC BY 4.0)

Attribution obligatoire

Les données proviennent de LMArena et sont sous licence CC BY 4.0. Toute utilisation doit inclure l'attribution :

"Source: LMArena Leaderboard Dataset (CC BY 4.0)"

Chaque item inclut automatiquement les champs attribution et source_url.

Différenciation : historique et détection des changements

• Conserve l'historique entre les runs pour détecter les évolutions
• Détecte automatiquement : changements de rang (↑↓), changements de rating, nouvelles entrées, sorties du classement, nouvelles dates de publication
• Modes : snapshot (classement complet) | changes (deltas uniquement)

Exemples

Input (mode snapshot)

{
  "mode": "snapshot",
  "sources": ["lmarena"],
  "categories": ["text", "vision"],
  "maxItems": 100,
  "historyStoreName": "llm-leaderboards-history"
}

Output (snapshot)

{
  "record_type": "snapshot",
  "source": "lmarena",
  "observed_at": "2026-09-25T06:00:00.000Z",
  "entry_key": "lmarena:text:gpt-4",
  "model_name": "gpt-4",
  "organization": "OpenAI",
  "category": "text",
  "rating": 1250.5,
  "rating_lower": 1245.2,
  "rating_upper": 1255.8,
  "rank": 1,
  "vote_count": 12543,
  "leaderboard_publish_date": "2026-09-24",
  "attribution": "LMArena Leaderboard Dataset (CC BY 4.0)",
  "source_url": "https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset"
}

Output (change détecté)

{
  "record_type": "change",
  "source": "lmarena",
  "observed_at": "2026-09-25T12:00:00.000Z",
  "previous_observed_at": "2026-09-25T06:00:00.000Z",
  "change_type": "rank_up,rating_change",
  "diff_type": "changed",
  "model_name": "claude-3-opus",
  "rank": 2,
  "rating": 1248.3,
  "changes": [
    {
      "field": "rank",
      "old": 3,
      "new": 2,
      "delta_abs": -1
    },
    {
      "field": "rating",
      "old": 1245.1,
      "new": 1248.3,
      "delta_abs": 3.2,
      "delta_pct": 0.26
    }
  ]
}

Catégories LMArena disponibles

• text : Modèles texte généraux (défaut)
• text_style_control : Contrôle de style
• vision : Modèles multimodaux
• webdev : Développement web
• search : Recherche
• document : Traitement de documents
• text_to_image : Génération d'images
• text_to_video : Génération de vidéos
• image_edit : Édition d'images
• agent : Agents

Planification hebdomadaire

Pour surveiller les changements de classement chaque semaine :

Schedules → Add schedule
- Time: Monday 09:00 UTC
- Run input: {"mode":"changes","sources":["lmarena","epoch"],"categories":["text"],"maxItems":500}

Le mode changes ne renvoie que les entrées et changements depuis le dernier run.

Sources et licences

• LMArena Leaderboard Dataset : https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset

  • Licence : CC BY 4.0 (attribution requise)
  • API : Datasets Server HuggingFace (pas de clé requise)

• Epoch AI Notable AI Models : https://epoch.ai/data/ai-models

  • Licence : CC BY 4.0 (attribution requise)
  • Format : CSV public

Attribution obligatoire : Chaque item inclut automatiquement les champs attribution et source_url.

Tarification pay-per-event suggérée

• Événement record : 0,0001 $ par enregistrement
• Événement change-detected : 0,001 $ par changement détecté

Limites

• Pas de pagination automatique : L'API HF Datasets Server renvoie max 100 rows par appel. Pour obtenir plus d'entrées, il faudrait implémenter la pagination avec offset.
• Catégories en dur : La liste des catégories disponibles peut évoluer côté LMArena.
• Pas d'historique de rang : L'acteur détecte les changements entre deux runs, mais ne construit pas de série temporelle complète.