No description
  • TypeScript 99%
  • CSS 0.7%
  • Dockerfile 0.2%
Find a file
darkbobby 14491a3d6c
All checks were successful
deploy / deploy (push) Successful in 19s
Appli-Benchmark 1.4.1 : alerte quand Keycloak n'envoie aucun groupe
- Administration : avertissement quand les 20 dernières connexions SSO n'ont
  reçu aucun groupe alors que OIDC_ADMIN_GROUPS ou OIDC_ALLOWED_GROUPS est
  renseigné, avec la marche à suivre (mapper Group Membership).
- Tests : ajout des tests d'administration annoncés en 1.4.0 mais absents du
  dépôt (accès réservé, durée de vie des sessions, désactivation, fermeture de
  session, blocages, filtres et export du journal, purge, ligne JSON).
- Tests : correction du test d'altération d'un secret chiffré, qui échouait
  environ une fois sur 64.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-07 11:43:25 +01:00
.forgejo/workflows CI : déploiement automatique au tag 2026-11-06 16:02:54 +01:00
.impeccable Appli-Benchmark : nouveau design « La Console de mesure » 2026-09-26 11:10:40 +02:00
server Appli-Benchmark 1.4.1 : alerte quand Keycloak n'envoie aucun groupe 2026-11-07 11:43:25 +01:00
shared Appli-Benchmark 1.4.0 : interface d'administration et traces de connexion 2026-11-07 11:04:14 +01:00
tests Appli-Benchmark 1.4.1 : alerte quand Keycloak n'envoie aucun groupe 2026-11-07 11:43:25 +01:00
web Appli-Benchmark 1.4.1 : alerte quand Keycloak n'envoie aucun groupe 2026-11-07 11:43:25 +01:00
.dockerignore Ajout app de benchmark 2026-09-25 17:33:29 +02:00
.env.example Appli-Benchmark 1.4.0 : interface d'administration et traces de connexion 2026-11-07 11:04:14 +01:00
.gitignore Appli-Benchmark : suivre le dossier shared/ ignoré par erreur 2026-09-26 11:10:40 +02:00
CLAUDE.md Appli-Benchmark 1.4.1 : alerte quand Keycloak n'envoie aucun groupe 2026-11-07 11:43:25 +01:00
DESIGN.md Appli-Benchmark : nouveau design « La Console de mesure » 2026-09-26 11:10:40 +02:00
docker-compose.standalone.yml Ajout app de benchmark 2026-09-25 17:33:29 +02:00
docker-compose.yml Appli-Benchmark 1.4.0 : interface d'administration et traces de connexion 2026-11-07 11:04:14 +01:00
Dockerfile Ajout app de benchmark 2026-09-25 17:33:29 +02:00
package-lock.json Appli-Benchmark 1.4.1 : alerte quand Keycloak n'envoie aucun groupe 2026-11-07 11:43:25 +01:00
package.json Appli-Benchmark 1.4.1 : alerte quand Keycloak n'envoie aucun groupe 2026-11-07 11:43:25 +01:00
PRODUCT.md Appli-Benchmark : nouveau design « La Console de mesure » 2026-09-26 11:10:40 +02:00
README.md Appli-Benchmark 1.4.1 : alerte quand Keycloak n'envoie aucun groupe 2026-11-07 11:43:25 +01:00
tsconfig.base.json Ajout app de benchmark 2026-09-25 17:33:29 +02:00
vite.config.ts Appli-Benchmark 1.3.0 : numéro de version affiché à côté du titre 2026-11-06 17:07:58 +01:00
vitest.config.ts Appli-Benchmark 1.4.0 : interface d'administration et traces de connexion 2026-11-07 11:04:14 +01:00

Appli-Benchmark — banc d'essai de modèles d'IA

Webapp auto-hébergée pour tester de façon complète, garder l'historique et comparer des modèles d'IA, avec pour chaque chiffre une explication en français simple.

  • Se connecte à n'importe quelle API que vous saisissez : vLLM, Ollama, LM Studio, llama.cpp, OpenRouter, OpenAI, Anthropic, Google Gemini… Le type d'API et la liste des modèles sont détectés automatiquement.
  • Mesure la vitesse (délai avant le premier mot, vitesse d'écriture, lecture de longs textes, tenue en charge avec 1 à 32 utilisateurs simultanés, régularité, démarrage à froid).
  • Mesure la qualité sur 115 tests intégrés (français majoritaire et un lot anglais), plus des tests de mémoire longue générés selon la taille de contexte du modèle : raisonnement, maths, code exécuté dans un bac à sable, connaissances, français, rédaction et traduction notées par un modèle juge, honnêteté (hallucinations), refus justes, respect de consignes, appel d'outils, JSON, mémoire longue (« aiguille dans une botte de foin »), conversation et résistance à l'injection de prompt, cohérence.
  • Indique la date de fin des connaissances du modèle (information hors note) : la date qu'il annonce, et celle mesurée par une sonde de questions sur des événements datés, trimestre par trimestre, de 2022 à fin 2025 (server/src/suites/cutoff.ts, à prolonger au fil du temps).
  • Tests personnalisés : vos propres questions, avec réponse attendue ou critères pour le juge (import/export JSON).
  • Rapports détaillés, note globale selon un profil d'usage (assistant général, développement, documents/RAG, agents), classement, comparaison de 2 à 6 modèles avec un verdict rédigé, estimation de coût (tarifs cloud ou électricité en local), export PDF / CSV / JSON.

Sommaire

  1. Installation sur le homelab (Docker + Traefik)
  2. Variante sans Traefik (réseau local uniquement)
  3. Premier lancement
  4. Utilisation
  5. SSO Keycloak (facultatif)
  6. Mise à jour, sauvegarde, dépannage
  7. Sécurité
  8. Développement

1. Installation sur le homelab (Docker + Traefik)

Sur l'hôte Docker 10.0.0.19. Toutes les commandes se tapent sur une seule ligne.

a) Cloner le dépôt dans /opt/docker-compose/appli-benchmark/ et se placer sur le tag de la version voulue (par exemple v1.2.0 ; la liste s'obtient avec git tag). Le serveur est toujours déployé sur un tag, jamais sur main :

git clone ssh://git@git.darkbobby.fr:2222/darkbobby/appli-benchmark.git /opt/docker-compose/appli-benchmark && cd /opt/docker-compose/appli-benchmark && git checkout v1.2.0

b) Créer le fichier de configuration à partir du modèle :

cd /opt/docker-compose/appli-benchmark && cp .env.example .env

c) Générer la clé de chiffrement et la coller dans .env à la ligne MASTER_KEY= :

openssl rand -hex 32

⚠️ Conservez cette clé (gestionnaire de mots de passe). Si elle change ou se perd, les clés API enregistrées dans l'application deviennent illisibles : il faudra les ressaisir.

d) Préparer le dossier de données (le conteneur tourne avec l'utilisateur non privilégié node, uid 1000) :

sudo mkdir -p data/appli-benchmark && sudo chown 1000:1000 data/appli-benchmark

e) Vérifier l'unicité des noms Traefik. Les routeurs appli-benchmark / appli-benchmark-secure et le middleware appli-benchmark-redirect ne doivent exister dans aucun autre stack (un doublon casse le routage sans message d'erreur). Le sous-domaine bench.darkbobby.fr doit pointer vers Traefik.

f) Construire et démarrer :

docker compose up -d --build

L'application est alors disponible sur https://bench.darkbobby.fr.

💡 Pour réserver l'accès au réseau local, activez la ligne commentée lan-only@file,crowdsec@file dans docker-compose.yml, puis docker compose up -d --force-recreate.


2. Variante sans Traefik (réseau local uniquement)

Si vous voulez simplement y accéder par http://10.0.0.19:8080 :

  1. Dans .env : laissez PUBLIC_URL= vide et ajoutez COOKIE_SECURE=false.
  2. Lancez :
docker compose -f docker-compose.standalone.yml up -d --build

3. Premier lancement

  1. Affichez le code d'installation dans les journaux du conteneur :
docker logs appli-benchmark
  1. Ouvrez l'application dans votre navigateur, saisissez ce code, puis choisissez un identifiant et un mot de passe (12 caractères minimum). Ce compte est administrateur.

Le code n'est valable qu'une fois et change à chaque redémarrage tant qu'aucun compte n'existe. Personne ne peut donc « prendre » votre application avant vous, même si elle est exposée.


4. Utilisation

Étape 1 — Ajouter une connexion (menu Connexions API)

Saisissez l'adresse de l'API, par exemple :

Serveur Adresse Clé API
vLLM sur le GX10 http://10.0.0.222:8000/v1 celle de VLLM_API_KEY si définie
Stack MoE (port 8010) http://10.0.0.222:8010/v1 idem
Ollama http://10.0.0.222:11434 aucune
OpenAI https://api.openai.com/v1 obligatoire
Anthropic https://api.anthropic.com obligatoire
Google Gemini https://generativelanguage.googleapis.com obligatoire
OpenRouter https://openrouter.ai/api/v1 obligatoire

Cliquez sur Détecter : l'application identifie le serveur (vLLM, Ollama…), liste les modèles et récupère leur taille de contexte. Le bouton Test rapide vérifie qu'un modèle répond.

Pour les services payants, indiquez le tarif en € par million de tokens (entrée / sortie) dans le tableau des modèles : les coûts seront estimés.

Étape 2 — Lancer un benchmark (menu Nouveau benchmark)

  • Choisissez le modèle, le niveau (Rapide ≈ quelques minutes, Standard, Complet) et les domaines.
  • Choisissez un modèle juge, de préférence plus puissant que celui testé et différent de lui. Sans juge, Rédaction et Traduction sont ignorées.
  • Suivez l'avancement en direct. Vous pouvez fermer la page : le test continue sur le serveur. Un benchmark interrompu (redémarrage, erreur) peut être repris là où il s'est arrêté.

Étape 3 — Lire le rapport

  • Synthèse : note globale sur 100, points forts et faibles, et ce que cela signifie concrètement.
  • Vitesse : chaque mesure avec son appréciation (Excellent / Bon / Moyen / Faible) et une phrase d'explication ; graphiques de lecture de textes longs et de montée en charge.
  • Qualité par domaine et Détail des tests : chaque question est consultable, avec la réponse complète du modèle, ce qui était attendu, et l'explication de la note (et l'avis du juge). Vous pouvez corriger une note à la main.
  • Le bouton ? à côté de chaque chiffre explique ce qu'il signifie ; le menu Comprendre les chiffres regroupe tout le vocabulaire.

Étape 4 — Comparer et classer

  • Classement : tous les modèles testés, triables par domaine, avec un radar des trois premiers.
  • Comparer : 2 à 6 benchmarks côte à côte, meilleur résultat mis en évidence, graphiques et verdict rédigé.
  • Réglages : ajustez le poids de chaque domaine dans la note globale selon votre usage, et indiquez la puissance électrique de votre serveur pour estimer le coût d'un modèle local.

Administration (menu Administration, administrateurs uniquement)

Le menu est visible pour le compte local et pour les membres des groupes SSO listés dans OIDC_ADMIN_GROUPS (voir section 5).

  • Synthèse : échecs de connexion et alertes des dernières 24 h, sessions actives, dernière connexion d'un administrateur, et blocages anti-force brute en cours (avec un bouton pour les lever).
  • Utilisateurs : compte local et comptes SSO, rôle, groupes reçus de Keycloak à la dernière connexion, dernière connexion et son IP, nombre de sessions et de benchmarks. Un compte SSO peut être désactivé : il est déconnecté sur-le-champ et ne peut plus entrer, même si Keycloak l'autorise ; ses benchmarks sont conservés et il peut être réactivé. Le compte local, compte de secours, ne peut pas être désactivé.
  • Sessions actives : tous les navigateurs connectés (appareil, IP, ouverture, dernière activité, fin au plus tard), chacun pouvant être fermé.
  • Journal : connexions réussies ou refusées (avec le motif et les groupes en cas de refus SSO), déconnexions, blocages, changements de rôle, actions des administrateurs, ajouts et suppressions de connexions API et de benchmarks. Filtres par famille, gravité, compte, IP et période ; export CSV. Conservation : AUDIT_RETENTION_DAYS (365 jours par défaut).

Durée des sessions : SESSION_HOURS (12 h par défaut) d'inactivité, et au plus SESSION_MAX_HOURS (24 h par défaut) depuis l'ouverture, même en cas d'utilisation continue. Se reconnecter au moins une fois par jour permet de relire les groupes Keycloak : quelqu'un retiré du groupe administrateur perd ses droits au plus tard 24 h après.


5. SSO Keycloak (facultatif)

L'application parle OpenID Connect nativement (flux Authorization Code + PKCE) : pas besoin d'oauth2-proxy. La connexion par mot de passe local peut rester active en parallèle, pratique en secours si Keycloak est indisponible.

Côté Keycloak (realm homelab, Keycloak 26 : vérifiez l'emplacement exact des réglages dans la console) :

  1. Créer un client OpenID Connect, Client ID appli-benchmark.
  2. Client authentication : On (client confidentiel), Standard flow : On, les autres flux désactivés.
  3. Valid redirect URIs : https://bench.darkbobby.fr/api/auth/oidc/callback (URI exacte, pas de joker).
  4. Web origins : https://bench.darkbobby.fr.
  5. Onglet Credentials : copier le secret du client.
  6. Groupes (seulement si vous utilisez OIDC_ALLOWED_GROUPS / OIDC_ADMIN_GROUPS) : ajouter un Group Membership mapper, nom de claim groups, Add to ID token On, Full group path Off, dans le client scope dédié du client.
    • ⚠️ L'application demande seulement openid profile email : ne créez pas de client scope nommé groups. C'est ce qui provoque les erreurs invalid_scope.
    • Les groupes AD remontent via le group-ldap-mapper du provider LDAPS (Preserve Group Inheritance : Off).

Côté application (.env) :

PUBLIC_URL=https://bench.darkbobby.fr
OIDC_ISSUER=https://auth.darkbobby.fr/realms/homelab
OIDC_CLIENT_ID=appli-benchmark
OIDC_CLIENT_SECRET=<secret copié à l'étape 5>
OIDC_ALLOWED_GROUPS=<groupe AD autorisé, ex. utilisateurs-ia>
OIDC_ADMIN_GROUPS=admin

OIDC_ADMIN_GROUPS donne le rôle administrateur (menu Administration) aux membres de ces groupes ; ils sont autorisés d'office, même s'ils ne figurent pas dans OIDC_ALLOWED_GROUPS. Le rôle est recalculé à chaque connexion SSO ; s'il change, les autres sessions du compte sont fermées et le changement est inscrit au journal.

Appliquer la configuration :

docker compose up -d --force-recreate

Un bouton « Se connecter avec le SSO » apparaît sur la page de connexion. Pour n'autoriser que le SSO, ajoutez LOCAL_AUTH=false.

Compte local de secours : l'ordre compte

L'application ne crée qu'un seul compte local : le compte administrateur, à l'installation, avec le code à usage unique. Ce formulaire n'est proposé que tant qu'aucun compte n'existe. Si le tout premier utilisateur se connecte par SSO, l'installation est close et l'instance n'aura jamais de compte local, donc aucun recours si Keycloak tombe. Aucun écran ne permet d'en ajouter un ensuite, et un compte SSO n'a pas de mot de passe local.

Sur chaque nouvelle instance :

  1. Démarrer l'instance avec son .env (OIDC renseigné, LOCAL_AUTH=true, valeur par défaut).
  2. Créer le compte administrateur local avec le code d'installation (docker logs appli-benchmark) et conserver son mot de passe en lieu sûr.
  3. Seulement ensuite, se connecter par SSO.

Chaque instance a sa propre configuration : pour une deuxième instance reliée à un autre Keycloak, adaptez PUBLIC_URL, OIDC_ISSUER, OIDC_CLIENT_ID, OIDC_CLIENT_SECRET et l'URI de redirection du client. OIDC_BUTTON_LABEL change le libellé du bouton.

Dépannage SSO

  • redirect_uri mismatch : l'URI du client Keycloak doit être exactement https://bench.darkbobby.fr/api/auth/oidc/callback, et PUBLIC_URL doit être en https://.
  • Votre compte n'appartient à aucun groupe autorisé : le claim groups est absent ou vide. Vérifiez le mapper avec l'outil d'évaluation de jeton du client dans Keycloak. Le journal (Administration › Journal) indique les groupes effectivement reçus.
  • Membre du groupe admin mais affiché « Utilisateur » : même cause (claim groups absent, ou Full group path sur On, qui transmet /parent/admin). Le rôle n'est recalculé qu'à la connexion : déconnectez-vous puis reconnectez-vous. La page Administration affiche un avertissement quand les dernières connexions SSO n'ont reçu aucun groupe.
  • Votre compte a été désactivé : un administrateur l'a désactivé dans Administration › Utilisateurs.

6. Mise à jour, sauvegarde, dépannage

Mettre à jour : une fois la nouvelle version poussée et taguée sur le dépôt, récupérer les tags, se placer sur le nouveau (ici vX.Y.Z) et reconstruire. Ne rien modifier directement dans le dossier du serveur : toute modification passe par le dépôt.

cd /opt/docker-compose/appli-benchmark && git fetch --tags && git checkout vX.Y.Z && docker compose up -d --build

Pour revenir en arrière, même commande avec le tag précédent (une migration de base déjà appliquée n'est pas annulée : faites une sauvegarde avant une mise à jour).

Vos résultats, connexions et réglages sont dans data/appli-benchmark/ et sont conservés.

Sauvegarder : copiez le dossier data/appli-benchmark/ (base SQLite benchmark.sqlite et fichiers -wal/-shm) et votre MASTER_KEY. L'idéal est d'arrêter le conteneur avant la copie :

docker compose stop && sudo tar czf appli-benchmark-$(date +%F).tgz data/appli-benchmark .env && docker compose start

Dépannage

Symptôme Cause probable
404 ou page Traefik par défaut noms de routeurs en doublon avec un autre stack, ou DNS de bench.darkbobby.fr
« Connexion refusée » à la détection serveur de modèles arrêté, mauvais port, ou pare-feu entre 10.0.0.19 et le GX10
« Ce serveur demande une clé API » renseigner la clé (VLLM_API_KEY pour vLLM)
Le modèle « épuise son budget de tokens en réfléchissant » modèle à raisonnement : augmentez Tokens max par réponse dans les réglages avancés
Mémoire longue ignorée la taille de contexte du modèle est trop petite, ou non annoncée par le serveur
Impossible de se connecter en mode standalone PUBLIC_URL doit être vide et COOKIE_SECURE=false quand il n'y a pas de HTTPS
Erreur d'écriture au démarrage droits du dossier : sudo chown 1000:1000 data/appli-benchmark

7. Sécurité

Mesure Détail
Authentification compte local (mot de passe haché en Argon2id, paramètres OWASP) et/ou SSO OIDC avec PKCE ; installation protégée par un code à usage unique
Sessions jeton aléatoire de 256 bits stocké haché côté serveur, cookie HttpOnly + SameSite=Lax (+ Secure et préfixe __Host- en HTTPS), expiration après inactivité et durée de vie maximale (24 h par défaut), révocation des autres sessions au changement de mot de passe ou de rôle, fermeture à distance par un administrateur
Force brute blocage progressif après 5 échecs (par IP et par identifiant) ; temps de réponse identique que le compte existe ou non
Clés API chiffrées au repos en AES-256-GCM ; jamais renvoyées au navigateur (seul un indice sk-…1234 est affiché)
CSRF vérification de l'origine (Origin, Sec-Fetch-Site), API uniquement en JSON
En-têtes CSP stricte (aucun script externe ni inline), HSTS, X-Frame-Options: DENY, Referrer-Policy: no-referrer, Permissions-Policy
Entrées chaque requête est validée par un schéma strict (Zod), taille des requêtes limitée, requêtes SQL paramétrées
Requêtes sortantes adresses de métadonnées cloud et link-local bloquées après résolution DNS (anti-SSRF et DNS rebinding), redirections refusées, délais maximaux
Code produit par les modèles exécuté uniquement dans un bac à sable QuickJS/WebAssembly, sans accès disque, réseau ni processus, avec limites de mémoire et de temps ; les expressions régulières personnalisées aussi (anti-ReDoS)
Exports CSV protégé contre l'injection de formules tableur
Conteneur utilisateur non root, système de fichiers en lecture seule, cap_drop: ALL, no-new-privileges, limites mémoire/processus, npm retiré de l'image, aucun script d'installation tiers exécuté
Traçabilité journal d'audit consultable et filtrable (connexions, échecs avec motif, blocages, rôles, actions d'administration, connexions API et benchmarks), avec IP et navigateur, conservé 365 jours ; copie de chaque événement en JSON dans les journaux du conteneur
Comptes comptes SSO désactivables par un administrateur ; compte local de secours non désactivable

Envoyer le journal vers Graylog ou CrowdSec

Chaque événement du journal est aussi écrit sur la sortie standard du conteneur, sur une ligne JSON (désactivable avec SECURITY_LOG_JSON=false) :

{"type":"security","app":"appli-benchmark","at":"2026-11-07T09:12:03.120Z","event":"connexion_echouee","label":"Échec de connexion par mot de passe","severity":"alerte","user":"admin","user_id":null,"ip":"203.0.113.7","user_agent":"Mozilla/5.0 …","detail":null}

Les autres lignes des journaux sont du texte libre : filtrez sur "type":"security".

  • Graylog : le plus simple est le pilote de journaux GELF de Docker, à ajouter au service dans docker-compose.yml (adresse de l'entrée GELF UDP de Graylog à adapter). docker logs appli-benchmark continue de fonctionner (Docker 20.10 ou plus récent). Dans Graylog, un extracteur ou une règle de pipeline JSON sur le champ message donne les champs event, severity, user, ip.

        logging:
          driver: gelf
          options:
            gelf-address: "udp://<ip-graylog>:12201"
            tag: "appli-benchmark"
    
  • CrowdSec : acquisition des journaux du conteneur (source: docker, container_name: [appli-benchmark]), un parser qui décode les lignes "type":"security" et expose ip comme source_ip, puis un scénario leaky bucket sur event = connexion_echouee ou connexion_sso_echouee (par exemple 10 échecs en 10 minutes). L'application bloque déjà elle-même après 5 échecs ; CrowdSec ajoute le bannissement au niveau de Traefik.

Recommandations :

  • Contrôler les dépendances régulièrement : npm audit puis docker run --rm -v /var/run/docker.sock:/var/run/docker.sock aquasec/trivy image appli-benchmark:local pour scanner l'image.
  • L'application est conçue pour contacter les adresses que vous saisissez, y compris sur le réseau local : réservez-en l'accès aux personnes de confiance (SSO avec groupe autorisé ou lan-only).

8. Développement

Prérequis : Node.js 24 LTS.

npm install --ignore-scripts
  • npm run build : compile l'interface (web/dist).
  • npm start : démarre le serveur sur le port 8080 (TypeScript exécuté directement par Node 24).
  • npm run dev et npm run dev:web : serveur avec rechargement + interface Vite sur le port 5173.
  • npm test : 56 tests automatiques (vérificateurs, sécurité, administration, benchmark complet sur un faux serveur).
  • npm run typecheck : vérification des types.
  • node tests/mock-openai.ts 8001 : faux serveur « compatible OpenAI » pour essayer l'application sans modèle réel (connexion http://127.0.0.1:8001/v1).

Stack : Node.js 24 (SQLite et Argon2 intégrés), Hono, Zod, openid-client, QuickJS-WASM, undici ; React 19, Vite, Tailwind CSS 4, TanStack Query, React Router, Apache ECharts.

Organisation :

shared/            types, catégories, explications des chiffres, notes et verdicts, événements du journal
server/src/
  app.ts           routes de l'API et sécurité HTTP
  auth.ts          comptes, sessions, SSO, anti-force brute
  admin.ts         routes d'administration (comptes, sessions, journal)
  providers/       connecteurs OpenAI-compatible, Ollama, Anthropic, Gemini + détection automatique
  bench/           mesures de vitesse, vérificateurs, bac à sable, juge
  suites/          banque de tests intégrés (version dans suites/index.ts)
  runs.ts          file d'attente et exécution des benchmarks
web/src/           interface (pages et composants)
tests/             tests automatiques et faux serveur

Pour ajouter des tests intégrés : éditez server/src/suites/*.ts puis incrémentez SUITE_VERSION, pour que les comparaisons signalent les runs faits sur des banques de tests différentes.