|
| 1 | +Un agent qui « apprend » doit le montrer sur ses propres journaux, pas sur une animation. Cette démo compare une politique PPO avant et après entraînement, sur une tâche volontairement minuscule, et affiche les chiffres lus dans les fichiers produits par l'entraînement. |
| 2 | + |
| 3 | +**Vous allez entraîner l'agent vous-même, retrouver les mêmes chiffres, puis les voir rejoués dans le navigateur.** |
| 4 | + |
| 5 | +[Essayer la démo PPO avant / après](/demos/target-chasing/ppo.html) |
| 6 | + |
| 7 | +## La tâche |
| 8 | + |
| 9 | +Un point se déplace sur un segment [0, 1]. Il part d'une position tirée au hasard entre 0 et 0,4. À chaque pas, l'agent choisit entre deux actions : avancer de 0,15 ou reculer de 0,15. L'épisode réussit si la position dépasse 0,7 ; il s'arrête au plus tard après 25 pas. Une réussite rapporte +1 ; chaque pas sans réussite coûte −0,05. L'agent n'observe qu'une valeur : sa position. |
| 10 | + |
| 11 | +Le protocole a été figé avant tout entraînement dans `packages/demo-target-chasing/ppo-experiment.json` : trois graines (11, 29, 47), 80 épisodes par graine, un réseau [32, 32], PPO avec clip 0,2, gamma 0,99, GAE lambda 0,95, 4 époques, lots de 16. |
| 12 | + |
| 13 | +## Reproduire l'entraînement |
| 14 | + |
| 15 | +Node.js 22 et pnpm 10.8.0 (versions utilisées pour ce tuto : Node 22.23.4, pnpm 10.8.0). |
| 16 | + |
| 17 | +```bash |
| 18 | +git clone https://github.com/IgnitionAI/ignition.git |
| 19 | +cd ignition |
| 20 | +git checkout 2e9a24a3a2f53000fefb7ce31eecbacb1bf5c104 |
| 21 | +corepack enable |
| 22 | +pnpm install --frozen-lockfile |
| 23 | +pnpm --filter @ignitionai/core build |
| 24 | +pnpm --filter @ignitionai/backend-tfjs build |
| 25 | +node scripts/train-ppo-nav1d.mjs |
| 26 | +``` |
| 27 | + |
| 28 | +Les deux builds sont nécessaires : le script charge les paquets compilés (`dist/`). L'entraînement des trois graines a pris environ 5 secondes sur notre machine (CPU, sans `tfjs-node` ; TensorFlow.js le signale par un avertissement, sans effet sur le résultat). |
| 29 | + |
| 30 | +Le script écrit une ligne par graine. Résultat obtenu : |
| 31 | + |
| 32 | +| Graine | Moyenne des 20 premiers épisodes | Moyenne des 20 derniers | Évaluation gloutonne avant | après | écart | |
| 33 | +|---|---|---|---|---|---| |
| 34 | +| 11 | 0,4425 | 0,85 | 0,845 | 0,845 | 0 | |
| 35 | +| 29 | −0,18 | 0,8175 | −1,25 | 0,855 | 2,105 | |
| 36 | +| 47 | 0,1475 | 0,855 | 0,855 | 0,855 | 0 | |
| 37 | + |
| 38 | +« Gloutonne » veut dire que l'agent prend toujours l'action la plus probable, sur les 20 mêmes départs avant et après. |
| 39 | + |
| 40 | +Ces valeurs sont celles du dépôt : l'entraînement est déterministe pour ces graines. Seuls `manifest.json` (SHA et horodatage) et `train-result.json` changent. Pour revenir à l'état du dépôt : |
| 41 | + |
| 42 | +```bash |
| 43 | +git checkout -- packages/demo-target-chasing/public/ppo |
| 44 | +``` |
| 45 | + |
| 46 | +Contrôle des artefacts : |
| 47 | + |
| 48 | +```bash |
| 49 | +pnpm exec vitest run packages/demo-target-chasing/test/ppo-artifacts.test.ts |
| 50 | +``` |
| 51 | + |
| 52 | +Attendu : 4 tests passés. |
| 53 | + |
| 54 | +## Lire honnêtement le résultat |
| 55 | + |
| 56 | +- Les trois graines remplissent le critère fixé à l'avance (les 20 derniers épisodes font mieux que les 20 premiers). |
| 57 | +- Mais en évaluation gloutonne, **seule la graine 29 change** : les graines 11 et 47 étaient déjà correctes avant l'entraînement. Leur courbe monte parce que la politique devient moins aléatoire, pas parce qu'elle découvre une meilleure action. |
| 58 | +- La démo choisit donc la graine 29 par défaut, selon une règle écrite dans le manifest : le plus grand écart avant / après. |
| 59 | +- 80 épisodes sur une tâche à une dimension : c'est une démonstration du mécanisme, **pas un benchmark**. |
| 60 | + |
| 61 | +## Ouvrir la démo |
| 62 | + |
| 63 | +```bash |
| 64 | +pnpm --filter target-chasing build |
| 65 | +cd packages/demo-target-chasing |
| 66 | +pnpm exec vite preview --host 127.0.0.1 --port 4173 |
| 67 | +``` |
| 68 | + |
| 69 | +Ouvrez `http://127.0.0.1:4173/ppo.html`, ou directement [la démo en ligne](/demos/target-chasing/ppo.html). La page charge le manifest, les journaux et les deux checkpoints de la graine 29 : |
| 70 | + |
| 71 | +- **Rejouer la politique non entraînée**, puis **Jouer un épisode glouton** : depuis 0,2, la politique non entraînée obtient −1,250 ; |
| 72 | +- **Rejouer le checkpoint entraîné**, puis **Jouer un épisode glouton** : la politique entraînée obtient 0,850 ; |
| 73 | +- la courbe « Retour par épisode, lu dans les journaux JSON » vient des fichiers `episodes.json`, pas d'un calcul dans la page. |
| 74 | + |
| 75 | +Si un journal d'entraînement manque (`episodes.json`), la page l'écrit (« Checkpoint ou journal PPO introuvable », « PPO checkpoint/log absent » en anglais). Limite observée le 19/11 : si c'est le checkpoint entraîné qui manque, la page n'affiche aucun message et reste sur le replay non entraîné. |
| 76 | + |
| 77 | +## Limites observées (19/11) |
| 78 | + |
| 79 | +- Sous `vite preview`, un fichier absent est remplacé par la page HTML avec un code 200 : le message d'erreur s'affiche bien, mais indique « (200) ». |
| 80 | +- Rendu vérifié dans un navigateur sur serveur (rendu logiciel) ; pas testé sur téléphone réel. |
| 81 | +- Adresse publique : après le merge et le déploiement de la PR #90 seulement. |
0 commit comments