|
| 1 | +import { useRef, useState } from 'react'; |
| 2 | +import * as tf from '@tensorflow/tfjs'; |
| 3 | +import { DQN_CONFIG, SESSION_DEFAULTS } from './training-session'; |
| 4 | +import type { SessionSnapshot, TrainingSession } from './training-session'; |
| 5 | +import { TRAINING_ENV } from './dock-training-env'; |
| 6 | + |
| 7 | +const MODE_LABELS = { |
| 8 | + idle: 'Réseau à l’arrêt — manuel / PD actifs', |
| 9 | + training: 'Entraînement DQN (exploration ε)', |
| 10 | + inference: 'Regarder l’agent — poids figés, sans exploration', |
| 11 | + paused: 'En pause', |
| 12 | +} as const; |
| 13 | +const OUTCOMES = { success: 'arrimé', collision: 'collision', bounds: 'hors limites', nonfinite: 'non fini', timeout: 'temps écoulé' } as const; |
| 14 | +const percent = (value: number | null) => value === null ? '—' : `${(value * 100).toFixed(0)} %`; |
| 15 | + |
| 16 | +/** Live counters of the real session; nothing here is estimated or pre-recorded. */ |
| 17 | +export function TrainingPanel({ session, snapshot: state }: { session: TrainingSession; snapshot: SessionSnapshot }) { |
| 18 | + const [commandError, setCommandError] = useState(''); |
| 19 | + const file = useRef<HTMLInputElement>(null); |
| 20 | + const invoke = (operation: () => Promise<unknown>) => { |
| 21 | + setCommandError(''); |
| 22 | + void operation().catch((reason: unknown) => setCommandError(reason instanceof Error ? reason.message : String(reason))); |
| 23 | + }; |
| 24 | + const download = () => invoke(async () => { |
| 25 | + const blob = new Blob([await session.exportModel()], { type: 'application/json' }); |
| 26 | + const url = URL.createObjectURL(blob), link = document.createElement('a'); |
| 27 | + link.href = url; link.download = `space-dock-dqn-${state.trainingSteps}.json`; link.click(); |
| 28 | + setTimeout(() => URL.revokeObjectURL(url), 0); |
| 29 | + }); |
| 30 | + // The shipped weights stay out of the main bundle until the visitor asks for them. |
| 31 | + const loadPretrained = () => invoke(async () => { |
| 32 | + const { default: file } = await import('./pretrained/space-dock-dqn.json'); |
| 33 | + await session.importModel(JSON.stringify(file), { pretrained: true }); |
| 34 | + }); |
| 35 | + const upload = (input: HTMLInputElement) => { |
| 36 | + const chosen = input.files?.[0]; input.value = ''; |
| 37 | + if (chosen) invoke(async () => session.importModel(await chosen.text())); |
| 38 | + }; |
| 39 | + const curve = state.curve, low = Math.min(0, ...curve), spread = Math.max(1, ...curve) - low; |
| 40 | + const points = curve.map((value, index) => `${(index / Math.max(1, curve.length - 1) * 600).toFixed(1)},${(84 - (value - low) / spread * 76).toFixed(1)}`).join(' '); |
| 41 | + const zero = 84 - (0 - low) / spread * 76; |
| 42 | + const latest = state.recentEpisodes.at(-1); |
| 43 | + const running = state.mode === 'training' || state.mode === 'inference'; |
| 44 | + const error = commandError || state.error; |
| 45 | + const layers = [DQN_CONFIG.inputSize, ...(DQN_CONFIG.hiddenLayers ?? []), DQN_CONFIG.actionSize]; |
| 46 | + return <section className="learning" aria-label="Entraînement DQN"> |
| 47 | + <div className="learning-heading"> |
| 48 | + <div><p className="eyebrow">RÉSEAU DE NEURONES / DQN · TF.js {tf.getBackend()}</p><h2>{layers.join(' → ')}</h2></div> |
| 49 | + <p role="status" data-testid="session-mode">{state.busy ? 'Opération en cours…' : MODE_LABELS[state.mode]}</p> |
| 50 | + </div> |
| 51 | + <div className="toolbar"> |
| 52 | + <button data-testid="train" disabled={state.busy || state.mode === 'training'} onClick={() => invoke(() => session.train())}> |
| 53 | + {state.mode === 'paused' && state.resumeMode === 'training' ? 'Reprendre l’entraînement' : state.trainingSteps ? 'Continuer l’entraînement' : 'Démarrer l’entraînement'}</button> |
| 54 | + <button data-testid="pause" disabled={state.busy || !running} onClick={() => invoke(() => session.pause())}>Pause</button> |
| 55 | + <button data-testid="watch" disabled={state.busy || state.mode === 'inference'} onClick={() => invoke(() => session.watch())}>Regarder l’agent</button> |
| 56 | + <button data-testid="stop" disabled={state.busy || state.mode === 'idle'} onClick={() => invoke(() => session.stop())}>Rendre la main (manuel / PD)</button> |
| 57 | + <button data-testid="reset-network" disabled={state.busy} onClick={() => invoke(() => session.reset())}>Réinitialiser le réseau</button> |
| 58 | + <label>Cadence <select data-testid="cadence" value={state.chunkMs} onChange={event => session.setChunkBudget(Number(event.currentTarget.value))}> |
| 59 | + <option value={SESSION_DEFAULTS.chunkMs}>Fluide ({SESSION_DEFAULTS.chunkMs} ms par tranche)</option> |
| 60 | + <option value={SESSION_DEFAULTS.fastChunkMs}>Rapide ({SESSION_DEFAULTS.fastChunkMs} ms, rendu moins fluide)</option> |
| 61 | + </select></label> |
| 62 | + </div> |
| 63 | + <dl className="metrics"> |
| 64 | + <div><dt>Pas d’entraînement</dt><dd data-testid="train-steps">{state.trainingSteps.toLocaleString('fr-FR')}</dd></div> |
| 65 | + <div><dt>Épisodes d’entraînement</dt><dd data-testid="episodes">{state.episodes}</dd></div> |
| 66 | + <div><dt>Taux d’arrimage ({SESSION_DEFAULTS.successWindow} derniers)</dt><dd data-testid="success-recent">{percent(state.recentSuccessRate)}</dd></div> |
| 67 | + <div><dt>Taux d’arrimage global</dt><dd data-testid="success-rate">{percent(state.successRate)} <small>({state.successes}/{state.episodes})</small></dd></div> |
| 68 | + <div><dt>Exploration ε</dt><dd data-testid="epsilon">{state.epsilon.toFixed(3)}</dd></div> |
| 69 | + <div><dt>Mises à jour du réseau</dt><dd data-testid="updates">{state.updates}</dd></div> |
| 70 | + <div><dt>Perte (dernier lot)</dt><dd data-testid="loss">{state.lastLoss === null ? '—' : state.lastLoss.toExponential(2)}</dd></div> |
| 71 | + <div><dt>Épisode en cours</dt><dd data-testid="episode-now">{state.episodeSteps} / {TRAINING_ENV.maxSteps} pas · {state.episodeReturn.toFixed(2)}</dd></div> |
| 72 | + <div><dt>Agent regardé</dt><dd data-testid="inference">{state.inferenceSteps} pas · {state.inferenceSuccesses}/{state.inferenceEpisodes} arrimés</dd></div> |
| 73 | + </dl> |
| 74 | + <div className="reward-chart"> |
| 75 | + <p>Récompense moyenne (fenêtre glissante de {SESSION_DEFAULTS.curveWindow} épisodes){latest ? ` · dernier épisode : ${latest.return.toFixed(2)}, ${OUTCOMES[latest.outcome]}` : ' · aucun épisode terminé'}</p> |
| 76 | + {curve.length > 1 |
| 77 | + ? <svg viewBox="0 0 600 90" role="img" aria-label={`Récompense moyenne glissante sur ${curve.length} épisodes, dernière valeur ${curve.at(-1)!.toFixed(2)}`}> |
| 78 | + <line x1="0" x2="600" y1={zero} y2={zero} stroke="#425667" strokeDasharray="4 4" /> |
| 79 | + <polyline points={points} fill="none" stroke="#8ee8cc" strokeWidth="2" /></svg> |
| 80 | + : <p>La courbe apparaît après deux épisodes terminés.</p>} |
| 81 | + </div> |
| 82 | + <div className="toolbar"> |
| 83 | + <button data-testid="pretrained" disabled={state.busy} onClick={loadPretrained}>Charger un agent pré-entraîné</button> |
| 84 | + <button data-testid="export" disabled={state.busy} onClick={download}>Exporter le modèle (JSON TF.js)</button> |
| 85 | + <button data-testid="import" disabled={state.busy} onClick={() => file.current?.click()}>Importer un modèle</button> |
| 86 | + <input ref={file} type="file" accept="application/json,.json" hidden onChange={event => upload(event.currentTarget)} /> |
| 87 | + </div> |
| 88 | + {state.notice && <p role="status">{state.notice}</p>} |
| 89 | + {state.provenance && <p data-testid="provenance">Agent entraîné hors ligne par IgnitionAI, avec cette même démo en Node.js sans rendu : |
| 90 | + {' '}{state.provenance.trainingSteps.toLocaleString('fr-FR')} pas DQN (graine {state.provenance.seed} |
| 91 | + {state.provenance.curriculum ? `, départs d’entraînement entre ${state.provenance.curriculum[0].toLocaleString('fr-FR')} et ${state.provenance.curriculum[1].toLocaleString('fr-FR')} m` : ''}). |
| 92 | + {' '}Mesure greedy avant publication : {Math.round(state.provenance.evaluation.successRate * state.provenance.evaluation.episodes)}/{state.provenance.evaluation.episodes} arrimages |
| 93 | + {' '}depuis le départ standard (graines à partir de {state.provenance.evaluation.firstSeed}), distance finale moyenne {state.provenance.evaluation.meanFinalDistance.toLocaleString('fr-FR', { maximumFractionDigits: 2 })} m. |
| 94 | + {' '}Recette : commit {state.provenance.commit}, {state.provenance.date}. Cliquez « Regarder l’agent » pour le voir piloter ; « Réinitialiser le réseau » repart de zéro pour l’entraîner vous-même.</p>} |
| 95 | + {state.nonFiniteLosses > 0 && <p role="alert">Perte non finie observée {state.nonFiniteLosses} fois : réinitialisez le réseau.</p>} |
| 96 | + {error && <p role="alert">{error}</p>} |
| 97 | + <details><summary>Ce que fait l’entraînement</summary> |
| 98 | + <p>Le réseau reçoit les 26 observations normalisées du dock et choisit l’une des 8 actions toutes les 0,1 s simulées. |
| 99 | + Récompense par pas : variation d’un potentiel (distance au poste, alignement du lacet, vitesse près du poste) moins un léger coût de temps, |
| 100 | + bornée à [−1, 1] ; −1 par contact ; +10 à l’arrimage ; −10 en cas de collision ou de sortie des limites. |
| 101 | + Un épisode dure au plus {TRAINING_ENV.maxSteps} décisions ({TRAINING_ENV.maxSteps / 10} s simulées).</p> |
| 102 | + <p>Curriculum : pendant l’entraînement, chaque épisode part à l’arrêt sur l’axe du poste, à une distance tirée |
| 103 | + {state.curriculum ? ` entre ${state.curriculum[0].toLocaleString('fr-FR')} et ${state.curriculum[1].toLocaleString('fr-FR')} m` : ''}. |
| 104 | + « Regarder l’agent » part toujours du départ standard. Le critère d’arrimage ne change pas.</p> |
| 105 | + <p>Le calcul tourne dans ce navigateur, sur le processeur, par tranches de {SESSION_DEFAULTS.chunkMs} ms pour laisser la scène s’afficher. |
| 106 | + Aucune convergence n’est garantie : la courbe et les taux affichés sont ceux des épisodes réellement joués ici. L’agent pré-entraîné est un résultat mesuré hors ligne, pas une promesse pour votre propre entraînement. |
| 107 | + L’export contient les poids du réseau, pas le replay ni l’état de l’optimiseur.</p> |
| 108 | + </details> |
| 109 | + </section>; |
| 110 | +} |
0 commit comments