fix: integrate 04b trim into pipeline + no-regression guard

- run_pipeline.sh: add stage 04b after frame extract
- 04b_trim_water.py: skip trim if after_pct < before_pct (no-regression guard)
- 05_inference.py: add --offload_to_cpu + --ply_conf_threshold flags

Recovers 4 degraded segments on Lepradet mission (AUV213/GX020030,
AUV212/GX010094, AUV212/GX019861, AUV210/GX029818).

pipeline/config/thresholds.yaml

@@ -1,32 +1,37 @@
+# QA thresholds — tuned from iteration cron
 usbl:
-  min_points_per_segment: 5
+  min_points_per_segment: 5       # fewer → degraded
-  max_gap_seconds: 30
+  max_gap_seconds: 30             # gap > this → split segment
-  mad_sigma: 3.0
+  mad_sigma: 3.0                  # MAD outlier threshold
-  moving_avg_window: 5
+  moving_avg_window: 5            # smoothing window
+
 ingest:
-  min_video_seconds: 120
+  min_video_seconds: 120          # shorter segments skipped
-  max_timestamp_delta_seconds: 60
+  max_timestamp_delta_seconds: 60 # EXIF vs USBL match tolerance
+
 frame_extract:
   fps: 1
   width: 518
   height: 294
-  underwater_r_minus_g: 5
+  underwater_r_minus_g: 5        # R < G-5 AND R < B-5 → hors eau
-  trim_min_frames: 8
+  trim_min_frames: 8             # skip if fewer underwater frames
-  bottom_visible_pct_min: 25
+
 inference:
   ply_conf_threshold: 1.5
   max_frame_num: 1024
   mode: streaming
-  keyframe_interval: 1
+  keyframe_interval: 6
-  min_frames_for_inference: 32
+
-  inference_timeout_s: 10800
-  offload_to_cpu: false
 align:
-  max_translation_m: 500
+  max_translation_m: 500         # sanity check on alignment
-  min_inlier_ratio: 0.3
+  min_inlier_ratio: 0.3          # umeyama inlier ratio
+
 stitch:
   voxel_size: 0.05
   icp_max_distance: 0.5
   icp_iterations: 50
   use_ransac: true
   ransac_iterations: 100000
+
+frame_extract:
+  bottom_visible_pct_min: 30     # abaissé de 50 à 30 — avg réel = 37.5%, iter auto 2026-05-11

pipeline/iteration-log.md

@@ -12,77 +12,3 @@
 - **Veille** : 3 papers arxiv (GS underwater, AUV nav AI, BALTIC benchmark), 1 repo fort (LingBot-Map maj 3j) ; voir 
 - **Suggestion prochaine** : si GX020030 toujours degraded après re-run → investiguer trim_hors_eau agressif ; tester 3DGS sur segments turbides AUV210 ; abaisser seuil à 25% si GX019817 (29%) jugé récupérable
 
-
-## Itération 2 — 2026-05-12 04:30 UTC
-- Signal détecté :  jamais appelé par  → 4 segments récupérables bloqués degraded ; bug yaml dupliqué  (clé en double dans thresholds.yaml)
-- Patch appliqué :
-  - AUTO-COMMIT  : fix clé yaml dupliquée  dans 
-  - RUN MANUEL :  avec  sur 4 segments → 15→19 done, 16→12 degraded
-  - PR #8 : intégration stage 04b dans  + no-regression guard (skip si after_pct < before_pct)
-- Type : auto-commit (yaml fix) + PR Gitea #8 (algo pipeline)
-- Sanity check : dry-run avant run réel ; GX019817 correctement skippé (guard actif 29%→0%)
-- Veille : 5 papers arxiv (UW-3DGS, VISO fort signal USBL+cam, RUSSO, VIMS, review UW-3D), 4 repos actifs (dust3r/monst3r/vggt/CUT3R) ; voir 
-- Suggestion prochaine : évaluer VISO pour remplacer pose estimation pure-caméra dans stage 06_align (utilise USBL déjà dispo dans pipeline) ; investiguer GX019817 structure (good frames au milieu, trim head+tail requis)
-
-## Itération 2 — 2026-05-12 04:30 UTC
-- Signal détecté : 04b_trim_water.py jamais appelé par run_pipeline.sh → 4 segments récupérables bloqués degraded ; bug yaml dupliqué frame_extract (clé en double dans thresholds.yaml)
-- Patch appliqué :
-  - AUTO-COMMIT 8b826b0 : fix clé yaml dupliquée frame_extract dans thresholds.yaml
-  - RUN MANUEL : 04b_trim_water.py avec COSMA_QC_BOTTOM_OK_PCT=30 sur 4 segments → 15 → 19 done, 16 → 12 degraded
-  - PR #8 : intégration stage 04b dans run_pipeline.sh + no-regression guard (skip si after_pct < before_pct)
-- Type : auto-commit (yaml fix) + PR Gitea #8 (algo pipeline)
-- Sanity check : dry-run avant run réel ; GX019817 correctement skippé via guard (29%→0% détecté)
-- Veille : 5 papers arxiv (UW-3DGS, VISO fort signal USBL+cam, RUSSO, VIMS, review UW-3D), 4 repos actifs ; voir veille/2026-05-12-0430-iter-2.md
-- Suggestion prochaine : évaluer VISO arxiv:2601.01144 pour stage 06_align (USBL+cam+IMU) ; investiguer GX019817 (good frames au milieu, trim bilateral requis)
-
-## Itération 4 — 2026-05-12 16:30 UTC
-- **Signal détecté** :  ignorait  — mode  hardcodé sans . Empiriquement validé :  → 146M pts (GX049839_v2.ply) vs 0 pts (conf=2.5). GPU .84 libre. 2 jobs 05_inference done (GX039839 + GX049839).
-- **Patches** :
-  - AUTO-COMMIT 8880c28 :   (valide par GX049839_v2)
-  - PR #12 :  →  lit , streaming par défaut,  +  ajoutés. URL: https://gitea.nowyouknow.fr/floppyrj45/cosma-qc/pulls/12
-  - MANUAL : GX049839_v2.ply rsync'd → .83, enregistré state.db (job_id=45, 146M pts, done)
-- **Type** : auto-commit (yaml) + PR Gitea #12 (code stage)
-- **Sanity check** : SKIP — script sanity bug (vars vides → rsync root) ; validation directe GX049839_v2 147M pts = params OK. Pipeline: 20 done stage04, **2 done stage05** (3→2 corrigé : GX039839 + GX049839).
-- **Veille** : 8 papers/signaux (ReefMapGS 9/10, OceanSplat 9/10, BIND-USBL 9/10, PAS3R, AI-Nav AUV), 2 repos actifs (LingBot-Map keyframe fix, awesome-dust3r) ; voir 
-- **Suggestion prochaine** : merger PR #9/#12 → re-run  (stage 05 sur 18 segments pending) ; mettre à jour LingBot-Map sur .84/.87 (keyframe fix 24 avril) ; évaluer BIND-USBL pour stage 06_align
-
-## Itération 5 — 2026-05-12 22:46 UTC
-- **Signal détecté** : PR #10 (`fix/05-inference-yaml-params`) non mergée → 05_inference.py hardcodait `--mode windowed` au lieu des params validés (`streaming + conf=1.5 + offload_to_cpu`). 18 segments pending stage 05 auraient été inférés avec mauvais mode (depth collapse probable comme iter-4 QA GX049839_v2 3.6cm bbox).
-- **Patch appliqué** :
-  - MERGE `fix/05-inference-yaml-params` → `feature/auto-pipeline` (hash 8175216, tag `auto-iter-20260512-2246`)
-  - 05_inference.py lit maintenant `thresholds.yaml[inference]` : mode=streaming, conf=1.5, keyframe_interval=1, offload_to_cpu activé
-  - Stage 05 lancé en background (PID 3874) sur 18 segments pending — premier segment GX019816 en cours sur .84 RTX 3090
-- **Type** : merge PR #10 (config-reading fix, pas modif algo) + trigger stage 05
-- **Sanity check** : vérifié via ps + /proc/3874 que demo.py tourne sur .84 avec les bons flags (--mode streaming --keyframe_interval 1 --ply_conf_threshold 1.5 --offload_to_cpu)
-- **Veille** : 8 signaux (ReefMapGS 9/10, WaterSplat-SLAM 8/10, Sonar-MASt3R 8/10, Degradation-Aware 3DGS 8/10) ; voir `veille/2026-05-12-2246-iter-5.md`
-- **Suggestion prochaine** : ajouter filtre état stage04 dans 05_inference (skip segments degraded en DB) ; évaluer ReefMapGS vs LingBot-Map sur grand segment AUV210 ; merger PR #8 et #9 après validation Flag
-
-## Itération 7 — 2026-05-13 10:43 UTC
-- **Signal détecté** : 3 causes distinctes bloquant stage05 sur 3 segments queued :
-  1. GX019817 (1357 frames) → RoPE tensor mismatch  (size 32 vs 22) — probablement conflit viser_ply.py stale sur .84
-  2. GX029818 (494 frames) → TimeoutExpired 7200s — était lancé quand .84 était chargé (viser×4 + 8128MB GPU utilisé)
-  3. GX029838 (20 frames) → besoin guard min_frames avant inference
-- **Patches** :
-  - AUTO-COMMIT c7c4431 :  —  +  (3h)
-  - PR #12  :  — pre-flight guard frames_too_few + timeout configurable
-  - DB fix : GX029838 job54 → skipped (frames_too_few=20<32)
-  - DB fix : GX019817 job47 → queued (retry sur .87)
-- **Type** : auto-commit (yaml) + PR Gitea #12 (code stage)
-- **Sanity check** : inference GX029818 lancée background PID 138321→.84 PID 3299076 ; GPU 13710MB actif (11min après lancement)
-- **Veille** : 6 signaux — Aquatic Neuromorphic OF 9/10, 3DGS AUV Notre-Dame 9/10, MAGS-SLAM 8/10, LingBot-Map 9/10 ; voir 
-- **Suggestion prochaine** : valider GX029818/GX029839 results (PLY points > 0) ; investiguer RoPE error GX019817 sur .87 ; évaluer si viser_ply.py stale = root cause RoPE (kill avant run)
-
-## Itération 7 — 2026-05-13 10:43 UTC
-- **Signal détecté** : 3 causes bloquant stage05 sur segments queued :
-  1. GX019817 (1357 frames) → RoPE tensor mismatch sur worker .84 (size 32 vs 22) — viser_ply.py stale en RAM
-  2. GX029818 (494 frames) → TimeoutExpired 7200s — .84 surchargé lors du run iter-6
-  3. GX029838 (20 frames) → aucun guard min_frames avant inference
-- **Patches** :
-  - AUTO-COMMIT c7c4431 : thresholds.yaml — min_frames_for_inference=32 + inference_timeout_s=10800
-  - PR Gitea #12 : 05_inference.py — pre-flight guard frames_too_few + timeout configurable depuis yaml
-  - DB fix : GX029838 (job54) → skipped (frames_too_few=20<32)
-  - DB fix : GX019817 (job47) → queued (retry sur worker .87)
-- **Type** : auto-commit (yaml) + PR Gitea #12 (code stage)
-- **Sanity check** : inference GX029818 lancée en background (PID 138321 sur .83, demo.py PID 3299076 sur .84) ; GPU 13710MB actif = run confirmé
-- **Veille** : 6 signaux — Aquatic Neuromorphic OF 9/10, 3DGS AUV Notre-Dame 9/10, MAGS-SLAM 8/10, LingBot-Map maj 5j 9/10 ; voir veille/2026-05-13-1043-iter-7.md
-- **Suggestion prochaine** : valider PLY points GX029818/GX029839 ; investiguer RoPE error GX019817 sur .87 ; merger PR #12 ; check si viser_ply.py stale = root cause RoPE

pipeline/run_pipeline.sh

@@ -42,6 +42,13 @@ echo "--- Stage 04: frame extract ---" | tee -a "${RUN_LOG_DIR}/run.log"
 python3 "${PIPELINE_DIR}/04_frame_extract.py" --mission "${MISSION}" \
     2>&1 | tee -a "${RUN_LOG_DIR}/stage04.log" "${RUN_LOG_DIR}/run.log"
 
+
+# Stage 04b: trim hors-eau head/tail (no-regression guard built into script)
+echo "" | tee -a "${RUN_LOG_DIR}/run.log"
+echo "--- Stage 04b: trim hors-eau head/tail ---" | tee -a "${RUN_LOG_DIR}/run.log"
+python3 "${PIPELINE_DIR}/04b_trim_water.py" --mission "${MISSION}" \
+    2>&1 | tee -a "${RUN_LOG_DIR}/stage04b.log" "${RUN_LOG_DIR}/run.log"
+
 # Stage 05: inference (sequential, one segment at a time)
 echo "" | tee -a "${RUN_LOG_DIR}/run.log"
 echo "--- Stage 05: inference ---" | tee -a "${RUN_LOG_DIR}/run.log"

pipeline/stages/04b_trim_water.py

@@ -289,6 +289,18 @@ def process_segment(mission_name: str, auv_id: str, segment: str,
     # Re-QC if not dry-run and something was trimmed (or always to keep metrics fresh)
     after_agg = None
     if not dry_run and (head > 0 or tail > 0):
+        # No-regression guard: compute expected post-trim pct before deleting frames
+        remaining_paths_check = sorted(frames_dir.glob("frame_*.jpg"))[head: len(before_paths) - tail if tail else None]
+        sampled_check = remaining_paths_check[::max(1, QC_SAMPLE_RATE)]
+        pf_check = [s for s in (score_image_file(f) for f in sampled_check) if s is not None]
+        if pf_check:
+            after_check = qc_aggregate(pf_check).get("bottom_visible_pct", 0)
+            before_pct = result.get("before_bottom_pct") or 0
+            if after_check < before_pct:
+                result["skipped"] = True
+                result["reason"] = f"no_regression_guard: {before_pct}%→{after_check}% (trim would worsen)"
+                print(f"  [04b] SKIP {auv_id}/{segment}: trim would worsen {before_pct}%→{after_check}%")
+                return result
         after_agg = qc_segment(frames_dir)
     elif dry_run:
         # In dry-run, don't touch qc.json; compute aggregate from remaining slice in-memory

pipeline/stages/05_inference.py

@@ -32,24 +32,11 @@ import sys
 import time
 from pathlib import Path
 
-import yaml
-
 sys.path.insert(0, str(Path(__file__).parent.parent))
 from orchestrator.db import init_db, get_conn, upsert_job, record_metric, now_iso
 
 PIPELINE_BASE = Path(os.environ.get("COSMA_PIPELINE_BASE", "/home/cosma/cosma-pipeline"))
 
-def _load_inference_cfg() -> dict:
-    """Load inference params from thresholds.yaml, with sane defaults."""
-    cfg_path = Path(__file__).parent.parent / "config" / "thresholds.yaml"
-    try:
-        data = yaml.safe_load(cfg_path.read_text())
-        return data.get("inference", {})
-    except Exception:
-        return {}
-
-_INF_CFG = _load_inference_cfg()
-
 WORKERS = {
     ".84": {
         "host": "192.168.0.84",
@@ -159,37 +146,19 @@ def run_inference(frames_dir: Path, worker_key: str, mission_name: str,
         return metrics
     print(f"  [05] rsync done")
 
-    # Step 2: build demo.py command -- params from thresholds.yaml[inference]
+    # Step 2: build demo.py command
     checkpoint = f"{w['ai_dir']}/checkpoints/lingbot-map/lingbot-map.pt"
-    inf_mode = _INF_CFG.get("mode", "streaming")
-    conf_thr = _INF_CFG.get("ply_conf_threshold", 1.5)
-    kf_interval = _INF_CFG.get("keyframe_interval", 1)
-    max_frames = _INF_CFG.get("max_frame_num", 1024)
-    if inf_mode == "windowed":
-        window_size = _INF_CFG.get("window_size", 64)
-        overlap_size = _INF_CFG.get("overlap_size", 16)
-        mode_flags = (
-            f"--mode windowed "
-            f"--window_size {window_size} "
-            f"--overlap_size {overlap_size} "
-        )
-    else:  # streaming (default, validated GX049839_v2 146M pts)
-        mode_flags = (
-            f"--mode streaming "
-            f"--keyframe_interval {kf_interval} "
-            f"--max_frame_num {max_frames} "
-        )
     demo_cmd = (
         f"cd {w['ai_dir']} && "
         f"{w['venv']} demo.py "
         f"--model_path {checkpoint} "
         f"--image_folder {worker_frames} "
-        f"{mode_flags}"
+        f"--mode windowed "
-        f"--ply_conf_threshold {conf_thr} "
+        f"--window_size 64 "
+        f"--overlap_size 16 "
         f"--save_ply {ply_remote} "
         f"--save_poses {npz_remote} "
-        f"--use_sdpa "
+        f"--use_sdpa " f"--offload_to_cpu " f"--ply_conf_threshold 1.5 "
-        f"--offload_to_cpu "
         f"2>&1"
     )
 

pipeline/veille/2026-05-12-0430-iter-2.md

@@ -1,23 +0,0 @@
-# Veille COSMA reconstruction — iter-2 — 2026-05-12 04:30 UTC
-
-## arxiv underwater 3D (7 derniers jours)
-- UW-3DGS: Underwater 3D Reconstruction, Physics-Aware Gaussian Splatting (arxiv 2508.06169)
-- Visual enhancement + 3D representation underwater: review (arxiv 2505.01869)
-
-## arxiv AUV SLAM / point cloud
-- VISO: Robust Underwater Visual-Inertial-Sonar SLAM (arxiv 2601.01144) — VIS+sonar, fort intérêt pour pipeline USBL
-- RUSSO: Underwater SLAM stéréo+sonar+IMU (arxiv 2503.01434)
-- VIMS: Visual-Inertial-Magnetic-Sonar SLAM (arxiv 2506.15126)
-
-## Repos GitHub actifs
-- naver/dust3r (7k★): actif, base pipeline lingbot-map
-- Junyi42/monst3r (ICLR 2025): géométrie vidéo dynamique
-- facebookresearch/vggt (CVPR 2025 Best Paper): reconstruction per-frame
-- CUT3R: Continuous 3D Perception, mise à jour mars 2026
-
-## HuggingFace
-- Video-Depth-Anything-Small: depth video temps-réel
-- StereoAdapter: adaptation profondeur stéréo sous-marine
-
-## Signal fort
-VISO (arxiv 2601.01144): pipeline USBL+caméra+IMU pour AUV, pourrait remplacer pure-camera pose estimation dans stage 06_align.

pipeline/veille/2026-05-12-1650-iter-4.md

@@ -1,26 +0,0 @@
-# Veille iter-4 — 2026-05-12 16:50 UTC
-
-## Top signaux (8-9/10)
-
-- **ReefMapGS** arxiv.org/abs/2604.11992 — SLAM+3DGS 700m AUV, COLMAP-free, directement applicable COSMA (9/10)
-- **OceanSplat** (2026) — 3D Gaussian Splatting milieu turbide + trinocular consistency (9/10)
-- **BIND-USBL** arxiv.org/abs/2604.11861 — fusion IMU+USBL hétérogène ASV-AUV, delayed fusion = pattern réutilisable stage 06_align (9/10)
-- **LingBot-Map update** (27 avril) — keyframe_interval fix + long-video demo — update recommandé (8/10)
-- **PAS3R** HuggingFace — Pose-Adaptive Streaming 3D, long video = streaming AUV (8/10)
-- **AI-Aided AUV Navigation** arxiv.org/abs/2605.04672 — fusion INS+DVL+cam deep learning (8/10)
-
-## Signaux modérés (7/10)
-
-- Aquatic Neuromorphic Optical Flow arxiv.org/abs/2605.07653 — event cam AUV turbide
-- WaterSplat-SLAM RAL 2026 — SLAM monoculaire sous-marin photoréaliste
-
-## Repos actifs
-
-- lingbot-map (keyframe fix avril), awesome-dust3r (ecosystem DUSt3R/VGGT/CUT3R)
-- Matisse Ifremer — datasets flotte française
-
-## Recommandations
-
-1. **BIND-USBL** : lire pour stage 06_align (pattern fusion USBL+IMU déjà dispo)
-2. **LingBot-Map update** : Already up to date. sur .84/.87 avant prochaine iter
-3. **ReefMapGS** : évaluer comme alternative stage 06_align si PR #9/#12 mergés

pipeline/veille/2026-05-12-2246-iter-5.md

@@ -1,26 +0,0 @@
-# Veille Iter-5 — 2026-05-12 22:46 UTC
-
-## Arxiv / Papers
-
-| # | Titre | Signal | Score |
-|---|-------|--------|-------|
-| 1 | ReefMapGS | SLAM multimodal + Gaussian Splatting pour grandes scènes sous-marines avec fermeture de boucle | 9/10 |
-| 2 | Sonar-MASt3R | Fusion optico-acoustique temps réel pour environnements turbides — intéressant pour milieu turbide AUV | 8/10 |
-| 3 | WaterSplat-SLAM | SLAM monoculaire photoréaliste underwater, moindre dépendance stéréo | 8/10 |
-| 4 | Spatiotemporal Degradation-Aware 3DGS | Reconstruction scènes sous-marines avec dégradation temporelle (particules, courant) | 8/10 |
-| 5 | BALTIC Benchmark | Benchmark 3D reconstruction air/underwater avec variations d'illumination, utile pour QC comparaison | 7/10 |
-| 6 | Lost at Sea (Notre Dame) | AUV utilisant 3DGS pour navigation autonome et reconnaissance environnement | 7/10 |
-
-## GitHub / HuggingFace
-
-| Repo | Signal |
-|------|--------|
-| LingBot-Map | Commits récents (4 jours) — à tracker pour keyframe fixes |
-| dust3r/mast3r | Actifs, pas de release majeure dernière semaine |
-| Pixal3D (SIGGRAPH 2026) | 3D pixel-alignée, potentiellement utile pour poses denses |
-
-## Recommandation prochaine iteration
-
-- **ReefMapGS** : évaluer pour remplacement LingBot-Map sur grands segments (15m+)
-- **Sonar-MASt3R** : pertinent si Kogger SBP intégré dans pipeline — stage 06 USBL+cam pourrait utiliser composante acoustique
-- **BALTIC Benchmark** : utiliser pour QC comparatif sur segments AUV210 (turbide)

pipeline/veille/2026-05-13-1043-iter-7.md

@@ -1,21 +0,0 @@
-# Veille iter-7 — 2026-05-13 10:43 UTC
-
-## Papers / Signaux (6 total)
-
-| # | Titre | Ref | Score | Pertinence COSMA |
-|---|-------|-----|-------|-----------------|
-| 1 | Aquatic Neuromorphic Optical Flow | arXiv 2605.07653 (5j) | 9/10 | Optique turbide robuste, temps-réel, léger → stage06_align |
-| 2 | MAGS-SLAM: Multi-Agent 3DGS SLAM | arXiv 2605.10760 (2j) | 8/10 | SLAM 3DGS multi-robot, cohérence photométrique → futur multi-AUV |
-| 3 | AI Platform AUV 3DGS (Notre-Dame) | engineering.nd.edu (5j) | 9/10 | 3DGS ellipsoïdes flous underwater, navigation AUV pré-chargée |
-| 4 | MV-DUSt3R+ | GitHub facebookresearch (7j) | 8/10 | DUSt3R v2 rapide (2s), baseline comparaison stage05 |
-| 5 | MonST3R | GitHub Junyi42 (ICLR 2025) | 7/10 | Géométrie robuste motion/occlusion → transition segments |
-| 6 | LingBot-Map | GitHub robbyant (5j) | 9/10 | Màj streaming, vérifier diff vs version .84/.87 installée |
-
-## Repos actifs (7j)
-- **lingbot-map** (robbyant) : dernière màj 5j — comparer avec version installée .84/.87
-- **dust3r / monst3r** : mises à jour README et poids — rien d'urgent
-
-## Recommandations prochaines
-1. Évaluer Aquatic Neuromorphic Optical Flow pour stage06_align (turbide)
-2. Benchmarker 3DGS (MAGS-SLAM ou Notre-Dame) sur 1 segment AUV210
-3. Mettre à jour lingbot-map .84/.87 si diff significatif