cosma-qc

floppyrj45/cosma-qc

Fork 0

Commit Graph

Author	SHA1	Message	Date
Poulpe	192550b60b	ingest+dispatcher — support acquisition depuis remote host via SSH - ingest.py : --remote-host <alias> pour scanner/exiftool via SSH, stocke les chemins avec préfixe "alias:" pour que le worker sache puller direct - dispatcher.py : scp_to_worker détecte "host:path" et fait pull remote (worker → source host) au lieu du double hop via dispatcher - _path_basename gère les paths préfixés pour ffmpeg Permet d'ingester les vidéos depuis n'importe quelle machine accessible en SSH sans passer 145GB par le conteneur FastAPI.	2026-04-21 13:31:40 +00:00
Poulpe	69eb547463	dispatcher+ingest — fixes pour test end-to-end réel - dispatcher: scp du MP4 source vers le worker avant ffmpeg (les chemins .82 ne sont pas accessibles côté .87) - dispatcher: wrapper shell autour de demo.py pour killer viser dès que le PLY est écrit (setsid + pkill -f frames_dir) - dispatcher: PLY_ok fallback — accepte rc!=0 si le PLY existe et a une taille > 0 - dispatcher: fallback frame_count abaissé à 150 pour l'estimation VRAM - ingest: strip du suffixe timezone (+00:00) des timestamps exiftool QuickTimeUTC=1 Testé bout-en-bout sur GX010001.MP4 (70 frames, 10.6M pts PLY, VRAM peak 9.4 GB, kill viser OK).	2026-04-21 12:49:09 +00:00
Silver Surfer	b7d957c806	scaffold — FastAPI + SQLite + HTMX dashboard, ingest + dispatcher - app/main.py : dashboard /, partials /partials/{jobs,monitor} (htmx polling) - app/templates/ : index, jobs table, monitor card par worker - app/static/style.css : thème sombre cohérent - scripts/ingest.py : scan SSD d'acquisition, EXIF CreateDate → segments continus par (AUV, GoPro serial) avec seuil configurable - scripts/dispatcher.py : polling queue, pick worker selon VRAM free, extraction ffmpeg + lingbot-map windowed --offload_to_cpu, progression DB - DB : SQLite (acquisitions + jobs), lifecycle queued→extracting→running→done - Workers par défaut : .87 (3060 12GB) + .84 (3090 24GB) Contexte : QC terrain le jour-même (avant photogrammétrie à 30 jours), plusieurs heures × 2 GoPros × 2-3 AUVs d'enregistrement à traiter en parallèle. Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>	2026-04-21 09:52:41 +00:00

Author

SHA1

Message

Date

Poulpe

192550b60b

ingest+dispatcher — support acquisition depuis remote host via SSH

- ingest.py : --remote-host <alias> pour scanner/exiftool via SSH, stocke
  les chemins avec préfixe "alias:" pour que le worker sache puller direct
- dispatcher.py : scp_to_worker détecte "host:path" et fait pull remote
  (worker → source host) au lieu du double hop via dispatcher
- _path_basename gère les paths préfixés pour ffmpeg

Permet d'ingester les vidéos depuis n'importe quelle machine accessible
en SSH sans passer 145GB par le conteneur FastAPI.

2026-04-21 13:31:40 +00:00

Poulpe

69eb547463

dispatcher+ingest — fixes pour test end-to-end réel

- dispatcher: scp du MP4 source vers le worker avant ffmpeg (les chemins .82 ne sont pas accessibles côté .87)
- dispatcher: wrapper shell autour de demo.py pour killer viser dès que le PLY est écrit (setsid + pkill -f frames_dir)
- dispatcher: PLY_ok fallback — accepte rc!=0 si le PLY existe et a une taille > 0
- dispatcher: fallback frame_count abaissé à 150 pour l'estimation VRAM
- ingest: strip du suffixe timezone (+00:00) des timestamps exiftool QuickTimeUTC=1

Testé bout-en-bout sur GX010001.MP4 (70 frames, 10.6M pts PLY, VRAM peak 9.4 GB, kill viser OK).

2026-04-21 12:49:09 +00:00

Silver Surfer

b7d957c806

scaffold — FastAPI + SQLite + HTMX dashboard, ingest + dispatcher

- app/main.py : dashboard /, partials /partials/{jobs,monitor} (htmx polling)
- app/templates/ : index, jobs table, monitor card par worker
- app/static/style.css : thème sombre cohérent
- scripts/ingest.py : scan SSD d'acquisition, EXIF CreateDate → segments
  continus par (AUV, GoPro serial) avec seuil configurable
- scripts/dispatcher.py : polling queue, pick worker selon VRAM free,
  extraction ffmpeg + lingbot-map windowed --offload_to_cpu, progression DB
- DB : SQLite (acquisitions + jobs), lifecycle queued→extracting→running→done
- Workers par défaut : .87 (3060 12GB) + .84 (3090 24GB)

Contexte : QC terrain le jour-même (avant photogrammétrie à 30 jours),
plusieurs heures × 2 GoPros × 2-3 AUVs d'enregistrement à traiter en parallèle.

Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>

2026-04-21 09:52:41 +00:00

3 Commits