davide ce4c3e5c87 refactor(chunks): rimuove Stage 1 e riscrive config per MD pulito ...

Eliminati md_optimizer.py e fix_chunks.py: la pipeline non parte più
da _content_list_v2.json ma da un .md già pulito in sources/.

config.py ridotto da 114 a 64 righe: rimossi tutti i parametri MinerU
(NOISE_TYPES, FRONTMATTER_HEADINGS, MODEL_SKIP_LABELS, ecc.) e aggiunti
i parametri effettivamente utili al chunking: SKIP_HEADINGS,
SKIP_PRE_HEADING, MERGE_SHORT_PARAGRAPHS, ATOMIC_TYPES, CONTEXT_DEPTH.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>

2026-06-04 14:18:44 +02:00

..

chunker.py

feat(chunks): pipeline unificata Stage 1+2 con md_optimizer

2026-05-20 16:07:40 +02:00

config.py

refactor(chunks): rimuove Stage 1 e riscrive config per MD pulito

2026-06-04 14:18:44 +02:00

verify_chunks.py

feat(verify): nuovi check, istogramma ASCII e sezioni per documento

2026-05-20 16:07:51 +02:00