README riscritto per rispecchiare la pipeline attuale:
- rimossi riferimenti a Stage 1, md_optimizer, fix_chunks
- pipeline semplificata: MinerU .md → chunker → ingest → rag
- tabelle parametri aggiornate (SKIP_HEADINGS, SKIP_PRE_HEADING,
MERGE_SHORT_PARAGRAPHS, EMBED_MAX_CHARS al posto dei vecchi)
- struttura repo corretta
ingest.py: strip tag HTML ed entità prima dell'embedding per evitare
HTTP 500 da Ollama su chunk con tabelle HTML grezze; aggiunto
EMBED_MAX_CHARS (default 6000) in config.py.
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
Aggiunge la possibilità di unire più documenti in una singola collection
ChromaDB, con chunk_id prefissati per stem e metadato source per filtrare.
- ingest.py: --stems doc1 doc2 --collection nome (nuovo), --stem (invariato)
- rag.py / retrieve.py: --collection, source nei chunk, verbose mostra [source]
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
- README.md: aggiunge step 7 (ingestion) con verifica ambiente,
comandi base e --force; aggiorna pipeline header e riferimenti
- ingestion/README.md: rinomina da "Step 8" a "Ingestion",
aggiorna riferimenti da step-6 a chunks/, aggiunge sezione
"Verifica ambiente", corregge comandi con .venv/bin/python
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
davide