docs/fix: aggiorna README e fix ingest per embedding robusto
README riscritto per rispecchiare la pipeline attuale: - rimossi riferimenti a Stage 1, md_optimizer, fix_chunks - pipeline semplificata: MinerU .md → chunker → ingest → rag - tabelle parametri aggiornate (SKIP_HEADINGS, SKIP_PRE_HEADING, MERGE_SHORT_PARAGRAPHS, EMBED_MAX_CHARS al posto dei vecchi) - struttura repo corretta ingest.py: strip tag HTML ed entità prima dell'embedding per evitare HTTP 500 da Ollama su chunk con tabelle HTML grezze; aggiunto EMBED_MAX_CHARS (default 6000) in config.py. Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
This commit is contained in:
@@ -32,6 +32,11 @@ NO_THINK = True
|
||||
# Se cambi questo, devi rieseguire ingest.py con --force.
|
||||
EMBED_MODEL = "nomic-embed-text"
|
||||
|
||||
# Caratteri massimi inviati al modello di embedding.
|
||||
# Il testo viene troncato SOLO per il vettore; il documento completo
|
||||
# rimane in ChromaDB. nomic-embed-text: 8192 token ≈ 6000 char sicuri.
|
||||
EMBED_MAX_CHARS: int = 6000
|
||||
|
||||
# ── Ollama ────────────────────────────────────────────────────────────────────
|
||||
|
||||
# URL del server Ollama (default: locale sulla porta 11434).
|
||||
|
||||
Reference in New Issue
Block a user