davide
295fb3faa6
refactor: separa config embedding in ingestion/config.py
...
- ingestion/config.py (nuovo): EMBED_MODEL, EMBED_MAX_CHARS, OLLAMA_URL
- config.py radice: rimossi EMBED_MODEL e EMBED_MAX_CHARS — resta solo la config RAG
- ingest.py: importa da ingestion.config
- rag.py, retrieve.py: importano EMBED_MODEL da ingestion.config
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com >
2026-06-09 09:14:58 +02:00
davide
2939d2f8ca
feat(rag): adatta pipeline allo schema chunks AST-based + ottimizza system prompt
...
config.py:
- EMBED_MODEL: qwen3-embedding:0.6b → bge-m3 (multilingua, migliore su testi accademici)
- SYSTEM_PROMPT: lingua esplicita, anti-allucinazione rafforzata, citazione strutturata
con percorso sezione, passaggi numerati per spiegazioni, fallback al plurale
ingestion/ingest.py:
- embed su content_for_embedding (prefisso header contestuale)
- store content_original in ChromaDB (testo pulito per retrieval)
- metadata aggiornati: header_path, chunk_index, content_type, flags, start/end_line
rag.py, retrieve.py:
- sostituisce sezione/titolo (schema vecchio) con header_path (schema AST)
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com >
2026-06-09 09:10:35 +02:00
davide
019a484854
chore: cambia modello embedding da nomic-embed-text a qwen3-embedding:0.6b
...
Migliore supporto multilingue e coerenza semantica con qwen3.5:4b.
Aggiornati config.py, README.md, ingestion/README.md, ollama/README.md.
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com >
2026-06-04 15:54:43 +02:00
davide
3445226584
chore: rimuove commento ridondante nell'header di config.py
...
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com >
2026-06-04 14:40:13 +02:00
davide
70eed10cb6
fix(config): system prompt più preciso e ancorato al contesto
...
Rimosso "interpreta liberamente" che incoraggiava allucinazioni.
Aggiunto vincolo esplicito "esclusivamente sul contesto fornito"
e istruzione a citare la sezione di riferimento.
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com >
2026-06-04 14:33:48 +02:00
davide
98a8eaa9fb
docs/fix: aggiorna README e fix ingest per embedding robusto
...
README riscritto per rispecchiare la pipeline attuale:
- rimossi riferimenti a Stage 1, md_optimizer, fix_chunks
- pipeline semplificata: MinerU .md → chunker → ingest → rag
- tabelle parametri aggiornate (SKIP_HEADINGS, SKIP_PRE_HEADING,
MERGE_SHORT_PARAGRAPHS, EMBED_MAX_CHARS al posto dei vecchi)
- struttura repo corretta
ingest.py: strip tag HTML ed entità prima dell'embedding per evitare
HTTP 500 da Ollama su chunk con tabelle HTML grezze; aggiunto
EMBED_MAX_CHARS (default 6000) in config.py.
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com >
2026-06-04 14:29:06 +02:00
davide
d947e04152
chore(config): tuning RAG — modello 4b, temperatura 0.2, chunk target 300
...
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com >
2026-05-12 10:37:39 +02:00
davide
fa15e06e35
fix: aggiorna path step-4/ → conversione/ e riferimenti step-X
...
- chunker.py: input da conversione/<stem>/ (era step-4/, non esistente)
- verify_chunks.py: messaggi errore aggiornati a conversione/
- config.py: commenti step-8 → ingest.py
2026-04-19 00:03:43 +02:00
davide
ce3823dc47
refactor: elimina step-7 e step-9, consolida script alla root
...
- step-9/: config.py, rag.py, retrieve.py → root;
test_ollama.py → ollama/
- step-7/: eliminata, già coperta da ollama/
- sys.path aggiornati in rag.py, retrieve.py, ingest.py,
check_env.py (step-7 e ollama)
- Riferimenti step-9/config.py → config.py in tutti i file
2026-04-17 18:50:36 +02:00
davide