davide/rag-from-scratch
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
98 Commits 1 Branch 0 Tags
2939d2f8ca8d556e09f8f4b5fea99c86405f904a
Commit Graph

8 Commits

Author SHA1 Message Date
davide 2939d2f8ca feat(rag): adatta pipeline allo schema chunks AST-based + ottimizza system prompt 
config.py:
- EMBED_MODEL: qwen3-embedding:0.6b → bge-m3 (multilingua, migliore su testi accademici)
- SYSTEM_PROMPT: lingua esplicita, anti-allucinazione rafforzata, citazione strutturata
  con percorso sezione, passaggi numerati per spiegazioni, fallback al plurale

ingestion/ingest.py:
- embed su content_for_embedding (prefisso header contestuale)
- store content_original in ChromaDB (testo pulito per retrieval)
- metadata aggiornati: header_path, chunk_index, content_type, flags, start/end_line

rag.py, retrieve.py:
- sostituisce sezione/titolo (schema vecchio) con header_path (schema AST)

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-06-09 09:10:35 +02:00
davide 019a484854 chore: cambia modello embedding da nomic-embed-text a qwen3-embedding:0.6b 
Migliore supporto multilingue e coerenza semantica con qwen3.5:4b.
Aggiornati config.py, README.md, ingestion/README.md, ollama/README.md.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-06-04 15:54:43 +02:00
davide 3445226584 chore: rimuove commento ridondante nell'header di config.py 
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-06-04 14:40:13 +02:00
davide 70eed10cb6 fix(config): system prompt più preciso e ancorato al contesto 
Rimosso "interpreta liberamente" che incoraggiava allucinazioni.
Aggiunto vincolo esplicito "esclusivamente sul contesto fornito"
e istruzione a citare la sezione di riferimento.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-06-04 14:33:48 +02:00
davide 98a8eaa9fb docs/fix: aggiorna README e fix ingest per embedding robusto 
README riscritto per rispecchiare la pipeline attuale:
- rimossi riferimenti a Stage 1, md_optimizer, fix_chunks
- pipeline semplificata: MinerU .md → chunker → ingest → rag
- tabelle parametri aggiornate (SKIP_HEADINGS, SKIP_PRE_HEADING,
  MERGE_SHORT_PARAGRAPHS, EMBED_MAX_CHARS al posto dei vecchi)
- struttura repo corretta

ingest.py: strip tag HTML ed entità prima dell'embedding per evitare
HTTP 500 da Ollama su chunk con tabelle HTML grezze; aggiunto
EMBED_MAX_CHARS (default 6000) in config.py.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-06-04 14:29:06 +02:00
davide d947e04152 chore(config): tuning RAG — modello 4b, temperatura 0.2, chunk target 300 
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-05-12 10:37:39 +02:00
davide fa15e06e35 fix: aggiorna path step-4/ → conversione/ e riferimenti step-X 
- chunker.py: input da conversione/<stem>/ (era step-4/, non esistente)
- verify_chunks.py: messaggi errore aggiornati a conversione/
- config.py: commenti step-8 → ingest.py
 2026-04-19 00:03:43 +02:00
davide ce3823dc47 refactor: elimina step-7 e step-9, consolida script alla root 
- step-9/: config.py, rag.py, retrieve.py → root;
  test_ollama.py → ollama/
- step-7/: eliminata, già coperta da ollama/
- sys.path aggiornati in rag.py, retrieve.py, ingest.py,
  check_env.py (step-7 e ollama)
- Riferimenti step-9/config.py → config.py in tutti i file
 2026-04-17 18:50:36 +02:00