davide/rag-from-scratch
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
106 Commits 1 Branch 0 Tags
9261e480da46db958b53694b262515b1f3b13df1
Commit Graph

10 Commits

Author SHA1 Message Date
davide ba8035887c chore: rimuove emoji da codice e output terminale 
Sostituisce tutti i simboli grafici con testo:
- checkmark/cross -> OK / ERRORE: / AVVISO:
- icone tema GUI -> testo Chiaro / Scuro

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-06-09 09:57:24 +02:00
davide 295fb3faa6 refactor: separa config embedding in ingestion/config.py 
- ingestion/config.py (nuovo): EMBED_MODEL, EMBED_MAX_CHARS, OLLAMA_URL
- config.py radice: rimossi EMBED_MODEL e EMBED_MAX_CHARS — resta solo la config RAG
- ingest.py: importa da ingestion.config
- rag.py, retrieve.py: importano EMBED_MODEL da ingestion.config

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-06-09 09:14:58 +02:00
davide 2939d2f8ca feat(rag): adatta pipeline allo schema chunks AST-based + ottimizza system prompt 
config.py:
- EMBED_MODEL: qwen3-embedding:0.6b → bge-m3 (multilingua, migliore su testi accademici)
- SYSTEM_PROMPT: lingua esplicita, anti-allucinazione rafforzata, citazione strutturata
  con percorso sezione, passaggi numerati per spiegazioni, fallback al plurale

ingestion/ingest.py:
- embed su content_for_embedding (prefisso header contestuale)
- store content_original in ChromaDB (testo pulito per retrieval)
- metadata aggiornati: header_path, chunk_index, content_type, flags, start/end_line

rag.py, retrieve.py:
- sostituisce sezione/titolo (schema vecchio) con header_path (schema AST)

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-06-09 09:10:35 +02:00
davide 019a484854 chore: cambia modello embedding da nomic-embed-text a qwen3-embedding:0.6b 
Migliore supporto multilingue e coerenza semantica con qwen3.5:4b.
Aggiornati config.py, README.md, ingestion/README.md, ollama/README.md.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-06-04 15:54:43 +02:00
davide 450c6d5784 docs: aggiorna CLAUDE.md e README secondari per rispecchiare architettura attuale 
Rimuove riferimenti a Stage 1/Stage 2, md_optimizer.py, fix_chunks.py,
--skip-optimize, _clean.md e _content_list_v2.json (tutti obsoleti).
Aggiorna pipeline diagram, comandi, tabella architettura e input MinerU.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-06-04 14:39:12 +02:00
davide 98a8eaa9fb docs/fix: aggiorna README e fix ingest per embedding robusto 
README riscritto per rispecchiare la pipeline attuale:
- rimossi riferimenti a Stage 1, md_optimizer, fix_chunks
- pipeline semplificata: MinerU .md → chunker → ingest → rag
- tabelle parametri aggiornate (SKIP_HEADINGS, SKIP_PRE_HEADING,
  MERGE_SHORT_PARAGRAPHS, EMBED_MAX_CHARS al posto dei vecchi)
- struttura repo corretta

ingest.py: strip tag HTML ed entità prima dell'embedding per evitare
HTTP 500 da Ollama su chunk con tabelle HTML grezze; aggiunto
EMBED_MAX_CHARS (default 6000) in config.py.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-06-04 14:29:06 +02:00
davide 606fad9e09 feat(ingestion): supporto multi-documento in unica collection ChromaDB 
Aggiunge la possibilità di unire più documenti in una singola collection
ChromaDB, con chunk_id prefissati per stem e metadato source per filtrare.

- ingest.py: --stems doc1 doc2 --collection nome (nuovo), --stem (invariato)
- rag.py / retrieve.py: --collection, source nei chunk, verbose mostra [source]

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-05-12 11:21:17 +02:00
davide 8831e3c047 fix(ingestion): correggi path chunks da step-6/ a chunks/ 
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-05-12 10:37:35 +02:00
davide e3e259965e docs: aggiorna README con flusso ingestion completo 
- README.md: aggiunge step 7 (ingestion) con verifica ambiente,
  comandi base e --force; aggiorna pipeline header e riferimenti
- ingestion/README.md: rinomina da "Step 8" a "Ingestion",
  aggiorna riferimenti da step-6 a chunks/, aggiunge sezione
  "Verifica ambiente", corregge comandi con .venv/bin/python

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-05-11 16:05:23 +02:00
davide 2c180fc9b6 refactor: rinomina step-8 → ingestion 
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-05-11 15:58:54 +02:00