docs: aggiorna README con flusso ingestion completo
- README.md: aggiunge step 7 (ingestion) con verifica ambiente, comandi base e --force; aggiorna pipeline header e riferimenti - ingestion/README.md: rinomina da "Step 8" a "Ingestion", aggiorna riferimenti da step-6 a chunks/, aggiunge sezione "Verifica ambiente", corregge comandi con .venv/bin/python Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
This commit is contained in:
@@ -3,7 +3,7 @@
|
||||
Converte PDF digitali in chunk semantici pronti per la vettorizzazione RAG,
|
||||
senza LLM né OCR.
|
||||
|
||||
**Pipeline:** PDF → Markdown strutturato → chunk semantici
|
||||
**Pipeline:** PDF → Markdown strutturato → chunk semantici → embedding ChromaDB
|
||||
**Stack:** Python · PyMuPDF · pdfplumber
|
||||
**Non supportati:** PDF scansionati (solo immagini), PDF protetti da password.
|
||||
|
||||
@@ -105,6 +105,29 @@ Il fix gestisce automaticamente: chunk incompleti (frase spezzata), chunk
|
||||
troppo corti (accorpa al successivo), chunk eccessivamente lunghi (spezza
|
||||
su punteggiatura). Ogni chunk termina sempre su un confine di frase.
|
||||
|
||||
### 7. Esegui l'ingestion
|
||||
|
||||
Prima verifica che Ollama e i modelli siano pronti:
|
||||
|
||||
```bash
|
||||
.venv/bin/python ollama/check_env.py
|
||||
```
|
||||
|
||||
Poi genera gli embedding e salva in ChromaDB:
|
||||
|
||||
```bash
|
||||
# Singolo documento
|
||||
.venv/bin/python ingestion/ingest.py --stem <nome>
|
||||
|
||||
# Tutti i documenti in chunks/
|
||||
.venv/bin/python ingestion/ingest.py
|
||||
|
||||
# Rigenera dopo aver cambiato modello o aggiornato i chunk
|
||||
.venv/bin/python ingestion/ingest.py --stem <nome> --force
|
||||
```
|
||||
|
||||
Output in `chroma_db/<nome>/` (ignorata da git).
|
||||
|
||||
---
|
||||
|
||||
## Configurazione del chunking
|
||||
@@ -135,3 +158,4 @@ Modificare solo questo file — chunker, verify e fix si aggiornano automaticame
|
||||
## Riferimenti
|
||||
|
||||
- [`conversione/README.md`](conversione/README.md) — dettagli sulla pipeline PDF→Markdown e sui tipi di documento supportati
|
||||
- [`ingestion/README.md`](ingestion/README.md) — configurazione embedding, scelta modello, regole --force
|
||||
|
||||
Reference in New Issue
Block a user