docs: aggiunge notebook MinerU per Colab e configurazione rapida nel README

- Passo 1 ora presenta opzione Colab (mineru.ipynb) e installazione locale
- Notebook adattato per uso reale: variabile PDF_NAME, path dinamico, gestione pagine
- Nuova sezione "Configurazione rapida" con parametri chunking e RAG

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
This commit is contained in:
2026-05-28 15:48:08 +02:00
parent f76184340e
commit e88043baee
2 changed files with 392 additions and 4 deletions
+54 -4
View File
@@ -176,6 +176,32 @@ pip install -r requirements.txt
---
## Configurazione rapida
Prima di usare la pipeline verifica i parametri nei due file di configurazione:
**`chunks/config.py`** — parametri di chunking:
| Parametro | Default | Quando cambiarlo |
|-----------|---------|-----------------|
| `MAX_CHARS` | 1200 | Aumenta per chunk più lunghi (es. testi narrativi) |
| `MIN_CHARS` | 80 | Abbassa se hai molti titoli brevi |
| `FRONTMATTER_HEADINGS` | set italiano | Svuota (`set()`) per documenti non italiani |
| `OVERLAP_SENTENCES` | 1 | Aumenta a 2 se il retrieval perde contesto tra chunk |
**`config.py`** — parametri RAG:
| Parametro | Default | Quando cambiarlo |
|-----------|---------|-----------------|
| `OLLAMA_MODEL` | `qwen3.5:4b` | Sostituisci con il modello Ollama che vuoi usare |
| `EMBED_MODEL` | `nomic-embed-text` | Deve corrispondere al modello usato in ingestion |
| `TOP_K` | 6 | Aumenta per recuperare più contesto per domanda |
| `OLLAMA_URL` | `localhost:11434` | Cambia se Ollama gira su un altro host/porta |
> Se cambi `EMBED_MODEL` devi rieseguire l'ingestion con `--force`.
---
## Flusso completo
```
@@ -205,15 +231,39 @@ sources/<stem>/auto/
### Passo 1 — Converti il PDF con MinerU
Usa MinerU per convertire il PDF e posiziona la cartella di output in `sources/`:
Per questo step è necessario **MinerU** ([github.com/opendatalab/MinerU](https://github.com/opendatalab/MinerU)).
**Opzione A — Google Colab (consigliata, nessuna installazione locale)**
Usa il notebook incluso in questo repository:
```
mineru_demo.ipynb
```
Aprilo su Google Colab, carica il tuo PDF nella sessione e segui le celle in ordine. Al termine scarica la cartella `output/<stem>/` generata.
**Opzione B — Installazione locale**
```bash
pip install "mineru[all]"
mineru -p documento.pdf -o sources/<stem>/
```
Al termine, **copia la cartella completa** prodotta da MinerU dentro `sources/`. La struttura attesa è:
```
sources/
└── <stem>/
└── auto/
├── <stem>_content_list_v2.json
├── <stem>_model.json
── ...
├── <stem>.md
├── <stem>_content_list_v2.json ← richiesto
── <stem>_model.json ← raccomandato
├── <stem>_middle.json
├── <stem>_content_list.json
├── <stem>_layout.pdf
├── <stem>_span.pdf
└── images/
```
### Passo 2 — Chunking (Stage 1 + Stage 2)