docs: aggiunge notebook MinerU per Colab e configurazione rapida nel README
- Passo 1 ora presenta opzione Colab (mineru.ipynb) e installazione locale - Notebook adattato per uso reale: variabile PDF_NAME, path dinamico, gestione pagine - Nuova sezione "Configurazione rapida" con parametri chunking e RAG Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
This commit is contained in:
@@ -176,6 +176,32 @@ pip install -r requirements.txt
|
||||
|
||||
---
|
||||
|
||||
## Configurazione rapida
|
||||
|
||||
Prima di usare la pipeline verifica i parametri nei due file di configurazione:
|
||||
|
||||
**`chunks/config.py`** — parametri di chunking:
|
||||
|
||||
| Parametro | Default | Quando cambiarlo |
|
||||
|-----------|---------|-----------------|
|
||||
| `MAX_CHARS` | 1200 | Aumenta per chunk più lunghi (es. testi narrativi) |
|
||||
| `MIN_CHARS` | 80 | Abbassa se hai molti titoli brevi |
|
||||
| `FRONTMATTER_HEADINGS` | set italiano | Svuota (`set()`) per documenti non italiani |
|
||||
| `OVERLAP_SENTENCES` | 1 | Aumenta a 2 se il retrieval perde contesto tra chunk |
|
||||
|
||||
**`config.py`** — parametri RAG:
|
||||
|
||||
| Parametro | Default | Quando cambiarlo |
|
||||
|-----------|---------|-----------------|
|
||||
| `OLLAMA_MODEL` | `qwen3.5:4b` | Sostituisci con il modello Ollama che vuoi usare |
|
||||
| `EMBED_MODEL` | `nomic-embed-text` | Deve corrispondere al modello usato in ingestion |
|
||||
| `TOP_K` | 6 | Aumenta per recuperare più contesto per domanda |
|
||||
| `OLLAMA_URL` | `localhost:11434` | Cambia se Ollama gira su un altro host/porta |
|
||||
|
||||
> Se cambi `EMBED_MODEL` devi rieseguire l'ingestion con `--force`.
|
||||
|
||||
---
|
||||
|
||||
## Flusso completo
|
||||
|
||||
```
|
||||
@@ -205,15 +231,39 @@ sources/<stem>/auto/
|
||||
|
||||
### Passo 1 — Converti il PDF con MinerU
|
||||
|
||||
Usa MinerU per convertire il PDF e posiziona la cartella di output in `sources/`:
|
||||
Per questo step è necessario **MinerU** ([github.com/opendatalab/MinerU](https://github.com/opendatalab/MinerU)).
|
||||
|
||||
**Opzione A — Google Colab (consigliata, nessuna installazione locale)**
|
||||
|
||||
Usa il notebook incluso in questo repository:
|
||||
|
||||
```
|
||||
mineru_demo.ipynb
|
||||
```
|
||||
|
||||
Aprilo su Google Colab, carica il tuo PDF nella sessione e segui le celle in ordine. Al termine scarica la cartella `output/<stem>/` generata.
|
||||
|
||||
**Opzione B — Installazione locale**
|
||||
|
||||
```bash
|
||||
pip install "mineru[all]"
|
||||
mineru -p documento.pdf -o sources/<stem>/
|
||||
```
|
||||
|
||||
Al termine, **copia la cartella completa** prodotta da MinerU dentro `sources/`. La struttura attesa è:
|
||||
|
||||
```
|
||||
sources/
|
||||
└── <stem>/
|
||||
└── auto/
|
||||
├── <stem>_content_list_v2.json
|
||||
├── <stem>_model.json
|
||||
└── ...
|
||||
├── <stem>.md
|
||||
├── <stem>_content_list_v2.json ← richiesto
|
||||
├── <stem>_model.json ← raccomandato
|
||||
├── <stem>_middle.json
|
||||
├── <stem>_content_list.json
|
||||
├── <stem>_layout.pdf
|
||||
├── <stem>_span.pdf
|
||||
└── images/
|
||||
```
|
||||
|
||||
### Passo 2 — Chunking (Stage 1 + Stage 2)
|
||||
|
||||
Reference in New Issue
Block a user