6 Commits

Author	SHA1	Message	Date
davide	ebd2a43f84	feat: integra pipeline PDF→Markdown a 9 stadi e test suite ... Porta da main la riscrittura completa di conversione/_pipeline/ (9 stadi PyMuPDF) e la suite tests/ senza modificare chunks/, step-8/, rag.py, ollama/, retrieve.py, config.py. requirements.txt: aggiunge PyMuPDF>=1.24.0 e pytest>=8.0, mantiene chromadb, rimuove opendataloader-pdf e pymupdf4llm. Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>	2026-05-11 14:46:16 +02:00
davide	e02e3496a3	chore(requirements): rimuovi commenti step-X obsoleti	2026-04-17 18:50:53 +02:00
davide	b7994100e7	feat(pdf-to-md): aggiungi pipeline automatica PDF → Markdown pulito ... Nuova cartella conversione/ con pipeline.py che sostituisce step-0+1+2+3+4 in un singolo comando senza operazioni manuali. Usa opendataloader-pdf (algoritmo XY-Cut++ per ordine di lettura). Trasformazioni strutturali: - accenti backtick da PDF LaTeX (es. `e→è, puo`→può) - rimozione dot-leader TOC e numerali romani pagina (i, ii, iii) - normalizzazione header a gerarchia uniforme h1/h2/h3 - conversione sezioni numerate e aforismi → header ### - rilevamento sezioni Esercizi → disabilita conversione numerazioni - watermark URL rimossi, header vuoti scartati	2026-04-16 15:27:53 +02:00
davide	a5f8b8d119	step-7: add check_env.py, README, update requirements ... - check_env.py: verifica ollama, embedding model, LLM model, chromadb - Rileva qualsiasi modello embedding/LLM installato (non lista fissa) - step-7/README.md: guida installazione/disinstallazione Ollama, modelli, chromadb - requirements.txt: aggiunge chromadb per step-8	2026-04-14 07:54:04 +02:00
davide	346e336f1a	step-2: add convert_pdf.py (pymupdf4llm, low-memory) ... Converts PDFs in sources/ to Markdown using pymupdf4llm (pure C, ~30-50 MB RAM, no ML models). Output: step-2/<stem>/raw.md + clean.md.	2026-04-13 10:01:03 +02:00
davide	42c38c30f7	project setup: gitignore, CLAUDE.md, requirements ... Aggiunge configurazione base del progetto: - .gitignore: esclude venv, sources, processed, chroma_db e report generati - CLAUDE.md: documenta l'uso obbligatorio del venv - requirements.txt: dipendenze dirette (pdfplumber per step 0-1)	2026-04-13 08:02:54 +02:00