Multimedia Information Retrieval: quando le parole non bastano

de bibliotheca

Intervista a Roberto Raieli di Lucia Antonelli

Un caldo pomeriggio primaverile romano, una prestigiosa Biblioteca (quella del Reale Istituto Neerlandese), un gruppo di bibliotecari curiosi e un po’ geek: questi gli ingredienti di un incontro organizzato dall’AIB Lazio e dedicato al libro di Roberto Raieli Multimedia Information Retrieval: theory and techniques (Chandos, 2013). Alla presentazione del libro, coordinata da Giovanni Solimine e arricchita dagli interventi di Maria Teresa Biagetti e Luisa Marquardt, era presente anche l’autore, al quale abbiamo rivolto alcune domande per chiarire, per chi non è stato presente, alcuni concetti base relativi ai sistemi e ai linguaggi del MIR.

L’Information Retrieval (IR) è da tempo pane quotidiano per i bibliotecari, ma il Multimedia Information Retrieval (MIR) forse no. Cos’è esattamente e quali sono le differenze tra IR e MIR?

Dovrei rispondere «la ringrazio per la domanda», e prendere tempo, perché proprio la differenza e la rivoluzionarietà del MIR rispetto all’IR rappresentano la sua necessità di esistenza e la problematica che ne scaturisce, e sono contemporaneamente ragioni di successo e rischi di fallimento dell’intera proposta (teorica e pratica). Proverò, in breve, a tracciare queste differenze, con il supporto di un paio di schemi che possono essere riportati in mezzo al discorso. Prendiamo l’esempio dell’attuale pratica di ricerca dei documenti multimediali, che indico sempre come premessa a ogni discorso sul MIR. Se qualcuno effettua una ricerca in database di documenti visivi o sonori utilizzando stringhe testuali, senza considerare il differente ‘linguaggio’ dei documenti, tale metodo è considerato appropriato. Se all’opposto si tentasse di interrogare un database di documenti testuali utilizzando mezzi non testuali, visivi per esempio, la stessa confusione di linguaggi precedente sarebbe in questo caso considerata un tentativo impossibile (e anche illogico). Se non è possibile, però, ricercare e recuperare un documento scritto tramite mezzi di linguaggio visivi o sonori, allo stesso modo non si dovrebbe continuare a ritenere, con pochi dubbi, un metodo efficace recuperare documenti consistenti in suoni o figure attraverso l’uso di testi descrittivi. Piuttosto, dovrebbe apparire dispersivo cercare una fotografia di paesaggio, che rappresenti un tramonto con certe tinte, tramite una complicata descrizione a parole delle tonalità di colore desiderate, anziché sottoporre a un apposito sistema di ricerca un campione delle tinte stesse. Secondo il nuovo punto di vista che sostanzia il MIR, accordato alle nuove caratteristiche della comunicazione multimediale, della società e delle tecnologie, i limiti del continuare a operare nella logica e nei termini di un ‘generico’ IR dovrebbero apparire evidenti. Nella pratica tradizionale dell’IR ogni tipo di ricerca di documenti è riportata alle condizioni di una query attraverso il linguaggio testuale, ma adesso è necessario definire criteri più ampi, come quelli del MIR. Nel nuovo sistema, ogni tipologia di risorsa digitale può essere trattata e ricercata attraverso elementi di linguaggio, o ‘meta linguaggio’, coerenti con la sua natura propria. Così, schematizziamo il criterio dell’IR:

 

IR

Sistema di Information Retrievalterm-based, basato su informazioni terminologiche (tratte da schemi di classificazione, di soggettazione, da tesauri, dal linguaggio naturale, dal testo pieno) per il trattamento e la ricerca di documenti testuali, e abitualmente anche di documenti multimediali.

Subito dopo possiamo schematizzare il senso del MIR:

MIR

Sistema di Multimedia Information Retrievalcontent-based, in cui le modalità content-based ricomprendono naturalmente anche quelle term-based (poiché l’operare sul contenuto non muta se questo è testuale, visivo, sonoro o altro), che si organizza in:

TR

sistemi di Text Retrieval, nei quali il principio stesso del trattamento content-based legittima e garantisce l’utilizzo di dati testuali per la ricerca di informazione testuale (parole tratte dal testo pieno, nomi, titoli, date, frasi libere eccetera);

VR

sistemi di Visual Retrieval, in cui i file di immagini fisse sono trattati e ricercati tramite dati visivi propri dei file stessi (colori, linee, contorni, strutture, forme, distribuzioni spaziali eccetera);

VDR

sistemi di Video Retrieval, dove per il trattamento di documenti audiovisivi si utilizza il linguaggio audiovisivo (immagini del filmato, movimenti degli oggetti nelle inquadrature, variazioni delle figurazioni, attacchi di montaggio, tracce sonore eccetera);

AR

sistemi di Audio Retrieval, nei quali l’informazione sonora è ricercata in misure di suoni (tempi, frequenze, altezze, ritmi, timbri eccetera).

Il sistema del MIR, insieme ‘organico’ dei sistemi di VR, VDR e AR, è strutturato sui principi di una metodologia di analisi e ricerca basata sul ‘contenuto’ dei documenti, definita Content Based Information Retrieval (CBIR). Nella logica del CBIR i sistemi di analisi e ricerca sono definiti content-based, e sono fondati su chiavi di archiviazione e recupero della stessa natura del contenuto concreto degli oggetti cui si applicano. Il sistema dell’IR può essere, invece, definito term-based, con una definizione che emerge a posteriori dalle nuove concezioni del CBIR, e che sottolinea il problema che nell’IR l’uso del linguaggio testuale e del sistema terminologico appaiono l’unica e naturale metodologia per il trattamento dei documenti e dell’informazione. Tutto ciò non vuol dire, ovviamente, il rifiuto dell’interpretazione concettuale e della rappresentazione ‘semantica’ del contenuto dei documenti e dei documenti stessi. Considerando i limiti semantici dei sistemi basati sul contenuto concreto, è necessario un appropriato intervento concettuale nell’organizzazione e nella ricerca dei documenti, per definire i significati ‘dietro’ l’aspetto di un oggetto multimediale, per approfondire le strategie di ricerca e per aumentare le possibilità di recupero. È necessario, quindi, definire un ulteriore approccio organico, integrando le vie d’accesso contenutistiche e quelle semantiche per l’individuazione del documento desiderato.

Il MIR può apparire come prerogativa di ingegneri e matematici, in realtà anche i bibliotecari hanno da dire la loro, in che modo e con quale ruolo?

Se non mi fossi già dilungato sulla prima domanda, volentieri mi dilungherei su quest’altra determinata questione. In breve, posso dire che se la sperimentazione e l’uso delle tecnologie di MIR sono ben sviluppate negli ambiti dell’informatica, dell’intelligenza artificiale, della computer vision e dell’audio processing, l’interesse per la rivoluzione metodologica e operativa del sistema, insieme alla riflessione teorica, sono ancora da introdurre tra bibliotecari, archivisti, operatori dei musei e documentalisti in genere. La LIS ha ancora l’opportunità di accogliere e sviluppare il MIR, indirizzandolo con i propri orientamenti specifici, mentre database e interfacce sono ancora in fase di costituzione. Solo la LIS e la Documentazione possono risolvere le questioni collegate al MIR secondo le necessità dell’odierna società della conoscenza, interpretando opportunamente i problemi di descrizione, classificazione, indicizzazione e ricerca delle risorse dell’informazione nei nuovi sistemi. Si tratta di attuare una vera e propria advocacy delle ragioni del MIR. La ricerca sul CBIR nell’ambito della Documentazione e della LIS è ancora stentata, e poco è stato raggiunto, soprattutto se confrontato agli studi sull’IR. La LIS deve portare la dimensione ‘umanistica’ negli studi sul MIR, concentrandosi sugli utenti, le loro categorie mentali, le strategie di ricerca, le necessità, le illusioni e disillusioni, e la possibilità di interagire proficuamente con il sistema di ricerca. L’intero corpo di conoscenze e pratiche appartenente alle nostre discipline, sviluppato nei secoli, ha e deve continuare ad avere un ruolo specifico nell’insieme multidisciplinare che è la base della ricerca sul MIR. Solo partendo da questo punto di vista, e ‘disseminando’ la logica del MIR, possiamo sviluppare gli studi sul MIR stesso. Tutt’oggi la questione principale è quella di un’ambiziosa, coraggiosa e ‘utopica’ sperimentazione, da sviluppare in biblioteche, archivi, musei, gallerie, centri di documentazione di ogni tipo, per raggiungere finalmente enti e istituti dove il sistema possa avere un buon ritorno e un progressivo successo, in termini di interesse per gli utenti e per i professionisti dell’informazione.

Diciamo pure che in Italia sull’argomento sei un pioniere. Raccontaci come ti sei avvicinato e come ti sei appassionato al MIR e se le tue ricerche sull’argomento trovano applicazione anche nel lavoro quotidiano che svolgi come bibliotecario presso l’Università Roma Tre.

Il MIR è un argomento che comincia a essere sviluppato negli anni Novanta del secolo scorso. Per precisione, devo dire che i primi studi su un nuovo sistema di ricerca di documenti digitali partono dall’ambito della computer vision, e dai fondamenti del VR. Io ho avvicinato questi studi partendo, appunto, dal VR, nel 1999 circa, progettando la tesi di diploma presso la ex SSAB. Ho avuto la fortuna di incontrare, durante un viaggio di studio in Inghilterra, Peter Enser, un vero precursore del VR, e soprattutto vero trait d’union tra gli studi ingegneristici e quelli di LIS. La ricchezza dei suoi scritti mi ha dato molti elementi di partenza, e anche la possibilità di disegnare la teoria più generale del MIR, rispetto a quella ‘parziale’ del VR. Già nel 2004 è stato possibile curare un libro, con Perla Innocenti, intitolato MultiMedia Information Retrieval (pubblicato da AIDA), che faceva il punto sullo stato dell’arte a livello internazionale, e nel 2005, grazie al Sistema bibliotecario dell’Università Roma Tre, all’allora Caspur e ad AIB Lazio, ho potuto curare un secondo libro che faceva il punto sulla situazione italiana e che rilanciava l’argomento. Nel frattempo il MIR diventava un concetto diffuso a livello internazionale, con lo svilupparsi degli altri due ‘organi’, il VDR e l’AR. Ho avuto la possibilità di sviluppare il progetto di dottorato di ricerca sulla teoria e la pratica del MIR, e di seguito la possibilità di pubblicare un intero saggio in proposito con Editrice Bibliografica. Il libro presentato presso la biblioteca del KNIR è l’edizione inglese rivista, ristrutturata e parzialmente aggiornata di questo lavoro concluso nel 2010. Infine, nel 2012, il MIR ha avuto la sua consacrazione come argomento specifico, con la nascita dell’International journal of Multimedia Information Retrieval, che ha anche ufficializzato l’acronimo MIR, rispetto ad altri più confusi (e a quello da me fino allora proposto MMIR). Riguardo la mia applicazione non teorica al MIR, a dire il vero nel 2004-2005 è stato definito un progetto, rimasto su carta, di applicazione alle collezioni multimediali della Biblioteca di area delle arti dell’Università Roma Tre, ma per ragioni economiche e organizzative non è stato possibile procedere.

In Italia com’è la situazione attuale degli studi e delle applicazioni del MIR, anche rispetto al panorama internazionale?

In Italia, come ovunque nel mondo, le applicazioni sono molto specifiche, basate su progetti tagliati solo per l’uso voluto, e di orientamento principalmente ‘tecnico’. Gli studi non mancano (tesi, dottorati, corsi), ma restano all’interno dei dipartimenti di ingegneria, o di informatica. Non mancano alcune sperimentazioni di più ampio respiro, progetti multi-purpose, tesi a creare modelli per diversi tipi di utilizzo, ma spesso restano esperimenti. Un’essenziale indicazione di alcuni sistemi ‘nostrani’ non può non citare: il sistema MILOS (Multimedia Digital Library for On-line Search), dell’ISTI-CNR di Pisa; il sistema QuickLook, messo a punto dai ricercatori del DISCo dell’Università di Milano-Bicocca e dell’ITC-CNR di Milano; il progetto AESS (Archivio di Etnografia e Storia Sociale), realizzato dallo stesso gruppo di ricerca di QuickLook per l’archivio etnografico multimediale della Regione Lombardia. Si tratta dei progetti più storici, ma anche in continuo sviluppo e, soprattutto, in grado di coinvolgere l’interesse di bibliotecari, documentalisti e altri specialisti dell’informazione.

Rispetto agli sviluppi futuri del MIR nel nostro paese, pensi che ci siano buone speranze per finanziare progetti specifici?

Serve prima di tutto trovare una buona ragione per attirare finanziamenti. Lo sviluppo di un sistema che offre altre possibilità di ricerca, che semplifica e amplifica le possibilità di accesso ai documenti multimediali, pare non essere una ragione abbastanza buona. È vero che, spesso, c’è troppa teoria in un progetto di questo genere, e possono sfuggire le basi per la realizzazione concreta. A questo si può porre rimedio solo con la costituzione di gruppi di progettazione fatti da professionisti dell’informazione, ingegneri e informatici. Poi resta il problema dell’interlocutore-finanziatore. Le università finanziano già le ricerche di ingegneri e informatici, forse un gruppo allargato può rivolgersi prima a loro. Ci sarebbe, ancora, l’Unione Europea, e i programmi quadro dedicati allo sviluppo dei sistemi di informazione. Il vero problema è che al gruppo multidisciplinare necessario per un valido progetto sfugge spesso l’obiettivo concreto comune … Forse bisogna investire di più in advocacy, e cercare di costruire un gruppo di ricerca che non rimanga confinato al proprio laboratorio. Oppure improvvisare fini ‘imprenditoriali’ e sottolineare altri aspetti (per esempio, il tempo che può risparmiare una redazione giornalistica o televisiva …), ma basta per convincere a fare un congruo investimento? L’obiettivo così riformulato è veramente quello che vogliamo dal MIR, o è solo un modo per smuovere le acque e iniziare una sperimentazione?

La presentazione del libro al KNIR è stata una buona occasione di diffusione del progetto, cosa ti aspetti da incontri come questo?

Sono molto grato alla biblioteca del KNIR, e a Janet Mente, per aver ospitato con vero interesse la presentazione di questo libro, fornendo un’altra buona occasione per diffondere la conoscenza di questo argomento. Quello che mi auguro è che, parlandone e riparlandone, prima o poi ci siano altri studi, anche concorrenti e più significativi del mio (me lo auguro veramente), che si sviluppino e diffondano, facendo diventare il MIR un tema su cui ‘investire’ tutti. Non mancano riconoscimenti e citazioni del MIR e del suo significato, negli scritti di tutti i più attenti studiosi di argomenti vicini, che però sembrano restare ‘paralleli’. Ci sono anche alcuni studi su aspetti specifici, ma evidentemente non è ancora abbastanza: ci vorrebbe un altro ‘contagio’, una passione che veramente animi uno studioso o una studiosa portandoli a investire il tempo della propria ricerca sul MIR. Ecco una figura che illustra il disegno del MIR, e che mi auguro diventi presto la foto di una ‘star’: Multimedia information retrieval


di Roberto Raieli – roberto.raieli(at)uniroma3.it – Università di Roma Tre

 

 


di Lucia Antonelli – lantonelli(at)sspal.it – Redazione AIB notizie