Negli ultimi anni, i sistemi di raccomandazione hanno rivoluzionato il modo in cui interagiamo con piattaforme digitali. Dai suggerimenti di film su Netflix, ai prodotti consigliati su Amazon, fino alle playlist personalizzate su Spotify, questi sistemi giocano un ruolo fondamentale nell’aumentare l’engagement degli utenti e migliorare l’esperienza complessiva.

Esistono diverse tecniche per costruire un sistema di raccomandazione, ma due delle più comuni sono il content-based filtering e il collaborative filtering. Il content-based filtering suggerisce elementi in base alle caratteristiche dell’oggetto stesso: ad esempio, un utente che ha guardato film di fantascienza riceverà suggerimenti di altri film con lo stesso genere. Il collaborative filtering, invece, si basa sulle interazioni tra utenti e oggetti, sfruttando il principio che “se due utenti hanno preferenze simili in passato, probabilmente avranno preferenze simili in futuro”.

Il collaborative filtering si divide in due categorie principali:

  • User-based collaborative filtering: confronta gli utenti tra loro per trovare quelli con gusti simili.
  • Item-based collaborative filtering: confronta gli oggetti tra loro per suggerire quelli più simili a quelli già apprezzati.

Tuttavia, uno dei problemi principali del collaborative filtering è la sparse matrix: nei dataset reali, la maggior parte degli utenti ha valutato solo una piccola frazione degli elementi disponibili, creando una matrice di interazioni con molti valori mancanti. Qui entra in gioco la Matrix Factorization, una tecnica che consente di decomporre la matrice utenti-item in due matrici più piccole, riducendo la dimensionalità e permettendo di fare previsioni più accurate sulle valutazioni mancanti.

🎙️
Riassumendo, leggendo questo articolo imparerai

- Come funzionano nel dettaglio collaborative filtering e matrix factorization
- La matematica dietro la fattorizzazione
- Implementazione in Python di entrambi gli approcci

Collaborative Filtering: Fondamenti e Motivazioni

Il collaborative filtering è una delle tecniche più utilizzate nei sistemi di raccomandazione, poiché sfrutta le interazioni tra utenti e oggetti per prevedere le preferenze future. L’idea di base è semplice: se due utenti hanno espresso preferenze simili in passato, è probabile che continueranno a farlo in futuro. Questo approccio è ampiamente utilizzato in applicazioni come Netflix, Amazon e Spotify, dove le raccomandazioni personalizzate giocano un ruolo cruciale nel coinvolgimento degli utenti.

Esistono due principali strategie per implementare il collaborative filtering:

  1. User-based Collaborative Filtering
    Questo metodo si basa sulla similarità tra utenti. Se un utente A ha gusti simili a quelli di un utente B, allora gli verranno suggeriti elementi apprezzati da B, ma che A non ha ancora visto. Ad esempio, se due utenti hanno dato valutazioni alte agli stessi film di fantascienza, il sistema potrebbe suggerire a uno di loro un film apprezzato dall’altro ma non ancora visto. La misura della somiglianza tra utenti viene solitamente calcolata con metriche come distanza euclidea, correlazione di Pearson o similarità coseno.
  2. Item-based Collaborative Filtering
    Invece di confrontare gli utenti tra loro, questa tecnica confronta gli oggetti. Se due film vengono spesso valutati in modo simile dagli stessi utenti, allora vengono considerati simili e il sistema può suggerire uno all’utente che ha visto l’altro. Questo metodo è particolarmente utile quando il numero di utenti è elevato, poiché riduce la complessità computazionale rispetto all’approccio user-based.

Nonostante l’efficacia di questi metodi, il collaborative filtering presenta alcune problematiche:

  • Cold Start Problem: quando un nuovo utente o un nuovo oggetto entra nel sistema, non ci sono abbastanza dati per generare raccomandazioni affidabili.
  • Sparseness dei dati: nei dataset reali, la matrice utenti-item è spesso sparse, cioè contiene molte valutazioni mancanti.
  • Scalabilità: confrontare utenti o oggetti su larga scala può risultare computazionalmente oneroso.

Per affrontare questi problemi, si utilizza la Matrix Factorization, una tecnica che decomponendo la matrice utenti-item permette di fare previsioni più efficienti e accurate, anche in presenza di dati scarsi.

Introduzione alla Matrix Factorization

Il collaborative filtering tradizionale, sia basato sugli utenti che sugli oggetti, può diventare inefficiente con dataset di grandi dimensioni a causa della sparse matrix e dei problemi di scalabilità. Una soluzione avanzata è la Matrix Factorization (MF), una tecnica che permette di ridurre la dimensionalità del problema e migliorare la qualità delle previsioni. Questa tecnica è stata resa popolare dal concorso Netflix Prize, in cui il team vincitore ha utilizzato proprio la Matrix Factorization per migliorare la precisione del sistema di raccomandazione.

L’idea alla base della Matrix Factorization è di decomporre la matrice utenti-item in due matrici più piccole, rappresentando utenti e item in uno spazio latente di caratteristiche non esplicitamente definite. Supponiamo di avere una matrice R in cui ogni riga rappresenta un utente e ogni colonna un item (film, prodotti, canzoni, ecc.), e gli elementi della matrice contengono le valutazioni assegnate dagli utenti agli item. La Matrix Factorization scompone R in due matrici:

  • \( U \) (User Matrix): una matrice in cui ogni riga rappresenta un utente e ogni colonna è un fattore latente, una caratteristica nascosta che descrive le preferenze dell’utente.
  • \( V \) (Item Matrix): una matrice in cui ogni riga rappresenta un item e ogni colonna è un fattore latente, che rappresenta le caratteristiche degli item.

Il prodotto di queste due matrici approssima la matrice originale:

\[ R ≈ U \cdot {VT} \]

Dove:

  • \( U \) ha dimensione \( m \times k \) (m utenti, k fattori latenti).
  • \( V \) ha dimensione \( n \times k \) (n item, k fattori latenti).
  • \( R \) ha dimensione \( m \times n \).

I valori di U e V vengono appresi tramite un processo di ottimizzazione che minimizza l’errore tra le valutazioni osservate e le valutazioni predette. Tecniche come la Singular Value Decomposition (SVD) e l’Alternating Least Squares (ALS) vengono comunemente usate per questo scopo.

La Matrix Factorization è particolarmente efficace perché, a differenza del collaborative filtering tradizionale, permette di generare raccomandazioni anche per utenti o item con poche interazioni (cold start problem), migliorando la capacità predittiva del sistema.

Uno dei principali problemi dei sistemi di raccomandazione basati sul collaborative filtering è la presenza di dati sparsi. Nella maggior parte dei casi, gli utenti interagiscono solo con una piccola parte degli oggetti disponibili, lasciando vuote molte celle della matrice utenti-item. La Matrix Factorization è una tecnica che aiuta a gestire questo problema, permettendo di apprendere relazioni latenti tra utenti e item e di effettuare previsioni più accurate.

Il problema della sparse matrix

Nei dataset reali, la matrice utenti-item è estremamente incompleta: ad esempio, nel caso di un sistema di raccomandazione per film, un utente potrebbe aver valutato solo 20 film su un catalogo di 100.000. Ciò rende difficile applicare metodi tradizionali di collaborative filtering basati sulla similarità. La Matrix Factorization affronta questa sfida decomponendo la matrice in due sotto-matrici di dimensione ridotta, che rappresentano utenti e item in uno spazio di caratteristiche latenti.

Vuoi leggere di più su questo argomento?
Recommender Systems: The Textbook

Charu C. Aggarwal

Questo libro copre in modo esaustivo la teoria dietro i sistemi di raccomandazione. Esposte diverse applicazioni, tra cui query log mining, social networking, raccomandazioni di notizie e pubblicità computazionale.

Product Image
Compralo su Amazon

Funzione obiettivo e regolarizzazione

Per apprendere le matrici U e V, si utilizza un metodo di ottimizzazione numerica, in genere minimizzando la funzione di errore tra le valutazioni osservate e quelle predette:

\[ \sum (R_{ij} - U_i \cdot V_j^T)^2 + \lambda(\|U\|^2 + \|V\|^2) \]

Il termine \( \lambda(\|U\|^2 + \|V\|^2) \) è un fattore di regolarizzazione che aiuta a evitare il problema dell'overfitting, ovvero il rischio che il modello si adatti troppo ai dati di training e non generalizzi bene su nuovi utenti o item.

Questa tecnica è alla base di molti modelli avanzati di raccomandazione e rappresenta un'evoluzione chiave rispetto ai metodi tradizionali.

Il MovieLens 100k è uno dei dataset più utilizzati per la valutazione di sistemi di raccomandazione. Rilasciato dal GroupLens Research, contiene 100.000 valutazioni assegnate da 943 utenti a 1.682 film, con voti compresi tra 1 e 5 stelle. Questo dataset è ideale per testare algoritmi di collaborative filtering e matrix factorization, poiché presenta caratteristiche tipiche dei dati reali, come la sparse matrix e la distribuzione non uniforme delle valutazioni.

Il dataset è integrato nella libreria Surprise, il che ne semplifica l’utilizzo. Possiamo caricarlo e dividerlo in training set e test set in modo semplice:

from surprise import Dataset
from surprise.model_selection import train_test_split

# Caricamento del dataset MovieLens 100k
data = Dataset.load_builtin('ml-100k')

# Divisione in training e test set
trainset, testset = train_test_split(data, test_size=0.2)

Se vogliamo analizzare il dataset come un DataFrame di pandas, possiamo caricarlo manualmente:

import pandas as pd

# Caricamento dei dati come DataFrame
df = pd.read_csv('http://files.grouplens.org/datasets/movielens/ml-100k/u.data', 
                 sep='\t', names=['UserID', 'MovieID', 'Rating', 'Timestamp'])

# Visualizzare le prime righe del dataset
print(df.head())

>>>

   UserID  MovieID  Rating  Timestamp
0     196      242       3  881250949
1     186      302       3  891717742
2      22      377       1  878887116
3     244       51       2  880606923
4     166      346       1  886397596

Dopo aver esplorato il dataset MovieLens 100k, passiamo all’implementazione di un sistema di raccomandazione basato su Matrix Factorization. Utilizzeremo l'algoritmo Singular Value Decomposition (SVD) della libreria Surprise, che scompone la matrice utenti-item in due matrici di fattori latenti, permettendo di prevedere le valutazioni mancanti.

Prima di iniziare, importiamo le librerie necessarie:

from surprise import SVD, Dataset, accuracy

Addestramento del modello SVD

Ora possiamo applicare la Matrix Factorization utilizzando il modello SVD:

# Creazione del modello SVD con 50 fattori latenti e regolarizzazione
model = SVD(n_factors=50, reg_all=0.02)

# Addestramento del modello
model.fit(trainset)

L’iperparametro n_factors=50 rappresenta il numero di fattori latenti, mentre reg_all=0.02 è il coefficiente di regolarizzazione per prevenire overfitting.

Valutazione del modello

Per valutare l’accuratezza delle previsioni, calcoliamo l’errore quadratico medio (RMSE) sul test set:

# Generazione delle predizioni sul test set
predictions = model.test(testset)

# Calcolo dell’errore RMSE
rmse = accuracy.rmse(predictions)
print(f'RMSE del modello: {rmse}')

>>>

RMSE: 0.9271
RMSE del modello: 0.9271033421188378

Un valore di RMSE più basso indica una maggiore accuratezza nelle previsioni delle valutazioni degli utenti.

Generazione di raccomandazioni personalizzate

Possiamo ora prevedere la valutazione di un film per un utente specifico:

# Previsione della valutazione per l'utente 196 e il film 242
pred = model.predict(uid=196, iid=242)
print(f"Valutazione prevista: {pred.est}")

>>>

Valutazione prevista: 3.5273875

Questo permette di suggerire film all’utente in base alle sue preferenze.

Ottimizzazione del Modello

Dopo aver implementato un sistema di raccomandazione basato su Matrix Factorization con il modello SVD, il passo successivo è ottimizzarlo per migliorarne l’accuratezza. L’ottimizzazione può avvenire attraverso la regolazione degli iperparametri, la scelta di metodi alternativi e l’integrazione di strategie per ridurre problemi tipici come l’overfitting e la scalabilità.

Regolazione degli iperparametri

Il modello SVD presenta diversi parametri che influenzano le prestazioni, tra cui:

  • n_factors: numero di fattori latenti (dimensione dello spazio latente).
  • reg_all: coefficiente di regolarizzazione per evitare overfitting.
  • lr_all: tasso di apprendimento della discesa del gradiente.
  • n_epochs: numero di iterazioni dell’algoritmo.

Possiamo utilizzare Grid Search per trovare la combinazione ottimale:

from surprise.model_selection import GridSearchCV

# Definizione della griglia di parametri
param_grid = {
    'n_factors': [20, 50, 100], 
    'reg_all': [0.01, 0.02, 0.05], 
    'lr_all': [0.002, 0.005, 0.01]
}

# Ricerca dei migliori parametri
gs = GridSearchCV(SVD, param_grid, measures=['rmse'], cv=3)
gs.fit(Dataset.load_builtin('ml-100k'))

# Migliori parametri trovati
print(gs.best_params['rmse'])

>>>

{'n_factors': 50, 'reg_all': 0.05, 'lr_all': 0.01}

Questa strategia permette di selezionare automaticamente i parametri che minimizzano l’errore RMSE.

Alternativa: Alternating Least Squares (ALS)

Un altro metodo efficace per la Matrix Factorization è ALS (Alternating Least Squares), particolarmente adatto per dataset di grandi dimensioni. A differenza di SVD, ALS suddivide il problema in sottoproblemi più piccoli, permettendo di aggiornare separatamente le matrici degli utenti e degli item.

In Python, ALS è disponibile nella libreria implicit per grandi dataset:

from scipy.sparse import csr_matrix
import numpy as np

user_ids = []
item_ids = []
ratings = []

for uid, iid, rating in trainset.all_ratings():
    user_ids.append(uid)
    item_ids.append(iid)
    ratings.append(rating)

# Creazione della matrice CSR
num_users = trainset.n_users
num_items = trainset.n_items
train_matrix = csr_matrix((ratings, (user_ids, item_ids)), shape=(num_users, num_items))

# Ora puoi passarlo al modello ALS di implicit
model.fit(train_matrix)

>>>

100%|██████████| 15/15 [00:00<00:00, 113.87it/s]

ALS è utile per sistemi di raccomandazione scalabili, ad esempio per aziende con milioni di utenti.

Strategie per migliorare il modello

Oltre alla regolazione degli iperparametri e all’uso di algoritmi alternativi, esistono altre strategie per ottimizzare il sistema di raccomandazione:

  • Filtraggio degli utenti inattivi: rimuovere utenti con poche valutazioni migliora la qualità delle raccomandazioni.
  • Combinazione con metodi Content-Based: unire collaborative filtering con contenuti testuali/metadati dei film migliora le predizioni.
  • Aggiornamento dinamico del modello: riaddestrare il modello periodicamente per adattarlo ai nuovi dati.

Dopo aver implementato e ottimizzato un sistema di raccomandazione basato su Matrix Factorization, è possibile esplorare estensioni avanzate e applicazioni pratiche in contesti reali. In questa sezione, vedremo altre tecniche di fattorizzazione della matrice, strategie per integrare il modello in sistemi reali e le sfide da affrontare.

Altri algoritmi di Matrix Factorization

Oltre al Singular Value Decomposition (SVD), esistono altre tecniche di Matrix Factorization con vantaggi specifici:

  • Alternating Least Squares (ALS):
    • Adatto a dataset di grandi dimensioni grazie alla sua efficienza computazionale.
    • Utilizzato da piattaforme come Spotify e LinkedIn per la raccomandazione di contenuti.
    • Implementato in Apache Spark MLlib per sistemi scalabili.
  • Probabilistic Matrix Factorization (PMF):
    • Estende SVD con un approccio probabilistico bayesiano, migliorando le previsioni per dataset molto sparsi.
    • Usato in applicazioni in cui l’incertezza nei dati è elevata.
  • Neural Matrix Factorization (NeuMF):
    • Integra deep learning e collaborative filtering per raccomandazioni più accurate.
    • Utilizzato in applicazioni avanzate di e-commerce e social media.

Conclusioni

In questo articolo, abbiamo esplorato il funzionamento dei sistemi di raccomandazione basati su Matrix Factorization, analizzando le tecniche fondamentali del Collaborative Filtering e implementando un modello pratico con SVD (Singular Value Decomposition).

Abbiamo iniziato introducendo il concetto di sistemi di raccomandazione, il loro utilizzo nei servizi digitali e i principali approcci basati sulla similarità tra utenti e oggetti. Successivamente, abbiamo approfondito la Matrix Factorization, che permette di ridurre la dimensionalità della matrice utenti-item e di prevedere valutazioni mancanti.

Dal punto di vista pratico, abbiamo utilizzato il dataset MovieLens 100k, un benchmark ideale per testare algoritmi di raccomandazione. Abbiamo caricato e analizzato i dati, implementato un modello SVD con la libreria Surprise e valutato le prestazioni con la metrica RMSE. Infine, abbiamo esplorato strategie per ottimizzare il modello, come la ricerca degli iperparametri con Grid Search e l’utilizzo di metodi alternativi come ALS e Probabilistic Matrix Factorization.

Tuttavia, l’implementazione di un sistema di raccomandazione efficace presenta sfide reali, tra cui:

  • Cold Start Problem: difficoltà nel raccomandare prodotti a nuovi utenti o nuovi oggetti con poche interazioni.
  • Scalabilità: gestione di grandi quantità di dati e aggiornamenti in tempo reale.
  • Bias nei dati: rischio di raccomandare solo contenuti popolari, penalizzando quelli meno noti.

Per affrontare questi problemi, molte piattaforme combinano collaborative filtering con approcci content-based o modelli avanzati basati su deep learning, come Neural Matrix Factorization (NeuMF).

Nei prossimi passi, si potrebbero esplorare tecniche più avanzate, come l’integrazione di reti neurali o l’uso di modelli sequenziali per migliorare la personalizzazione delle raccomandazioni. Inoltre, la creazione di un’API per servire le raccomandazioni in tempo reale è un passo essenziale per rendere il sistema utilizzabile in un’applicazione reale.

L’evoluzione dei sistemi di raccomandazione è in continua crescita e la ricerca in questo campo apre nuove opportunità per migliorare l’esperienza utente in molteplici settori.