Algoritmi per big data

Fornire le competenze avanzate per la progettazione e l’analisi di algoritmi scalabili per l’elaborazione di grandi volumi di dati, con particolare attenzione ai modelli computazionali tipici dei Big Data (streaming, approssimazione, dati multidimensionali e parametrizzazioni) e alle tecniche per la gestione efficiente della complessità computazionale.

Obiettivi specifici:

- conoscenza e applicazione di algoritmi per l’elaborazione di flussi di dati (data streams), con particolare riferimento a tecniche di approssimazione, campionamento e strutture probabilistiche (Es. Bloom filters) per la gestione efficiente della memoria;
- capacità di progettare e analizzare algoritmi per l’estrazione di pattern e statistiche fondamentali da grandi dataset, quali elementi mediani, cardinalità e distribuzioni;
- conoscenza e utilizzo di strutture dati avanzate per l’analisi di dati multidimensionali, inclusi alberi di decomposizione spazionale e tecniche di ricerca connesse (Es. fractional cascading);
- comprensione e applicazione di tecniche per la ricerca di similarità in spazi ad alta dimensionalità, con particolare riferimento al Locality Sensitive Hashing e ai metodi per il Nearest Neighbor Search;
- conoscenza dei principali paradigmi per la progettazione di algoritmi efficienti in contesti complessi, inclusi metodi sub-esponenziali e algoritmi parametrizzati (kernelizzazione, branching, programmazione dinamica su decomposizioni);
- capacità di valutare l’efficienza, l’accuratezza e la scalabilità degli algoritmi nel contesto dei Big Data, anche mediante confronto tra soluzioni esatte e approssimate;
- abilità pratiche nell’implementazione e sperimentazione di algoritmi su dataset di grandi dimensioni.

Fornire le competenze avanzate per la progettazione e l’analisi di algoritmi scalabili per l’elaborazione di grandi volumi di dati, con particolare attenzione ai modelli computazionali tipici dei Big Data (streaming, approssimazione, dati multidimensionali e parametrizzazioni) e alle tecniche per la gestione efficiente della complessità computazionale.

Obiettivi specifici:

- conoscenza e applicazione di algoritmi per l’elaborazione di flussi di dati (data streams), con particolare riferimento a tecniche di approssimazione, campionamento e strutture probabilistiche (Es. Bloom filters) per la gestione efficiente della memoria;
- capacità di progettare e analizzare algoritmi per l’estrazione di pattern e statistiche fondamentali da grandi dataset, quali elementi mediani, cardinalità e distribuzioni;
- conoscenza e utilizzo di strutture dati avanzate per l’analisi di dati multidimensionali, inclusi alberi di decomposizione spazionale e tecniche di ricerca connesse (Es. fractional cascading);
- comprensione e applicazione di tecniche per la ricerca di similarità in spazi ad alta dimensionalità, con particolare riferimento al Locality Sensitive Hashing e ai metodi per il Nearest Neighbor Search;
- conoscenza dei principali paradigmi per la progettazione di algoritmi efficienti in contesti complessi, inclusi metodi sub-esponenziali e algoritmi parametrizzati (kernelizzazione, branching, programmazione dinamica su decomposizioni);
- capacità di valutare l’efficienza, l’accuratezza e la scalabilità degli algoritmi nel contesto dei Big Data, anche mediante confronto tra soluzioni esatte e approssimate;
- abilità pratiche nell’implementazione e sperimentazione di algoritmi su dataset di grandi dimensioni.

Fornire le competenze avanzate per la progettazione e l’analisi di algoritmi scalabili per l’elaborazione di grandi volumi di dati, con particolare attenzione ai modelli computazionali tipici dei Big Data (streaming, approssimazione, dati multidimensionali e parametrizzazioni) e alle tecniche per la gestione efficiente della complessità computazionale.

Obiettivi specifici:

- conoscenza e applicazione di algoritmi per l’elaborazione di flussi di dati (data streams), con particolare riferimento a tecniche di approssimazione, campionamento e strutture probabilistiche (Es. Bloom filters) per la gestione efficiente della memoria;
- capacità di progettare e analizzare algoritmi per l’estrazione di pattern e statistiche fondamentali da grandi dataset, quali elementi mediani, cardinalità e distribuzioni;
- conoscenza e utilizzo di strutture dati avanzate per l’analisi di dati multidimensionali, inclusi alberi di decomposizione spazionale e tecniche di ricerca connesse (Es. fractional cascading);
- comprensione e applicazione di tecniche per la ricerca di similarità in spazi ad alta dimensionalità, con particolare riferimento al Locality Sensitive Hashing e ai metodi per il Nearest Neighbor Search;
- conoscenza dei principali paradigmi per la progettazione di algoritmi efficienti in contesti complessi, inclusi metodi sub-esponenziali e algoritmi parametrizzati (kernelizzazione, branching, programmazione dinamica su decomposizioni);
- capacità di valutare l’efficienza, l’accuratezza e la scalabilità degli algoritmi nel contesto dei Big Data, anche mediante confronto tra soluzioni esatte e approssimate;
- abilità pratiche nell’implementazione e sperimentazione di algoritmi su dataset di grandi dimensioni.

Fornire le competenze avanzate per la progettazione e l’analisi di algoritmi scalabili per l’elaborazione di grandi volumi di dati, con particolare attenzione ai modelli computazionali tipici dei Big Data (streaming, approssimazione, dati multidimensionali e parametrizzazioni) e alle tecniche per la gestione efficiente della complessità computazionale.

Obiettivi specifici:

- conoscenza e applicazione di algoritmi per l’elaborazione di flussi di dati (data streams), con particolare riferimento a tecniche di approssimazione, campionamento e strutture probabilistiche (Es. Bloom filters) per la gestione efficiente della memoria;
- capacità di progettare e analizzare algoritmi per l’estrazione di pattern e statistiche fondamentali da grandi dataset, quali elementi mediani, cardinalità e distribuzioni;
- conoscenza e utilizzo di strutture dati avanzate per l’analisi di dati multidimensionali, inclusi alberi di decomposizione spazionale e tecniche di ricerca connesse (Es. fractional cascading);
- comprensione e applicazione di tecniche per la ricerca di similarità in spazi ad alta dimensionalità, con particolare riferimento al Locality Sensitive Hashing e ai metodi per il Nearest Neighbor Search;
- conoscenza dei principali paradigmi per la progettazione di algoritmi efficienti in contesti complessi, inclusi metodi sub-esponenziali e algoritmi parametrizzati (kernelizzazione, branching, programmazione dinamica su decomposizioni);
- capacità di valutare l’efficienza, l’accuratezza e la scalabilità degli algoritmi nel contesto dei Big Data, anche mediante confronto tra soluzioni esatte e approssimate;
- abilità pratiche nell’implementazione e sperimentazione di algoritmi su dataset di grandi dimensioni.

Fornire le competenze avanzate per la progettazione e l’analisi di algoritmi scalabili per l’elaborazione di grandi volumi di dati, con particolare attenzione ai modelli computazionali tipici dei Big Data (streaming, approssimazione, dati multidimensionali e parametrizzazioni) e alle tecniche per la gestione efficiente della complessità computazionale.

Obiettivi specifici:

- conoscenza e applicazione di algoritmi per l’elaborazione di flussi di dati (data streams), con particolare riferimento a tecniche di approssimazione, campionamento e strutture probabilistiche (Es. Bloom filters) per la gestione efficiente della memoria;
- capacità di progettare e analizzare algoritmi per l’estrazione di pattern e statistiche fondamentali da grandi dataset, quali elementi mediani, cardinalità e distribuzioni;
- conoscenza e utilizzo di strutture dati avanzate per l’analisi di dati multidimensionali, inclusi alberi di decomposizione spazionale e tecniche di ricerca connesse (Es. fractional cascading);
- comprensione e applicazione di tecniche per la ricerca di similarità in spazi ad alta dimensionalità, con particolare riferimento al Locality Sensitive Hashing e ai metodi per il Nearest Neighbor Search;
- conoscenza dei principali paradigmi per la progettazione di algoritmi efficienti in contesti complessi, inclusi metodi sub-esponenziali e algoritmi parametrizzati (kernelizzazione, branching, programmazione dinamica su decomposizioni);
- capacità di valutare l’efficienza, l’accuratezza e la scalabilità degli algoritmi nel contesto dei Big Data, anche mediante confronto tra soluzioni esatte e approssimate;
- abilità pratiche nell’implementazione e sperimentazione di algoritmi su dataset di grandi dimensioni.

Fornire le competenze avanzate per la progettazione e l’analisi di algoritmi scalabili per l’elaborazione di grandi volumi di dati, con particolare attenzione ai modelli computazionali tipici dei Big Data (streaming, approssimazione, dati multidimensionali e parametrizzazioni) e alle tecniche per la gestione efficiente della complessità computazionale.

Obiettivi specifici:

- conoscenza e applicazione di algoritmi per l’elaborazione di flussi di dati (data streams), con particolare riferimento a tecniche di approssimazione, campionamento e strutture probabilistiche (Es. Bloom filters) per la gestione efficiente della memoria;
- capacità di progettare e analizzare algoritmi per l’estrazione di pattern e statistiche fondamentali da grandi dataset, quali elementi mediani, cardinalità e distribuzioni;
- conoscenza e utilizzo di strutture dati avanzate per l’analisi di dati multidimensionali, inclusi alberi di decomposizione spazionale e tecniche di ricerca connesse (Es. fractional cascading);
- comprensione e applicazione di tecniche per la ricerca di similarità in spazi ad alta dimensionalità, con particolare riferimento al Locality Sensitive Hashing e ai metodi per il Nearest Neighbor Search;
- conoscenza dei principali paradigmi per la progettazione di algoritmi efficienti in contesti complessi, inclusi metodi sub-esponenziali e algoritmi parametrizzati (kernelizzazione, branching, programmazione dinamica su decomposizioni);
- capacità di valutare l’efficienza, l’accuratezza e la scalabilità degli algoritmi nel contesto dei Big Data, anche mediante confronto tra soluzioni esatte e approssimate;
- abilità pratiche nell’implementazione e sperimentazione di algoritmi su dataset di grandi dimensioni.

Fornire le competenze avanzate per la progettazione e l’analisi di algoritmi scalabili per l’elaborazione di grandi volumi di dati, con particolare attenzione ai modelli computazionali tipici dei Big Data (streaming, approssimazione, dati multidimensionali e parametrizzazioni) e alle tecniche per la gestione efficiente della complessità computazionale.

Obiettivi specifici:

- conoscenza e applicazione di algoritmi per l’elaborazione di flussi di dati (data streams), con particolare riferimento a tecniche di approssimazione, campionamento e strutture probabilistiche (Es. Bloom filters) per la gestione efficiente della memoria;
- capacità di progettare e analizzare algoritmi per l’estrazione di pattern e statistiche fondamentali da grandi dataset, quali elementi mediani, cardinalità e distribuzioni;
- conoscenza e utilizzo di strutture dati avanzate per l’analisi di dati multidimensionali, inclusi alberi di decomposizione spazionale e tecniche di ricerca connesse (Es. fractional cascading);
- comprensione e applicazione di tecniche per la ricerca di similarità in spazi ad alta dimensionalità, con particolare riferimento al Locality Sensitive Hashing e ai metodi per il Nearest Neighbor Search;
- conoscenza dei principali paradigmi per la progettazione di algoritmi efficienti in contesti complessi, inclusi metodi sub-esponenziali e algoritmi parametrizzati (kernelizzazione, branching, programmazione dinamica su decomposizioni);
- capacità di valutare l’efficienza, l’accuratezza e la scalabilità degli algoritmi nel contesto dei Big Data, anche mediante confronto tra soluzioni esatte e approssimate;
- abilità pratiche nell’implementazione e sperimentazione di algoritmi su dataset di grandi dimensioni.

Fornire le competenze avanzate per la progettazione e l’analisi di algoritmi scalabili per l’elaborazione di grandi volumi di dati, con particolare attenzione ai modelli computazionali tipici dei Big Data (streaming, approssimazione, dati multidimensionali e parametrizzazioni) e alle tecniche per la gestione efficiente della complessità computazionale.

Obiettivi specifici:

- conoscenza e applicazione di algoritmi per l’elaborazione di flussi di dati (data streams), con particolare riferimento a tecniche di approssimazione, campionamento e strutture probabilistiche (Es. Bloom filters) per la gestione efficiente della memoria;
- capacità di progettare e analizzare algoritmi per l’estrazione di pattern e statistiche fondamentali da grandi dataset, quali elementi mediani, cardinalità e distribuzioni;
- conoscenza e utilizzo di strutture dati avanzate per l’analisi di dati multidimensionali, inclusi alberi di decomposizione spazionale e tecniche di ricerca connesse (Es. fractional cascading);
- comprensione e applicazione di tecniche per la ricerca di similarità in spazi ad alta dimensionalità, con particolare riferimento al Locality Sensitive Hashing e ai metodi per il Nearest Neighbor Search;
- conoscenza dei principali paradigmi per la progettazione di algoritmi efficienti in contesti complessi, inclusi metodi sub-esponenziali e algoritmi parametrizzati (kernelizzazione, branching, programmazione dinamica su decomposizioni);
- capacità di valutare l’efficienza, l’accuratezza e la scalabilità degli algoritmi nel contesto dei Big Data, anche mediante confronto tra soluzioni esatte e approssimate;
- abilità pratiche nell’implementazione e sperimentazione di algoritmi su dataset di grandi dimensioni.

Descrivi l’algoritmo R di Waterman per campionare s oggetti in uno stream x1, x2, …, xn la cui lunghezza n non è nota a priori. Mostra l’analisi che dimostra che, dopo l’arrivo di t oggetti sullo stream, ciascun oggetto ha la stessa probabilità di appartenere al campione.

Descrivi l’algoritmo di Chakraborty, Vinodchandran e Meel per il calcolo del numero di elementi distinti in uno stream. Qual è la probabilità che un elemento appartenga al campione mantenuto dall’algoritmo in un momento successivo alla sua prima apparizione sullo stream?

Si illustri la tecnica del fractional cascading, mettendone in risalto il principio algoritmico, e se ne descriva in modo dettagliato l’applicazione ad almeno una delle seguenti due interrogazioni: (1) Orthogonal range search mediante layered range trees e (2) Restituzione delle intersezioni tra un path poligonale e una linea di interrogazione.

Siano S1 e S2 due colonne di una matrice caratteristica M. Si consideri una funzione Min-hash h associata ad una permutazione random delle righe di M. Enuncia la relazione tra la Jaccard similarity J(S1,S2) di S1 e S2 e la probabilità Pr[h(S1) = h(S2)] e mostra l’analisi che porta a determinarla.

Descrivi il funzionamento di una rete peer to peer basata su Chord ed analizzala dal punto di vista della scalabilità per le operazioni di lettura, cioè get(key), e scrittura, cioè put(key, value).

Domanda 1:
Descrivi i Bloom filter. Mostra perché i Bloom filter possono avere falsi positivi. Qual è la probabilità che un Bloom filter abbia falsi positivi? Mostra l’analisi che porta a calcolare tale probabilità e mostra quando tale probabilità è minima.

Domanda 2:
Si consideri un KD-tree T definito su un pointset P⊆R^2. Si descriva l’algoritmo SearchKDTree che consente di effettuare su T una query di tipo Orthogonal Range Search definita da un rettangolo R. Se ne descrivano inoltre le performance in termini di tempo di interrogazione, argomentando le ragioni che lo determinano.

Descrivi l’algoritmo R di Waterman per campionare s oggetti in uno stream x1, x2, …, xn la cui lunghezza n non è nota a priori. Mostra l’analisi che dimostra che, dopo l’arrivo di t oggetti sullo stream, ciascun oggetto ha la stessa probabilità di appartenere al campione.

Descrivi l’algoritmo di Chakraborty, Vinodchandran e Meel per il calcolo del numero di elementi distinti in uno stream. Qual è la probabilità che un elemento appartenga al campione mantenuto dall’algoritmo in un momento successivo alla sua prima apparizione sullo stream?

Si illustri la tecnica del fractional cascading, mettendone in risalto il principio algoritmico, e se ne descriva in modo dettagliato l’applicazione ad almeno una delle seguenti due interrogazioni: (1) Orthogonal range search mediante layered range trees e (2) Restituzione delle intersezioni tra un path poligonale e una linea di interrogazione.

Siano S1 e S2 due colonne di una matrice caratteristica M. Si consideri una funzione Min-hash h associata ad una permutazione random delle righe di M. Enuncia la relazione tra la Jaccard similarity J(S1,S2) di S1 e S2 e la probabilità Pr[h(S1) = h(S2)] e mostra l’analisi che porta a determinarla.

Descrivi il funzionamento di una rete peer to peer basata su Chord ed analizzala dal punto di vista della scalabilità per le operazioni di lettura, cioè get(key), e scrittura, cioè put(key, value).

Domanda 1:
Descrivi i Bloom filter. Mostra perché i Bloom filter possono avere falsi positivi. Qual è la probabilità che un Bloom filter abbia falsi positivi? Mostra l’analisi che porta a calcolare tale probabilità e mostra quando tale probabilità è minima.

Domanda 2:
Si consideri un KD-tree T definito su un pointset P⊆R^2. Si descriva l’algoritmo SearchKDTree che consente di effettuare su T una query di tipo Orthogonal Range Search definita da un rettangolo R. Se ne descrivano inoltre le performance in termini di tempo di interrogazione, argomentando le ragioni che lo determinano.

Descrivi l’algoritmo R di Waterman per campionare s oggetti in uno stream x1, x2, …, xn la cui lunghezza n non è nota a priori. Mostra l’analisi che dimostra che, dopo l’arrivo di t oggetti sullo stream, ciascun oggetto ha la stessa probabilità di appartenere al campione.

Descrivi l’algoritmo di Chakraborty, Vinodchandran e Meel per il calcolo del numero di elementi distinti in uno stream. Qual è la probabilità che un elemento appartenga al campione mantenuto dall’algoritmo in un momento successivo alla sua prima apparizione sullo stream?

Si illustri la tecnica del fractional cascading, mettendone in risalto il principio algoritmico, e se ne descriva in modo dettagliato l’applicazione ad almeno una delle seguenti due interrogazioni: (1) Orthogonal range search mediante layered range trees e (2) Restituzione delle intersezioni tra un path poligonale e una linea di interrogazione.

Siano S1 e S2 due colonne di una matrice caratteristica M. Si consideri una funzione Min-hash h associata ad una permutazione random delle righe di M. Enuncia la relazione tra la Jaccard similarity J(S1,S2) di S1 e S2 e la probabilità Pr[h(S1) = h(S2)] e mostra l’analisi che porta a determinarla.

Descrivi il funzionamento di una rete peer to peer basata su Chord ed analizzala dal punto di vista della scalabilità per le operazioni di lettura, cioè get(key), e scrittura, cioè put(key, value).

Domanda 1:
Descrivi i Bloom filter. Mostra perché i Bloom filter possono avere falsi positivi. Qual è la probabilità che un Bloom filter abbia falsi positivi? Mostra l’analisi che porta a calcolare tale probabilità e mostra quando tale probabilità è minima.

Domanda 2:
Si consideri un KD-tree T definito su un pointset P⊆R^2. Si descriva l’algoritmo SearchKDTree che consente di effettuare su T una query di tipo Orthogonal Range Search definita da un rettangolo R. Se ne descrivano inoltre le performance in termini di tempo di interrogazione, argomentando le ragioni che lo determinano.

Descrivi l’algoritmo R di Waterman per campionare s oggetti in uno stream x1, x2, …, xn la cui lunghezza n non è nota a priori. Mostra l’analisi che dimostra che, dopo l’arrivo di t oggetti sullo stream, ciascun oggetto ha la stessa probabilità di appartenere al campione.

Descrivi l’algoritmo di Chakraborty, Vinodchandran e Meel per il calcolo del numero di elementi distinti in uno stream. Qual è la probabilità che un elemento appartenga al campione mantenuto dall’algoritmo in un momento successivo alla sua prima apparizione sullo stream?

Si illustri la tecnica del fractional cascading, mettendone in risalto il principio algoritmico, e se ne descriva in modo dettagliato l’applicazione ad almeno una delle seguenti due interrogazioni: (1) Orthogonal range search mediante layered range trees e (2) Restituzione delle intersezioni tra un path poligonale e una linea di interrogazione.

Siano S1 e S2 due colonne di una matrice caratteristica M. Si consideri una funzione Min-hash h associata ad una permutazione random delle righe di M. Enuncia la relazione tra la Jaccard similarity J(S1,S2) di S1 e S2 e la probabilità Pr[h(S1) = h(S2)] e mostra l’analisi che porta a determinarla.

Descrivi il funzionamento di una rete peer to peer basata su Chord ed analizzala dal punto di vista della scalabilità per le operazioni di lettura, cioè get(key), e scrittura, cioè put(key, value).

Domanda 1:
Descrivi i Bloom filter. Mostra perché i Bloom filter possono avere falsi positivi. Qual è la probabilità che un Bloom filter abbia falsi positivi? Mostra l’analisi che porta a calcolare tale probabilità e mostra quando tale probabilità è minima.

Domanda 2:
Si consideri un KD-tree T definito su un pointset P⊆R^2. Si descriva l’algoritmo SearchKDTree che consente di effettuare su T una query di tipo Orthogonal Range Search definita da un rettangolo R. Se ne descrivano inoltre le performance in termini di tempo di interrogazione, argomentando le ragioni che lo determinano.