Regressione e importanza relativa

Informazioni sulla regressione e sull’importanza relativa

Regressione mostra in che modo più variabili di input insieme influiscono su una variabile di output. Ad esempio, se sia gli input “Anni come cliente” e “Dimensione della società” sono correlati all’output “Soddisfazione” e tra loro, è possibile utilizzare la regressione per capire quale dei due input fosse più importante per creare “Soddisfazione”.

L’analisi dell’importanza relativa è il metodo di best practice per la regressione sui dati del sondaggio e l’output predefinito delle regressioni eseguite in Stats iQ. L’importanza relativa è un’estensione moderna della regressione che tiene conto delle situazioni in cui le variabili di input sono correlate tra loro, un problema molto comune nella ricerca di sondaggi (nota come “multicollinearità”). L’importanza relativa è nota anche come Johnson’s Relative Weights, è una variazione dell’analisi di Shapley ed è strettamente correlata all’analisi della dominanza.

Di seguito troverai istruzioni su come configurare una regressione in Stats iQ. Per maggiori indicazioni sul pensiero attraverso le parti analitiche dell’analisi di regressione, consulta le seguenti pagine:

• Guida user-friendly alla regressione lineare
• Interpretazione dei tracciati residui per migliorare la regressione lineare
• Guida user-friendly alla regressione logistica
• Matrice di confusione e Tradeoff con richiamo di precisione nella regressione logistica

Qtip: La piattaforma Stats iQ offre suggerimenti utili! Mentre lavori in Stats iQ, puoi fare clic sulle icone i visualizzate in tutta la piattaforma per visualizzare ulteriori informazioni e definizioni.

Per la regressione lineare, l’importanza relativa in Stats iQ segue le tecniche descritte in Lipovetsky, Stan & Conklin, Michael. (2001). Analisi della regressione nell’approccio alla teoria dei giochi. Modelli stocastici applicati nelle imprese e nell’industria. 17. 319 – 330. 10.1002/asmb.446.

Selezione di variabili per schede di regressione

La creazione di una scheda di regressione consentirà di comprendere in che modo il valore di una variabile nell’insieme di dati viene influenzato dai valori di altri.

Quando si selezionano le variabili, una variabile avrà una chiave in base ad essa. Per la regressione, la variabile chiave sarà la variabile di output. Ogni altra variabile selezionata dopo la variabile chiave sarà una variabile di input. In altre parole, si sta tentando di spiegare in che modo il valore della variabile di output è determinato dalle variabili di input.

Cose da considerare quando si selezionano variabili per la regressione:

• È possibile modificare la variabile chiave facendo clic sull’icona della chiave accanto a qualsiasi variabile nel riquadro delle variabili.
• Se vengono selezionate più variabili del numero di risposte che hai, la regressione non verrà eseguita.
• È possibile selezionare fino a 25 variabili di input. Tuttavia, è necessario provare a selezionare 1-10 variabili di input altrimenti i risultati potrebbero diventare molto complicati.

Se si dispone di un numero elevato di variabili che si desidera includere in un’analisi, considerare i seguenti approcci:

• Eseguire alcune regressioni iniziali ed escludere le variabili che hanno pochissima importanza nel modello.
• Combinare più variabili, ad esempio calcolandone la media.
• Se la struttura dei dati lo consente, è possibile utilizzare un processo di importanza relativa in due fasi, come descritto a pagina 341 qui.

Una volta selezionate le variabili, fare clic su Regressione per eseguire una regressione.

Tipi di regressione

Esistono due tipi principali di esecuzione di regressione in Stats iQ. Se la variabile di output è una variabile numerica, Stats iQ eseguirà una regressione lineare. Se la variabile di output è una variabile di categoria, Stats iQ eseguirà una regressione logistica.

Più specificamente, i tipi di regressione che Stats iQ eseguirà sono i seguenti:

Regressione lineare

L’importanza relativa è combinata con i minimi quadrati ordinari (OLS). L’output deriva da una combinazione delle due analisi:

• Importanza relativa: tutto ciò che è presente in questa sezione deriva dall’ importanza relativa ad eccezione dell’ R quadro, che deriva dalla regressione OLS.
• Esplorare il modello in dettaglio: tutto ciò che è presente in questa sezione proviene dall’ importanza relativa ad eccezione delle distribuzioni, che vengono ricavate dai dati stessi.
• Analizza i residui e la diagnostica di regressione OLS per migliorare il tuo modello: tutto ciò che è contenuto in questa sezione deriva dalla regressione OLS.

Regressione logistica

La regressione logistica è un metodo di classificazione binaria utilizzato per comprendere i driver di un binario (es. Sì o No) dato un insieme di variabili di input. Se esegui una regressione su una variabile di output con più di due gruppi, Stats iQ selezionerà un gruppo e riunirà gli altri in modo da renderla una regressione binaria (puoi modificare quale gruppo viene analizzato dopo aver eseguito la regressione).

Importanza relativa

Le variabili di input nei dati del sondaggio sono spesso altamente correlate l’una con l’altra; questo è un problema chiamato “Multicollinearità”. Questo può portare all’uscita di regressione che aumenta artificialmente l’importanza di una variabile e diminuisce l’importanza di un’altra variabile correlata. L’importanza relativa è riconosciuta come il metodo di best practice per tenere conto di ciò.

L’importanza relativa (in particolare i pesi relativi di Johnson) non risente di questo problema e bilancierà adeguatamente l’importanza delle variabili di input, indipendentemente dal tipo di regressione in esecuzione.  Calcola anche il peso relativo (o l’importanza relativa) di ogni variabile, la proporzione della variazione spiegabile dell’uscita dovuta a tale variabile. Questa viene visualizzata come una serie di percentuali che si aggiungono al 100%.

Restituisce risultati simili all’esecuzione di una serie di regressioni, una per ogni variazione delle variabili di input. Ad esempio, se si avevano due variabili, si avrebbe l’equivalente di eseguire tre regressioni: una con la variabile A, una con la variabile B e una con entrambe. Ciò consente di quantificare l’importanza di ogni variabile e di riapplicare tale quantificazione al risultato della regressione.

Output regressione

Quando esegui una regressione in Stats iQ, i risultati dell’analisi contengono le seguenti sezioni:

Riepilogo numerico

Nella parte superiore della scheda si trova un riepilogo per l’analisi di regressione. Esaminando le variabili scelte, questo riepilogo scritto spiega quali sono i driver primari rispetto a quelli secondari, nonché i driver che hanno avuto un impatto cumulativo basso. La tabella di dati include la Dimensione del campione e il valore R-quadrato.

Importanza relativa

1. Variabili a impatto basso: le variabili che singolarmente hanno un’importanza relativa pari o inferiore al 10% verranno raggruppate. Quando selezionata, sarà presente una sezione che spiega l’importanza relativa e la significatività statistica di ogni variabile a basso impatto.
2. Variabili ad impatto elevato: ogni variabile ad alto impatto sarà separata e selezionabile. Una volta selezionata una variabile, sotto il grafico a barre, sarà possibile visualizzare la variazione considerata e cosa accadrebbe se altre variabili fossero controllate per nel modello.

Ulteriori dettagli modello

Quando si seleziona Esplora il modello in dettaglio, verranno elencate le variabili di input e di output. Le variabili di input verranno fornite con le seguenti informazioni:

• Importanza relativa: la proporzione di R quadro fornita da una variabile individuale. L’R quadro è la proporzione della variazione della variabile del risultato che può essere spiegata dalle variabili di entrata in questo modello. Vedere Importanza relativa per ulteriori dettagli.
• Odds ratio: pertinente solo alla regressione logistica. Il rapporto di probabilità per una data variabile di entrata indica il fattore per il quale la probabilità cambia per ogni aumento di unità nella variabile esplicativa.
  Esempio: ad esempio, se il rapporto di probabilità per Soddisfazione con il manager è 1.1 e i gruppi della variabile di output sono Soddisfatti e Non soddisfatti, allora per ogni istanza in cui la Soddisfazione con il manager è 1 più alta, le probabilità della variabile di output di essere Soddisfatto sono 1,1 più elevate (10% superiori).  Se la riga di dati è una Categoria, come colore[blu], il coefficiente rappresenta la variazione delle probabilità della variabile di risposta se la variabile Categorie è quella particolare Categoria (blu) invece del gruppo “di riferimento” (rosso, verde, ecc.).
• Coefficiente: ogni aumento di 1 unità in una variabile di entrata è associato a un aumento del coefficiente nella variabile di uscita. Questi coefficienti sono costruiti sulla base dei risultati dell’analisi dell’importanza relativa e quindi si adattano per la multicollinearità e non corrispondono ai coefficienti che deriverebbero da una regressione standard dei minimi quadrati ordinari.
• Coefficiente standardizzato: il coefficiente standardizzato è il coefficiente diviso per la varianza della variabile di entrata. Ciò pone ogni variabile sulla stessa scala in modo che i loro coefficienti possano essere confrontati più direttamente.
• Valore P: il valore p è la misura della significatività statistica. I valori inferiori sono associati a probabilità inferiori che la relazione sia una coincidenza. Per le variabili categoriali, il valore p indica la significatività statistica della differenza tra un gruppo e il gruppo “di base” nella variabile.
• Trasformazione: vedi Variabili di trasformazione.

Analisi della regressione OLS

Per la regressione lineare, fare clic su Analizza i residui e la diagnostica di regressione OLS per migliorare il modello al di sotto della variabile chiave/output per visualizzare i grafici Previsto rispetto a Effettivo e Residuale. Per ulteriori informazioni, consulta Interpretazione dei residui tracciati per migliorare la tua regressione.

Variabile inclusa

Lungo l’intestazione più in alto della scheda di regressione, verranno visualizzate le variabili utilizzate nella regressione.

Fai clic sul nome di una variabile per aprire una nuova finestra in cui puoi ricodificare o raggruppare i valori. Fare clic sulle frecce per commutare quali sono gli input e quali sono le variabili di output nell’analisi.

Se hai troppe variabili coinvolte da visualizzare nell’intestazione, ci sarà un elenco a discesa Variabili esplicative in cui puoi scegliere tra le variabili che desideri ricodificare.

Aggiunta e rimozione di variabili

Una volta creata una scheda di regressione, è possibile aggiungere ulteriori variabili all’analisi attenendosi alla seguente procedura:

1. Fare clic su Esplora il modello in dettaglio.
2. Selezionare Aggiungi variabili al modello nella parte inferiore della scheda. Verrà visualizzata una lista di variabili non ancora utilizzate per la regressione.
3. Scegli una variabile da questa lista.
4. Fare clic su Applica per eseguire nuovamente l’analisi con la nuova variabile inclusa.

Per rimuovere una variabile dalla regressione, passare con il cursore del mouse sulla variabile desiderata e fare clic sulla X blu sul lato più a destra della tabella. Dopo aver scelto le variabili da aggiungere o rimuovere, assicurarsi di selezionare “Applica” per eseguire il nuovo modello.

Imputazione delle variabili in corso…

La regressione considererà solo le righe in cui tutte le variabili di input hanno dati. Tuttavia, spesso mancano dati con la raccolta dei dati del sondaggio, il che può influire negativamente sulla tua analisi di regressione e sul modello. Se si includono solo righe prive di dati mancanti nella regressione, i risultati dell’analisi possono essere distorti perché il campione non è rappresentativo dell’intero insieme di dati.

Con l’imputazione, Stats iQ inserirà automaticamente i dati mancanti con i valori stimati. Quando i dati mancanti vengono compilati, è possibile includere più dati originali nell’analisi di regressione, determinando un modello di regressione con meno pregiudizi che possono spiegare meglio la variazione nella variabile del risultato desiderata.

L’imputazione è automatica, quindi quando si esegue un’analisi di regressione su un insieme di dati con valori mancanti, l’insieme di dati verrà imputato prima dell’esecuzione dei calcoli.

Fare clic qui per visualizzare un insieme di dati di esempio prima e dopo l’imputazione delle variabili.

Prima dell’imputazione:
Per questa regressione, “Utilizzo dei dati” è la variabile del risultato e “Età”, “Servizio Internet” e “Minuti del tempo dello schermo” sono le variabili di input.

ID riga	Utilizzo dati	Età	Servizio Internet	Ora videata (minuti)
1	75	39	Satellite	503
2	19	41	Fibra ottica	52
3	87			434
4	54	23	Satellite
5	14			101
6	75		Satellite
7	81	57	DSL	329

Attenzione: se si esegue una regressione senza alimentare i valori mancanti, vengono incluse solo le righe 1, 2 e 7.

Dopo l’imputazione:

ID riga	Utilizzo dati	Età	Servizio Internet	Ora videata (minuti)
1	75	39	Satellite	503
2	19	41	Fibra ottica	52
3	87	50.9	MANCANTE	434
4	54	23	Satellite	359.0
5	14	50.9	MANCANTE	101
6	75	50.9	Satellite	359.0
7	81	57	DSL	329

Qtip: “Servizio Internet” è una variabile categoriale, non numerica, quindi il valore mancante viene compilato come “MISSING”.

Metodi di imputazione

Stats iQ utilizza attualmente i seguenti metodi di imputazione:

• Categoria predefinita: Stats iQ creerà un nuovo valore di categoria “MANCANTE” per inserire i dati mancanti. Questo metodo viene utilizzato per le variabili categoriali.
• Media: se Stats iQ non rileva valori anomali nella distribuzione della variabile numerica, i dati mancanti per la variabile vengono compilati con il valore (medio) medio. Questo metodo viene utilizzato per le variabili numeriche.
• Mediana: se Stats iQ rileva valori fuori norma nella distribuzione della variabile numerica, i dati mancanti per la variabile vengono compilati con il valore mediano. Questo metodo viene utilizzato per le variabili numeriche.

Indicatori di imputazione

Quando si esegue un’analisi di regressione sul set di dati, viene visualizzato un indicatore di imputazione in cima alla carta di regressione.

Ulteriori informazioni sull’imputazione sono disponibili facendo clic sul simbolo delle informazioni ( i ) accanto al metodo di imputazione.

Disattivazione dell’imputazione

Stats iQ applica automaticamente l’imputazione a tutte le carte di regressione. Per disattivare l’imputazione automatica, fare clic su Imposizione automaticamente i dati mancanti per il campione nella parte superiore della scheda di regressione.

Avvisi di imputazione

• Se vengono imputati troppi dati, il modello di regressione diventerà distorto e inaffidabile. Una volta compilato oltre il 50% della serie di dati, Stats iQ ti avvertirà di trarre conclusioni dai risultati della regressione.
  
• Quando vengono rilevati valori fuori norma in una qualsiasi delle variabili di input numeriche, Stats iQ imporrà le variabili utilizzando il valore mediano anziché la media. In questo scenario, Stats iQ ti avvertirà quando esamini il modello in dettaglio.
  

Trasformazione delle variabili

Quando esegui un’analisi di regressione in Stats iQ, potresti scoprire la necessità di migliorare il tuo modello. Il modo più comune per migliorare un modello è trasformare una o più variabili, di solito utilizzando un “log” o un’altra trasformazione funzionale.

Trasformare una variabile cambia la forma della sua distribuzione. In generale, i modelli di regressione funzionano meglio con distribuzioni più simmetriche e a forma di campana. Prova diversi tipi di trasformazioni fino a trovarne una che ti dia questo tipo di distribuzione.

Per trasformare una variabile:

1. Nell’opzione Esplora il modello in dettaglio, scorrere fino alla colonna Trasforma.
2. Fare clic sul pulsante della funzione (f(x)) relativo alla variabile che si desidera trasformare.
3. Dall’elenco, scegli la funzione che vorresti applicare e Stats iQ ricalcolerà la scheda utilizzando la nuova variabile trasformata.

Le seguenti trasformazioni sono disponibili in Stats iQ:

La trasformazione più comune è di gran lunga log(x). Trasforma una distribuzione di “potenza” (come la dimensione della popolazione cittadina) che ha molti valori più piccoli e un piccolo numero di valori più grandi in una “distribuzione normale” a forma di campana (come l’altezza) dove la maggior parte dei valori è raggruppata verso il centro.

Utilizzare log(x+1) se la variabile trasformata ha alcuni valori pari a zero, poiché log(x) non può essere calcolato quando x è zero.

Per ulteriori dettagli su quando trasformare le variabili, vedere Interpretazione dei grafici residui per migliorare la regressione lineare

Altre tecniche di regressione lineare disponibili in Stats iQ

L’importanza relativa combinata con i minimi quadrati ordinari è l’output predefinito per una regressione lineare. Tuttavia, ci sono altre opzioni disponibili.

Per accedere a M-estimation, Ordinary Least Squares e Ridge Regression, clicca sull’ingranaggio delle impostazioni nell’angolo in alto a destra della tua scheda di regressione. Facendo clic sul nome della tecnica di regressione alla voce Metodi di regressione sarà possibile modificare la tecnica di regressione utilizzata per la scheda di regressione. Ciò è possibile solo per la regressione lineare.

• Stima M: progettata per gestire i valori fuori norma nella variabile di uscita meglio dei minimi quadrati ordinari (OLS).
• Ordinary Least Squares: Ordinary Least Squares (OLS) è la classica tecnica di regressione. È sensibile ai valori fuori norma e ad altre violazioni nei suoi presupposti, pertanto consigliamo metodi più robusti come la Stima M. Poiché OLS è utilizzato nell’output predefinito dell’importanza relativa, si dovrebbe selezionare questa opzione solo se si è interessati alle funzionalità che non sono ancora state adattate nell’output di importanza relativa: previsione dei risultati e aggiunta di termini di interazione.
• Regressione Ridge: Regressione di Ridge è una tecnica simile alla regressione OLS standard, ma con un parametro di sintonizzazione alfa. Questo parametro alfa aiuta a gestire l’elevata varianza e i dati che soffrono di multicollinearità. Quando correttamente sintonizzata, la regressione di dorsale generalmente produce previsioni migliori rispetto all’OLS grazie ad un migliore compromesso tra distorsione e varianza. In Stats iQ, sarai in grado di scegliere il parametro alfa quando utilizzi la regressione ridge.

Una volta selezionato Stima M, Minori quadrati ordinari o Regressione dorsale, sarà possibile visualizzare l’output. L’output apparirà sotto la sezione Metodi di regressione.

1. Riepilogo numerico: nella parte superiore della scheda si trova un riepilogo per l’analisi di regressione. Ciò include Dimensione campione, Casi mancanti, Metodo, Valore R-quadrato, Errore standard, Coefficiente di variazione e Adattamento del modello.
2. Dettagli coefficiente: i risultati primari della regressione, l’equazione matematica, sono sotto il sommario. La variabile di uscita/chiave è a sinistra dell’equazione. Le variabili di input sono sul lato destro. Passando con il cursore del mouse su una variabile viene visualizzata una descrizione comandi che spiega in parole semplici in che modo tale variabile contribuisce alla variabile di output. Qui è anche possibile inserire valori nell’equazione matematica per stimare i valori per la variabile di output. Consultare la sezione seguente sulla stima dei valori delle variabili di output per ulteriori informazioni.
3. Diagnostica e residui: Stats iQ fornisce diagnostica per aiutarti a valutare l’accuratezza e la validità del tuo modello. Per saperne di più, consulta Interpretazione dei Plot Residui per Migliorare la tua Regressione Lineare o La Matrice di confusione e il Tradeoff con richiamo di Precisione in Regressione Logistica.

Stima dei valori delle variabili di output

Una volta eseguita una regressione, è possibile utilizzare l’equazione matematica nella sezione Dettagli coefficiente per stimare i valori delle variabili di output in base ai valori di input selezionati. Sul lato destro dell’equazione, verranno visualizzate le variabili di input. È possibile impostare valori per ciascuna delle variabili di immissione. Sul lato sinistro dell’equazione si trova la variabile di output. Dopo aver inserito i valori per le variabili di input, l’equazione calcolerà una stima per la variabile di uscita in base al modello di regressione.

1. Questa variabile di input è una variabile di tipo categoria. Per immettere un valore per le variabili di categoria, fare clic sul valore desiderato dall’elenco di opzioni.
2. Queste variabili di input sono variabili di tipo numerico. Per immettere un valore per le variabili numeriche, fare clic su Immetti un valore e digita un numero.
3. Questa variabile è la variabile di uscita dell’equazione di regressione. Dopo aver selezionato i valori per le variabili di input, accanto al punto in cui viene visualizzato Stima verrà visualizzato un valore stimato per la variabile di output.

Esempio: nell’esempio seguente, si sta tentando di prevedere l’NPS del cliente in base ad alcune variabili di input. Dopo aver selezionato i valori per le variabili di input, possiamo vedere un punteggio NPS stimato di 4,98.

Previsione dei risultati

Di solito, utilizzerai l’analisi di regressione in Stats iQ per comprendere la relazione tra variabili di input e variabili di output. Tuttavia, una volta creato, un modello di regressione può essere utilizzato anche per prevedere il valore di output per le righe di dati in cui sono presenti valori per gli input.

Termini di interazione e altre questioni avanzate

Aggiunta di termini di interazione

Quando si desidera migliorare il modello di regressione, è possibile aggiungere termini di interazione oltre alle variabili di input esistenti. Un termine interazione verrebbe aggiunto se si sospetta che il valore di una delle variabili di input modifichi il modo in cui una variabile di input diversa influisce sulla variabile di output.

Per esempio, forse per le persone con bambini presenti durante un soggiorno in albergo, i più giovani sono più soddisfatti degli anziani, ma per le persone senza figli presenti, i più giovani sono meno soddisfatti. Ciò significherebbe che esiste un’interazione tra “Bambini presenti” e “Età”.

La selezione di due variabili in Aggiungi un’interazione tra in fondo alla lista di variabili di input nella scheda aggiungerà un termine di interazione alla regressione. Questa funzionalità è disponibile solo in Ordinary Least Squares, M-Estimation e Ridge Regression.

È possibile ottenere lo stesso effetto per le variabili categoriali in un’analisi dell’importanza relativa creando una nuova variabile che combini le due. Ad esempio, è possibile combinare la variabile Color (con gruppi rossi e verdi) con Size (con gruppi grandi e piccoli) per creare una variabile chiamata ColorSize (con i gruppi BigRed, BigGreen, SmallRed e SmallGreen).

Multicollinearità

La multicollinearità si verifica in un contesto di regressione quando due o più variabili di entrata sono altamente correlate tra loro.

Quando due variabili sono altamente correlate, la matematica per la regressione generalmente inserisce il maggior valore possibile in una variabile e non nell’altra. Ciò si manifesta in un coefficiente maggiore per quella variabile. Tuttavia, se il modello viene modificato anche solo una piccola quantità (ad esempio aggiungendo un filtro), la variabile in cui è stata collocata la maggior parte del valore può cambiare. Ciò significa che anche un piccolo cambiamento può avere un effetto drastico sul modello di regressione.

L’analisi dell’importanza relativa gestisce questo problema in modo da non doverlo preoccupare. Se si preferisce utilizzare uno degli altri metodi e il modello presenta questo problema, la presenza di multicollinearità (misurata con “Fattore di inflazione di varianza”) attiverà un avviso e suggerirà, ad esempio, di rimuovere una variabile o combinare variabili mediante la loro media.

Messaggi di avvertimento

Stats iQ ti avvertirà in caso di potenziali problemi con i risultati della regressione. Queste includono le seguenti situazioni:

• Le variabili di input nella regressione non sono statisticamente significative.
• La trasformazione ha rimosso i dati dalla regressione.
• Due o più variabili sono altamente correlate tra loro e stanno rendendo instabili i tuoi risultati, cioè la multicollinearità.
• I residui hanno uno schema che suggerisce che il modello potrebbe essere migliorato.
• Una variabile con un solo valore è stata rimossa automaticamente.
• La dimensione del campione è troppo bassa rispetto al numero di variabili di input nella regressione.
• È stata aggiunta una variabile di categoria con troppe opzioni di risposta.

FAQ