Entrambi sono metodi di apprendimento ensemble e predicono (regressione o classificazione) combinando i risultati dei singoli alberi. Differiscono nel modo in cui gli alberi sono costruiti - l'ordine e il modo in cui i risultati sono combinati.

Le foreste casuali addestrano ogni albero indipendentemente, usando un campione casuale dei dati. Questa casualità aiuta a rendere il modello più robusto di un singolo albero di decisione, e meno probabile che si adatti troppo ai dati di allenamento. Ci sono tipicamente due parametri in RF - il numero di alberi e il numero di caratteristiche da selezionare ad ogni nodo.

GBTs costruiscono alberi uno alla volta, dove ogni nuovo albero aiuta a correggere gli errori fatti dall'albero precedentemente addestrato. Con ogni albero aggiunto, il modello diventa ancora più espressivo. Ci sono tipicamente tre parametri - numero di alberi, profondità degli alberi e tasso di apprendimento, e ogni albero costruito è generalmente poco profondo.

L'addestramento GBDT generalmente richiede più tempo a causa del fatto che gli alberi sono costruiti in modo sequenziale. However benchmark results have shown GBDT are better learners than Random Forests.

An overview of differences and some benchmarks results in terms of error rate and training time are given in link below:

Random Forests and Boosting in MLlib

Although it may seem GBDTs are better than random forests, GBDTs are prone to overfitting, however there are strategies to overcome same and build more generalized trees using a combination of parameters like learning rate (shrinkage) and depth of tree. Generally the two parameters are kept on the lower side to allow for slow learning and better generalization.

Qui c'è una descrizione molto dettagliata con derivazioni matematiche ecc dei GBM
Pagina su washington.edu

Spero che questo aiuti.