Immerso nell'incantevole Riserva Naturale della Valle dell'Orta, nei suoi pressi sono ancora visibili i ruderi dell'antico borgo che lo circondava.
Le sue origini sono anteriori all'anno Mille costruito come feudo dell'Abbazia di San Clemente a Casauria. La funzione primaria per la quale il castello venne eretto fu dunque esclusivamente difensiva, solo in seguito, quando divenne possesso feudale, assolse anche a scopi abitativi.
La struttura, eretta in pietra della Maiella è occupata per metà dalla chiesa del Beato Roberto da Salle. La facciata principale offre tre diversi ingressi con feritoie da cui ancora escono i fusti di cannone. Sul lato nord vi è l'ingresso al museo al quale si giunge attraverso un lungo viale, circondato da un tipico giardino all' italiana. L'intero castello risulta coperto da un terrazzo con parapetto in muratura merlato, dal quale si ergono tre torri. Il castello di Salle è oggi occupato per una parte dall'abitazione del barone di Genova di Salle e per l'altra dal Museo Medievale Borbonico.
Leggenda vuole che le sale del Castello di notte siano visitate dal fantasma della “Stecchina”, una vecchina alta e magra del 1300 morta tragicamente. Vi è inoltre la credenza che nel castello sia nascosto il “tesoro del Barone”. Il tesoro "reale", secondo la leggenda, fu fatto interrare su una collinetta tra il massiccio della Maiella e il Monte Morrone dall'Imperatore romano Valentiniano III per timore che fosse trafugato dagli Unni. In seguito l'Imperatore avrebbe fatto giustiziare tutti coloro che erano a conoscenza dei fatti, ma nel 455 d.C. morì improvvisamente portandosi via per sempre il suo segreto.