Perché sur son promontoire rocheux, ancien fief du Chapitre de Gap, Rabou était jadis entouré de murs dont il ne reste, çà et là, que quelques vestiges épars ; le plus remarquable étant une partie d'une des portes datant du XIVe siècle.

Au hameau de Bertaud, site grandiose au pied du Pic de Bure, fut édifié en 1188 un couvent de Chartreusines (aujourd'hui encore lieu de pèlerinage le premier dimanche de juillet, en hommage à Sainte Roseline). Rabou, fréquenté par les nombreux randonneurs empruntant les GR 93 et 974, offre le spectacle étonnant de son église dominant un abrupt impressionnant.