Dominant le centre du village, l’église Saint-Denis forme un bel ensemble avec le presbytère voisin. La tour de tradition romane qui précède l’édifice date probablement des XIIème et XIIIème siècles, mais elle a subi de multiples remaniements au cours des siècles. En témoigne sa maçonnerie en moellons de silex, grès, calcaire et tuffeau. Un portail daté de 1587 donne accès au porche méridional. La nef et le chœur, en briques, grès et calcaire, datent de 1683. Ce millésime se retrouve deux fois dans les stucs qui décorent l’intérieur : à proximité de la tribune d’orgues, accompagnant les armoiries de Boirs ; au centre de la nef, dans le chronogramme " UnIIgLorIoso trInoqUe/Deo/eXstrUCtUM " (élevé en l’honneur de Dieu glorieux, unique dans la Trinité). La travée précédant le chœur porte les armoiries de Liverloo. Ces stucs remarquables, de style louis XIV ou baroque tempéré, sont signés Joannis Doris.

Du beau mobilier qui enrichissait l’église d’Oleye, il reste notamment une intéressante chaire de vérité Renaissance en chêne peint, du milieu du XVIIème siècle, ainsi qu’un confessionnal de la même époque. Le second confessionnal, orné de jolies rocailles et de colonnes sous une corniche cintrée, date du milieu du XVIIIème siècle.

Le presbytère remonte principalement au XVIIIème siècle dans sa forme actuelle. Il conserve à l’intérieur une belle cheminée de pierre datée 1663.

La ferme de la Paix-Dieu est accessible par un portail du XVIIème siècle. Il est surmonté par une dalle portant les armoiries de Jeanne de Marotte, abbesse de la Paix-Dieu, avec les initiales I M et le millésime 1634.

Dans la cour, le logis en double corps se compose de six travées sur deux niveaux. Au-dessus de la porte, une dalle montre les armoiries de Lambertine de Wanzoulle, abbesse de la Paix-Dieu de 1719 à 1748, avec ses initiales L M et la date fragmentaire 17[ ].