Al final de la Font d’en Carròs, a uns 1340 metres al sud-est del municipi, es troba el castell de Rebollet amb accés per la carretera de la Font d’en Carròs a Oliva.
En este lloc, s’han trobat restes de materials que pertanyien a l’edat de bronze (1500-1000 a. C.), a més de restes de la civilització romana.
Durant la reconquesta del regne de València per Jaume I d’Aragó (1229-1245), un dels seus cavallers, en Carròs (fill del comte Alemany), va guanyar el fort i rocós Castell de Rebollet. Agraït el Rei pels seus servicis, en 1240 va fer gràcies a en Carròs del senyoriu del castell on va alçar una església i va depositar la imatge de la Mare de Déu de Rebollet.
El 26 de desembre de l’any 1568, un dels pitjors terratrémols a la comarca de la Safor va derrocar molts edificis i entre estos el castell de Rebollet. Unes de les poques coses que es van salvar va ser la imatge de la Mare de Déu del Remei i la imatge de la Mare de Déu de Rebollet que en l’actualitat, i després de molts enfrontaments entre Oliva i la Font, es troba a l’església dels religiosos franciscans d’Oliva.
Actualment, el castell de Rebollet es troba molt deteriorat pel pas del temps. No obstant això, està situat en un paisatge de bellesa peculiar amb vista a la mar.
