En este lugar, se han encontrado restos de materiales que pertenecían a la edad de bronce (1500-1000 a. C.), además de restos de la civilización romana.

Durante la reconquista del reino de Valencia por Jaume I de Aragón (1229-1245), uno de sus caballeros, En Carròs (hijo del conde Alemany), ganó el fuerte y rocoso Castell de Rebollet. Agradecido el Rey por sus servicios, en 1240 hizo merced a en Carròs del señorío del castillo donde levantó una iglesia y depositó la imagen de la Mare de Déu de Rebollet.

El 26 de diciembre del año 1568, uno de los peores terremotos a la comarca de la Safor derribó muchos edificios y entre estos el Castell de Rebollet. Unas de las pocas cosas que se salvaron fueron la imagen de la Mare de Déu del Remei y la imagen de la Mare de Déu de Rebollet que en la actualidad, y después de muchos enfrentamientos entre Oliva y la Font, se encuentra en la iglesia de los religiosos franciscanos de Oliva.

Actualmente, el Castell de Rebollet se encuentra muy deteriorado por el paso del tiempo. Sin embargo, está situado en un paisaje de belleza peculiar con vistas al mar.