En este lugar, se asentaron numerosas civilizaciones las que habitaron nuestro territorio. Todos estos poblados se asentaron en esta zona debido a la zona estratégica que daba, porque es uno de los puntos más altos del término. Se han encontrado restos de materiales que pertenecían a la edad de bronce (1500-1000 a. C.), además de restos pertenecientes a la civilización romana.

Durante la reconquista del reino de Valencia por Jaume I de Aragón (1229-1245), uno de sus caballeros, En Carròs (hijo del conde Alemany), participó en la conquista de Mallorca con sus naves. Después, participó en la conquista de estas tierras ganando el fuerte y rocoso Castell de Rebollet. Agradecido el Rey por sus servicios, el 1240 hizo merced a en Carròs del señorío del Castell y Villa de Rebollet. No abandonó la plaza dada la posición estratégica que tenía, sino que fortificó el castillo, alzó al recinto una iglesia, y estableció su residencia familiar. En esta iglesia depositó la imagen románica de la Virgen de Rebollet, la misma imagen que acompañaba a en Carròs a los combates de la guerra. Posteriormente, en el interior de la iglesia dedicada a Sant Nicolau, había una capilla dedicada a la Virgen de Rebollet, otra a la Virgen del Remedio y un panteón para los sarcófagos de los señores Carròs.

El 26 de diciembre de 1598, en la comarca de la Safor, se produjo uno de los peores terremotos conocidos hasta el momento, derribando muchos edificios y entre estos el Castell de Rebollet. Unas de las pocas cosas que se salvaron fueron la imagen de la Virgen del Remedio y la imagen del s. XII de la Virgen de Rebollet que en la actualidad, y después de muchos enfrentamientos entre Oliva y la Font, se encuentra en la iglesia de los religiosos franciscanos de Oliva, después de que los vecinos de la Font acudieron al tribunal eclesiástico de Valencia y este dictara donde debía depositarse la imagen de la Mare de Déu.

En el mes de enero de 1747, un vecino de la Font, sacando piedras del recinto del Castillo, encontró los dos sepulcros que pertenecían a Francesc Carròs I y Francesc Carròs II los que habían sido sepultados a causa del terremoto. Estos se trasladaron a la iglesia de la Font d'en Carròs. El acceso del castillo está situado en el extremo oeste y tiene una entrada protegida por parámetros de ladrillo. Enfrente, encontramos la torre del homenaje, probablemente del s. XV, hecha de ladrillo; parece probable que la torre estaría formada por tres plantas y posiblemente cubierta por una bóveda de ladrillo y cal. Adosada a los muros laterales de la torre se observa la muralla hecha de tapia de unos 67 metros de longitud.

Actualmente, el Castell de Rebollet se encuentra muy deteriorado por el paso del tiempo y las condiciones naturales. Sin embargo, éste está situado en un paisaje de belleza peculiar con vistas al mar.