Este primer núcleo de población estuvo amurallado para la defensa de sus habitantes. Comprendía el actual solar de la iglesia de San Antonino Màrtir y las calles adyacentes de la subida del Crist de l’Empar, Delícies, Goleta, Sant Domènec, Sant Joan del Regalessiar, Rebollet y Calvari.

Posteriormente tuvo una extensión aproximada de 800 m lineales, existiendo hoy en día restos que lo justifican. En su parte este y sur, quedan unos 100 m de lienzo de muro, con un trazado perteneciente al s. XIV y construida al estilo morisco. Además, hay indicios de existencia de dos torres.

El conjunto fortificado del Portal Roig y el Rafalí forma un tipo de fortín, con un recinto poligonal dotado de torres y flancos en forma de sierra, que permitían la defensa de la entrada oriental de la villa, por el Portal Roig, así como el control y la vigilancia de los dos caminos que, desde el oriente, llegan hasta las puertas de este singular lugar: el camí del Calvari, que une los asentamientos del castell y villa de Rebollet con el pueblo, y el camino del cementerio viejo, que envuelve por el sur el promontorio donde se asienta la Font d’en Carròs.