El Rafalí está emplazado en el sureste del núcleo urbano. El límite oriental coincide con el asentamiento urbano de la baja edad media y la edad moderna. Las ampliaciones urbanas más significativas durante la edad moderna se detectan al norte y al oeste del recinto primigenio.

Este primer núcleo de población estuvo amurallado para la defensa de sus habitantes. Comprendía el actual solar de la Iglesia de San Antonino Mártir y las calles adyacentes de la subida del Crist de l’Empar, Delícies, Goleta, Sant Domènec, de Sant Joan, Regalessiar, Rebollet y Calvari. Posteriormente tuvo una extensión aproximada de 800 m lineales, existiendo hoy en día restos que lo justifican. Además, hay indicios de existencia de dos torres.

Actualmente, en su parte Este y Sur, quedan unos 100 metros de lienzo de muro, con un trazado perteneciente al s. XIV y construida al estilo morisco. Las murallas gozan de la consideración de Bien de Interés Cultural (BIC). El conjunto fortificado del Portal Roig y el Rafalí forma una especie de fortín, con un recinto poligonal dotado de torres y flancos en forma de sierra, que permitían la defensa de la entrada oriental de la villa, por el Portal Roig, así como el control y la vigilancia de los dos caminos que, desde el oriente, llegan hasta las puertas de este singular lugar: El Camí del Calvari, que une los asentamientos del Castillo y Villa de Rebollet con el pueblo, y el camino del cementerio viejo, que rodea por el sur el promontorio donde se asienta la Font d'en Carròs. Quedan restos del empedrado primitivo que cubría el Camí del Calvari.