El Rafalí està emplaçat al sud-est del nucli urbà. El límit oriental coincideix amb l'assentament urbà de la baixa edat mitjana i l'edat moderna. Les ampliacions urbanes més significatives durant l'edat moderna es detecten al nord i a l'oest del recinte primigeni.

Aquest primer nucli de població va estar emmurallat per a la defensa dels seus habitants. Comprenia l'actual solar de l'Església de Sant Antoní Màrtir i els carrers adjacents de la pujada del Crist de l'Empar, Delícies, Goleta, Sant Domènec, Sant Joan, Regalessiar, Rebollet i Calvari. Posteriorment va tindre una extensió aproximada de 800 m lineals, existint hui en dia restes que ho justifiquen. A més a més, hi ha indicis d'existència de dues torres.

Actualment, en la seua part Est i Sud, queden uns 100 metres de llenç de mur, amb un traçat pertanyent al s. XIV i construïda a l'estil morisc. Les muralles gaudeixen de la consideració de Bé d’Interés Cultural (BIC). El conjunt fortificat del Portal Roig i el Rafalí forma una mena de fortí, amb un recinte poligonal dotat de torres i flancs en forma de serra, que permetien la defensa de l'entrada oriental de la vila, pel Portal Roig, així com el control i la vigilància dels dos camins que, des de l'orient, apleguen fins a les portes d'aquest singular lloc: el Camí del Calvari, que uneix els assentaments del Castell i Vila de Rebollet amb el poble, i el camí del cementeri vell, que envolta pel sud el promontori on s'assenta la Font d'en Carròs. Queden restes de l'empedrat primitiu que cobria el camí del Calvari.