El tercer recinto que compone el castillo es el arrabal y ocupa su parte sur. Aún conserva un lienzo de muralla de mampostería con dos torres macizas semicirculares. Esta parte, el arrabal, se nombra en algunas crónicas castellanas.
Incluso se mencionan en estas crónicas a los arrabales en plural, dando a entender que existieron varios en Íllora. Por ejemplo se narra que cuando Alfonso XI dirigió una incursión contra Íllora en 1341 ‘entraron a los arrabales por fuerza de armas’.
Aunque las fuentes escritas confirman la existencia de arrabales, se carece de información arqueológica que lo confirme.