El castillo de Alfajarín fue construido en el siglo XI por Aben Alfaje en la atalaya natural de los Montes Blancos, junto a la ermita de la Virgen de la Peña, con el fin de vigilar la ribera del Ebro y proteger Zaragoza.
El acceso era mediante un puente levadizo que estaba flanqueado por dos torres, una de arco apuntado que contenía la puerta de acceso y la otra de gran volumen con detalles góticos y planta cuadrada.
El castillo musulmán de Alfajarín se construiría como uno de los castillos defensivos y de vigilancia que durante el siglo X se construyeron por la ribera del Ebro. Si bien los pocos restos que se conservan hoy son posteriores y pertenecen a la fortificación que realizaron los Corneles en el siglo XIII y XIV. Por lo tanto el desarrollo del núcleo urbano de Alfajarín se hizo siempre al amparo del castillo, hacia el que siempre miro el pueblo. Alfajarín y su castillo fueron reconquistados por Alfonso I de Aragón en 1119 después de la conquista de Zaragoza. Si bien el abandono por parte de los cristianos hizo que los musulmanes volvieran a coger el control de Alfajarín hasta la total reconquista en 1131. De esta fecha es cuando se conoce el primer señor de Alfajarín y el primer Abad que tratara de restablecer la fe cristiana y cree la Iglesia.
Alfonso I da un documento por el que nombra a Sancho, abad y habla de Fortún Galindez como señor de Alfajarín. El lugar de Alfajarín era de realengo, es decir, pertenecía al rey hasta que en 1293 se le entrego el Señorío de Alfajarín a Pedro Cornel. En este periodo aparecen diferentes tenentes siempre dependiendo del rey como se demuestra en una documenta- ción de 1225 en la que Jaime I permite a Elo Alvarez empeñar la villa de Alfajarín.
La Iglesia de Alfajarín se hizo bajo la advocación de San Miguel pero también aparece el culto a Santa María Magdalena cuya Ermita se encuentra hoy en ruinas, además de la devoción hacía la Virgen de la Peña en la ermita que todavía hoy continua. En 1293 Jaime II ordena que el castillo, la villa y las aldeas (Candasniellos, ya desaparecida) sean entregados a Pedro Cornel. Se convierte pues Alfajarín en un señorío dependiente de la familia de los Cornel, pasando en 1334 Jimeno Cornel, en 1348 Tomás Cornel, en 1352 Luis Cornel y posteriormente el hijo de este quien protagonizo una curiosa historia con Brianda de Luna (relatada en el apartado del Castillo). Estos Cornel fueron los encargados de fortificar la villa en la cual queda como resto la puerta de entrada de la muralla, el arco de La Portaza del siglo XIV; también ellos reformaron el castillo e hicieron en el interior una residencia para los señores.
En 1437 la Baronía deja de ser propiedad de los Cornel y Alfonso V de Aragón concedió a los hombres de la Baronía de Alfajarín franquicia perpetua a los derechos reales, con motivo de la adquisición de la Baronía por parte de Don Juan de Mur.
