Si continúan la calle Atarazanas en dirección contraria al centro histórico, llegarán a la parte baja del Cerro del Alcázar. Allí se ven solo escasos restos del Alcázar de Baeza, pero todo este cerro cubierto de hierba donde se puede ver de vez en cuándo algún rebaño de ovejas paciendo, es posiblemente una de las zonas arqueológicas más importantes de la provincia, donde hay una secuencia de ocupación que va desde la etapa prehistórica, 3.500 A.C., hasta la actualidad.
De la Edad de Bronce, los restos más llamativos son conjuntos funerarios con ajuares cerámicos y metálicos muy importantes, enterramientos que se hacían en las mismas viviendas de los íberos que habitaron este lugar.
También se encontraron restos de la época romana, como restos de la muralla, de la época visigoda, aunque los más importantes corresponden a la Edad Media y Renacimiento.
El Alcázar al que pertenecían los restos que aquí se ven, figura en el escudo de Baeza. Éste cuenta la leyenda de la toma de la ciudad por los cristianos.
En el año 1014, la Baeza musulmana se encontraba entre varios reinos de Taifas: Murcia, Almería, Denia, Granada, Toledo y Sevilla. Como ciudad fronteriza, los almohades la amurallaron y fortificaron con un magnífico alcázar.
Ya en el 1224, se declaró emir de la ciudad Al-Bayyasi, quien en sus luchas con los otros reinos musulmanes, pidió ayuda al rey Fernando III de Castilla. A cambio de esta ayuda, le concedió al rey cristiano que instalara tropas en el alcázar. Durante la guerra que Al-Bayyasi tenía con el rey de Sevilla, fue muerto por sus propios soldados en Córdoba. Cuando se cundió la noticia en Baeza, quedaron las tropas cristianas aisladas en territorio enemigo en el alcázar, por lo que resolvieron salir de la ciudad. Cuenta la leyenda que huyeron de noche, con los caballos herrados con las herraduras al revés, para que las huellas engañaran a los moros haciéndoles pensar que eran de nuevas tropas que habían llegado. Ya desde las afueras, vieron encima del Alcázar una cruz luminosa. Este lugar se recuerda con la que llaman los baezanos Cruz de la Asomada. Tras cambiarles otra vez las herraduras a los caballos, volvieron los caballeros a entrar en el Alcázar. A la mañana, vieron sus enemigos la multitud de huellas que se dirigían a la fortaleza, las de cuando los caballeros huyeron y las de cuando volvieron. Engañados, creyeron que había llegado el grueso de las tropas cristianas, por lo que abandonaron la ciudad dando tiempo a la conquista definitiva por el rey San Fernando. Al ser ese día la festividad de San Andrés, se le declaró patrón de la ciudad. Así se distingue en el escudo, como reza el romance, el Alcázar, la cruz patriarcal y la cruz de San Andrés.
Entre torres doradas,
Vide la Cruz
milagrosa,
con dos llaves argentadas
y las Puertas zafiradas,
sobre sangre generosa.
Soy Baeza la nombrada,
Nido Real de Gavilanes,
Tienen en sangre la espada
De los moros de Granada
Mis valientes capitanes.
Otra curiosidad es que fue Isabel la Católica quien mandó “derribar sus fortalezas de manera que en ellas no quedase fortalecida cosa alguna contra la ciudad”, en 1476, a escasos años de atacar el cercanísimo Reino de Granada. Esta orden fue provocada por las luchas entre dos importantes familias de la ciudad, los Carvajales y los Benavides.
En el año 1526 con motivo de la visita del emperador Carlos cuando regresaba de su boda con Isbel de Portugal en Sevilla, el corregidor D. Álvaro de Lugo,
mandó levantar la puerta a modo de arco de triunfo, en sillería de piedra, con arco
apuntado y una moldura que guarda las armas del Emperador, las de Baeza y las
del corregidor.
Esta hermosa plaza a la que se entra por tan airoso arco, es conocida por dos nombres, Plaza del Pópulo o Plaza de los Leones. El primer nombre lo recibió por la capilla de la Virgen
del Pópulo,
De la Edad de Bronce, los restos más llamativos son conjuntos funerarios con ajuares cerámicos y metálicos muy importantes, enterramientos que se hacían en las mismas viviendas de los íberos que habitaron este lugar.
Vide 
En la calle Atarazanas, junto a unos de los escasos restos de las murallas de Baeza, se encuentra lo que fue capilla de la Primera Fundación Universitaria, hoy Museo de Baeza.
Una humilde Cruz Verde sobre una columna en el centro da nombre a la plaza. Fue ésta símbolo de la Inquisición que tenía su sede en el edificio que se observa tras ella con un gran muro de piedra. Su color verde simbolizaba esperanza del pecador arrepentido.
Destaca el hermoso capitel de la columna adosada al ábside. Conserva aún en su interior restos de las pinturas que lo adornaban.
Hacia la calle Santa Catalina, abre una portada renacentista, utilizada como acceso a la actual vivienda. 
Saliendo del Hotel Puerta de la Luna hacia la izquierda, nos encontramos con un muro de piedra perteneciente al antiguo Convento de Santa Catalina.
En el interior queda el elemento mas significativo, el
claustro. Consta de 2 pisos y tres vanos a cada lado, con columnas de orden
toscano, arcos de medio punto moldurados en el interior y rebajados en el
superior, con mensula en la clave y espejos en las enjutas.