Esta construcción, ubicada sobre avenida Juárez 638, entre Pavo y 8 de Julio, fue el Convento de la Orden de los Carmelitas: fue construido entre 1687 y 1690, aunque fue remozado entre 1820 y 1830, tiempo en que también se le hicieron algunas adiciones a la estructura original.
Originalmente, este convento abarcaba una extensión mucho más amplia: de Pedro Moreno a López Cotilla y de 8 de Julio, hasta Enrique Díaz de León. Además del convento, había varias huertas y el complejo incluía al Templo de Nuestra Señora del Carmen, que continúa en pie frente al actual ex convento.
Aunque era un complejo religioso de alta valía y extensión territorial, en sus más de tres siglos de historia ha sufrido muchas pérdidas y modificaciones.
Según documenta el Patronato del Centro Histórico, durante la guerra de Reforma, este convento fue atacado a punta de cañones por el bando liberal, en 1860. En ese tiempo se transformó en cuartel militar y el templo mayor fue destruido.
El recinto también tenía gran biblioteca central que también fue demolida y para rematar la historia desafortunada, con las ampliaciones de la avenida Juárez, realizadas entre 1947 a 1952, lo que quedaba del convento fue partido prácticamente a la mitad: quedó como en una especie de isla, la iglesia de un lado de la avenida y una pequeña parte del convento del otro lado de la acera.
En la década de 1960, el arquitecto Gonzalo Villa Chávez se encargó de rehabilitar este sitio histórico para convertirse en un centro cultural.
Desde entonces este recinto ha sido sede de exposiciones de artes plásticas, ciclos de cine, charlas de literatura, conciertos, así como espectáculos de danza y teatro. Actualmente se ubica en Avenida Juárez 638 y abre de martes a sábado, de 11:00 a 17:00 horas, y domingo, de 11:00 a 14:00 horas.