Un factor importante en la sedentarización de la población y en el nacimiento de las aldeas medievales fueron los asentamientos de pequeñas comunidades monásticas. En esta zona, al igual que en muchos otros lugares del Alto Ebro, se conservan los restos de pequeños eremitorios excavados en la roca. Estos eremitorios fueron el antecedente de monasterios propios o familiares como el que existió en Rioseco hasta el siglo XII. Eran pequeños templos en torno a los cuales vivían unas pocas familias.
Muy cerca de la población de Manzanedo, junto al antiguo camino que enlazaba la capital del valle con San Martín del Rojo o Argés, se emplaza en una roca caliza el eremitorio de la Cueva de los Moros o Cueva del Hoyo. Se trata de un reducido espacio, con amplia visibilidad sobre el valle y el curso del Ebro. En la roca caliza se excavó este espacio donde se aprecia una puerta de acceso y una ventana. El interior del templo es de una sola nave cubierta por su bóveda natural y con una cabecera al fondo más estrecha.