К северо-востоку от монастыря Вардзия на расстоянии 4 км на середине высоты склона узкого ущелья имеется еще одна, более древняя обитель – сейчас она называется Верхняя Вардзия,  где до нашего времени сохранилась церковь им. Богоматери. 

Она построена из тесанного  камня и представляет собой двух-нефное сооружение, с портиком в виде аркады с южной стороны, что делает его похожим на трех-нефный собор.  Вместе с тем перекрыт собор двускатной кровлей, что вызвано тем, что по бокам поверх свода устроены тайники.  Главный неф – южный, высокий широкий, он посредством двух опор отделяется от узкого неосвещенного северного нефа.  Этот последний как-бы создает фон высоким изящным аркам и их украшенным резным орнаментом капителям.  Декорированы и фасады – скульптурные наличники и обрамления  окон и дверных проемов, капители колонн портика.  Особенно выразительно обрамление южной двери, увенчанное резным крестом, выполненным в виде плетения.  Согласно надписи организатор строительства был сильный феодал Липарит Эриставт-Эристави, живший в XI веке.

Церковь была расписана, видимо, тогда-же в XI веке;  к сожалению, до наших дней сохранилась лишь  небольшая часть росписи и то в виде поврежденных фрагментов.  Повреждено было и само здание – на протяжении времени обвалился южный портик.  В 1970 году собор был полностью восстановлен из обваленных  старых камней.