S’emplaça damunt d’un turó escarpat, en una esperó situat al peu de la muntanya d’Enclar anomenat turó o roca d’Enclar, des d’on domina tot el que avui en diem la vall central, però que antuvi configurava bona part de la parròquia d’Andorra. En un immens entorn dominat per la roca, el castell s’alça en aquest turó que sobresurt del solà, vorejat pel riu d’Enclar i les roques que fan també de muralla natural, esguardant Santa Coloma. 
Per conèixer-lo bé, cal consultar la monografia Roc d’Enclar. Transformacions d’un espai dominant. Segles IV-XIX, editada per Patrimoni Cultural l’any 1997, i coordinada per Xavier Llovera, Josep Maria Bosch, Maria Àngels Ruf, Cristina Yáñez, Xavier Solé i Antoni Vila, i que compta amb la col·laboració d’un garbuix d’especialistes en les diferents èpoques i matèries. 
El castell era un antic castrum construït a la meitat del segle IV com a claustra, convertit en un veritable punt de control territorial en època altmedieval. Abel Fortó i Olivier Codina indiquen a Andorra, un profund i llarg viatge, catàleg de l’exposició del mateix nom, editat el 2010, que la fortificació va quedar vinculada al poder visigot i molt possiblement les seves funcions es van estendre durant el segle VII. 
Avancem més en el temps. Sense que posem en dubte la seva veracitat de l’acta, l’any 952 el bisbe Guisad II va consagrar i dotar l’església de Sant Feliu de Ciutat (Castellciutat). El comte Borrell II, que administrava Urgell i Barcelona, va lliurar al temple una sèrie de possessions a Andorra, que incloïen el  castell d’Enclar i l’església de Sant Vicenç (“castrum Santi Vicencii cum ipsa ecclesia”). En aquella època el castell, com a estructura militar, estava en desús, però la seva església romania oberta al culte, amb les rendes que d’ella depenien.
Encara que no funcionés com a tal, el castell restava vinculat a la família comtal. Una altra data clau de la seva història és l’any 1099, quan els comtes d’Urgell, Ermengol V i Maria, van donar l’església de Sant Vicenç al monestir de Sant Sadurní de Tavèrnoles. La donació incloïa altres esglésies dels comtes, com la de Sant Feliu de Ciutat, que com hem vist, anava lligada al castell d’Enclar. D’aquesta donació n’hem parlat alguna altra vegada, els comtes ho feien amb la condició que ells i els seus successors tinguessin al seu palau de Ciutat (Castellciutat) un prevere i un sotsdiaca de l’esmentat monestir , i que sempre que comte sortís en combat, “ad hostem”, o cap a Roma, el monestir li hauria de proporcionar dos clergues.
La pervivència de l’església, que no del castell com a instal·lació militar, va perdurar en els anys. Ens situem ara al 1287, quan Roger Bernat III va obtenir de l’abat Berenguer de Tavèrnoles el turó d’Enclar, en el qual hi havia els paraments de l’antic castell. Com bé sabem, el comte va començar a reedificar-lo, provocant la preocupació del bisbe i la signatura del segon Pariatge, el de l’any 1288, que va establir que cap dels dos senyors hi podia edificar un castell sense el permís de l’altre.
L’explotació vitícola a la muntanya d’Enclar es testimonia des d’Època Antiga. Sota del turó, a Santa Coloma, es documenten en època medieval una sèrie de vinyes que pertanyien a la família comtal urgellenca, i que van vincular-se a l’Església d’Urgell, conjuntament amb altres possessions comtals a Andorra, com a conseqüència de la permuta que l’any 988 el comte Borrell II va pactar amb el bisbe Sal·la. Aquest acord sembla que no es va acomplir en la seva totalitat, atès que força anys més tard, el 1133, quan el comte Ermengol VI va vendre al bisbe Pere Berenguer els drets i possessions que posseïa a Andorra, també hi va incloure alous (propietats), entre les quals hi hauria també possessions de vinya a Santa Coloma. Just l’any 1135, trobem documentada una vinya de Santa Maria d’Urgell, de la Catedral, que havia pertangut al comte (“in vinea Sancte Marie, qui fuit de comite”).