Ни стручњаци нису сигурни да ли је ова тврђава саграђена пре 13. века или касније, у које сврхе и ко је њоме најпре господарио. Понегде се у књигама помиње де је, можда, грађена још у време Стефана Немање, ради одбране севера српске државе и манастира, али има претпоставки да је за исте потребе подигнута касније. Сигурно је једино, јер о томе сведочи очувани запис, да је архиепископ Данило у њој саградио „прекрасне палате, ћелије и цркву Светог Ђорђа”, али је то било тек средином 16. века.
У народу од давнина постоји легенда да је овај град подигла Јерина, жена деспота Ђурђа Бранковића, омражена у народу и названа проклетом. Зато се здање и данас назива Јеринин град, али то би, такође, морало бити у првој половини 15. века, што стручњаци одбацују. Ова тврђава је, дакле, и данас чувар многих тајни. Стручњацима је још недокучива истина о белим и плавим јоргованима који сваког пролећа цветају у околини тврђаве и дуж ибарске долине. Према једном предању, њих су средином 13. века засадили поданици српског краља Уроша Првог, који се оженио Јеленом, католикињом, анжујског рода. Желео је, каже то предање, да својој невести подари амбијент сличан пределима из којих је потекла. Она је касније и у народу била поштована, била и владарка неких српских земаља, а подигла је и православни манастир Градац, учествовала је и у неким дипломатским мисијама, нарочито у земљама католичких владара. Неколико покушаја да се одгонетне чија је, односно које је колено била у династији Анжујаца, није уродило плодом. Од таквог истраживања, због оскудних података, одустала је својевремено и Енглескиња Марија Рул, која је, преласком из англиканске у православну веру, деведесетих година прошлог века била игуманија манастира Градац.
Но, о јоргованима постоји и друго предање, према коме их није садио краљ Урош већ његов и Јеленин син, касније краљ Милутин. Пошто се женио више пута, његова трећа супруга Симонида, малолетна кћи византијског цара Андроника, дошла је на српски двор као девојчица и ту одрастала до спремности за брак. Стога, каже то предање, да не би расла у кршу, тузи и сузама, краљ је чинио све за своју премладу невесту, па је пределе улепшавао овим цвећем, па отуда у клисури сада толико расцветалих јоргована.
Мирољуб Дугалић