Het kasteel van Denia ligt in het centrum van de stad op een heuvel en op een hoogte van 60 meter. Men komt er langs de smalle straatjes onder de toegangspoort in de wijk Les Roques en de entree bestaat uit een moorse ingang, de authentieke islamitische ingang tot het kasteel.
Het waren inderdaad de Arabieen die het eerste kasteel bouwden in de tiende en elfde eeuw, maar er zijn ook sporen van het Romeinse Dianium. De Romeinen bouwden hier dus eerst een kleine versterking. Het kasteel had bij de islamieten niet alleen de functie van een verdediging, het was ook het paleis van de
gouverneur van Daniya, zoals de stad onder Arabische heerschappij heette.
In de elfde eeuw was het grotendeels voltooid met een buitenste ommuring die de bevolking beschermde en een tweede ommuring die het paleis beschermde. Zoals archeologische onderzoeken hebben aangetoond werden in de tweede helft van de twaalfde eeuw belangrijke versterkingen aangebracht.
In het alcazaba, het eerste binnenplein, stond de huidieg Torre del Mig, de belangrijkste van dit stuk. Hij werd gebouwd in de elfde eeuw en diende als eerste verdediging. Uit die tijd stamt ook het Portal de la Vila, de indrukwekkende toegangspoort.
Na de verovering door de troepen van Jaume I in 1244 werden binnen de ommuring huizen gebouwd en rond 1600 bouwde men op het hoogste punt het Renaissancegebouw als woning voor de markies van Denia, nu het Palau del Governador en archeologisch museum.
Vanaf de zestiende eeuw werd het kasteel stevig aangepakt en aangepast aan de modernere oorlogvoering met de bouw van vestingen, die een belangrijk architecturaal impact hadden. De oorlogen zouden trouwens een stempel drukken op het kasteel, zoals de Successieoorlog en de oorlog tegen de Fransen. In de negentiende eeuw ging het kasteel over in privé-handen en legde men landbouwterrassen aan binnen de muren, bestemd voor druiven die tot rozijnen werden gedroogd.
In 1947 slaagde het gemeentebestuur van Denia er in om het kasteel te kopen en daarna werden druppelsgewijs restauraties uitgevoerd die nog steeds voortduren. Met de komst van het toerisme legde men een asfaltweg aan naar boven om voorstellingen te kunnen geven, terwijl het hele domein werd opgeknapt en opengesteld voor het publiek.
Eenmaal binnen heeft men enkele mogelijkheden om naar boven te gaan, maar ook het benedendeel met de oude landbouwterrassen waar men nu picknicktafels plaatste, is een bezoek waard. Het ommuurde deel is een groot domein waar men gezellig kan rondlopen en boven zijn ook een bar en
toiletten.