Toujours protéger par une barrière ne pouvant être brisée que par le pouvoir d'objets sacrés, la Tour de Ganon est l'archétype même de la forteresse quasi-imprenable. On y trouve tous les types de pièges pouvant exister ainsi que les plus puissants serviteur de Ganon. À l'intérieur, l'accès à Ganondorf peut parfois être entraver par une seconde barrière nécessitant la destruction de centres névralgique ou de monstres. La tour recèle également d'objets parmi les plus puissants qui existent et qui peuvent être bien utile à celui qui saura les dérober au nez du Seigneur du Malin.
Au sommet de la tour se trouve le maitre des lieux.
La première fois que Ganondorf fit construire une forteresse fut durant l'Ère du Héros du Temps, quand il réussit finalement à renverser la royauté et à prendre le pouvoir. Les sept années suivantes furent consacré à vaincre les peuples résistants et à la construction de cette tour. Il fit raser le château d'Hyrule et y fit construire le château de Ganon: une île volante entouré d'un lac de lave, inaccessible sauf à ceux ayant reçu l'autorisation du maître des lieux. Au sein du château de Ganon, véritable forteresse dans la forteresse, la tour de Ganon est protéger par une barrière magique fournit par sept nexus magique. Après avoir libéré les six Sages, Link, le Héros du Temps rencontre la princesse Zelda dans le Temple du Temps. Elle lui donne les flèches de lumière, puis elle est enlevé par Ganon. Link part donc à sa rescousse dans le château de Ganon. Link réussit à pénétré dans le château de Ganon grâce à l'aide des six Sages qui font apparaitre un pont arc-en-ciel. Il réussit à briser la barrière magique en détruisant chaque nexus à l'aide de flèche de lumière et monte la Tour de Ganon jusqu'à atteindre Ganondorf qui réussit à vaincre. Celui-ci, dans son ultime souffle, fait effrondrer la tour et le château pour tenter d'emporter le Héros du Temps et la Princesse de la Destiné avec lui.
Après avoir été enfermé dans le Saint-Royaume qui devint le Monde des ténèbres, suite à la Guerre du Sceau durant l'Ère de la Lumière et des Ténèbre, Ganon fit construire une seconde Tour de Ganon au sommet de la Montagne de la Mort. Il fit protéger la tour d'une puissante barrière magique encore une fois. Toutefois, Link,le Dernier Héros réussit à libéré les sept descendantes des Sept Sages qui se réunirent et détruisirent la barrière, permettant à celui-ci de pénétré dans la tour. Au sommet de celle-ci il ne trouva non point Ganon, mais Agahnim, qu'il réussit à vaincre. Celui-ci était en fait posséder par Ganon, celui-ci abandonne Agahnim pour aller dans son dernier refuge, le Pyramide.
Durant l'Ère sans Héros, Ganondorf se libéra de son sceau et mit le royaume d'Hyrule à feu et à sang durant la Guerre du Déluge. Il profita de ce tempos pour se faire construire une nouvelle forteresse. Toutefois, le royaume d'Hyrule au bord de la défaite implora les Déesses d'Or pour détruire Ganondorf. Les Hyliens scellèrent les monstres de Ganondorf par le pouvoir de l'Épée de Légende et les Déesses d'Or provoquèrent un immense Déluge qui engloutit le monde sous les eaux. Ganondorf fut ainsi sceller par la mer. Toutefois, plusieurs centaines d'années plus tard, passant à l'Ère de la Grande Mer, le Seigneur du Malin réussit à se libéré de se sceau, mais sa forteresse ainsi que ses armées étaient inutilisable. Toutefois, Link le Héros du Vent, en empoignant la lame légendaire, libéra les monstres et permit à l'ancien royaume d'Hyrule de retrouver le cours du temps. Le Héros attaqua la forteresse de Ganondorf, la Forteresse Maudite jusqu'à atteindre Ganondorf. Toutefois, la l'Épée Légendaire avait perdu une bonne partie de sa puissance et avait perdu le pouvoir de repousser le mal. Il fut sauver ainsi que Tetra qui l'accompagnait, par les piafs et Valoo qui détruisirent la forteresse. Ganondorf se rendit donc à la Tour de Ganon avec ses anciennes armées libéré par le Héros du Vent. Quand celui-ci réussit à regagner toute la puissance de l'Épée de Légende et prouver sa valeur de Héros aux dieux, il attaqua la Tour de Ganon. Il réussit à la traverser pour se rendre au sommet de la tour où se trouve Ganondorf qui l'attendait. Celui-ci avait tendu un piège au héros, ayant déjà la princesse Zelda, il attaqua le héros et réussit à l'assomer, lui prenant la Triforce du Courage et la Triforce de la Sagesse à la princesse Zelda. Avec les trois morceaux de la Triforce réunit il commença son souhait, mais le Roi d'Hyrule fut plus prompt et souhaita la fin définitive du royaume d'Hyrule. Alors, fou de rage, Ganondorf attaqua Link, mais le héros réussit à le vaincre, le scellant par l'Épée de Légende alors même que la mer gagnait l'entièreté de la tour, détruisant pour de bon l'ancien royaume d'Hyrule.