Долгое время этот регион сопротивлялся вторжению римлян, впоследствии - саксонцев и франков, строивших свои укрепления на месте современного города. Однако укрепленный замок был возведен только в IX веке Фульком Нерра, графом Анжуйским, после долгих лет набегов норманов. Большой комплекс фортификаций был добавлен к замку в 1228-1238гг Святым Людовиком, а впоследствии расширен при Людовике I и Людовике II.

Пожалуй, самой известной личностью в истории замка Анже был легендарный "добрый король" Рене Анжуйский. Он прославился не только как благодетель своих подданных, но и как большой любитель искусства и литератор. При нем в замке часто устраивались рыцарские турниры, праздники, он был покровителем артистов. В замке были также устроены вольеры для экзотических животных, они находились в окружающих замок рвах, не заполняемых водой.

Долгая пора религиозных войн во Франции послужила причиной упадка замка. В 1585 году король Генрих III, опасаясь захвата замка противниками и не желая иметь в тылу неприступную крепость, отдал приказ о разрушении замка. К счастью, местные власти приказ выполнять не спешили и снесли только верхние части башен с остроугольными крышами. Замок уже не выглядел как крепость и с приходом к власти Генриха III работы по разрушению были вовсе прекращены. А вскоре в замке устроили празднества по случаю обручения Цезаря Вандомского с Франсуазой Лотарингской.

Самая большая знаменитость замка - гобелен на сюжет Апокалипсиса. Этот годелен был заказан Людовиком I Анжуйским в 1373 году и представляет собой серию тканных картин. первоначальная длина гобелена была 140 метров, сейчас небольшая часть его, к сожалению, утеряна.

Шпалеры этого знаменитого гобелена иллюстрируют "Откровение Св. Иоанна Богослова". В 1400 году гобелен хранился в Арле, а с 1474 - в соборе Святого Маврикия в Анже. В 1782 году гобелены исчезли и были вновь обнаружены только в 1848 году каноником Жубером, который замялся их реставрацией.

Сюжеты гобелена ошраняют аллегорический и подчас трудно толкуемый смысл текстов "Откровения Святого Иоанна Богослова". На каждой картине присутствует Святой Иоанн, принимающий участие в изображенных событиях и поясняющий их.