Участок на другом берегу от Вестминстера принадлежал архиепископам уже в XIII в., а в XIV в. здесь судили Джона Виклифа. От построек тех времен сохранилась только часовня в готическом стиле. Башня лоллардов, во время Английской революции служившая тюрьмой для инакомыслящих, была возведена в 1440 г. Кирпичный въезд на территорию дворца — постройка эпохи Тюдоров.

Сам дворец был выстроен заново после революции в архаическом духе с элементами готики и обновлен в период торжества неоготики архитектором Эдвардом Блором (автор Алупкинского дворца). Во дворце можно видеть портреты архиепископов кисти Гольбейна, ван Дейка, Хогарта и Рейнольдса, а также официальную библиотеку архиепископов, основанную в 1610 г.