Pôvodne kráľovský hrad na ostrohu nad riekou Vltavou sa po mnohých zmenách stal v roku 1661 majetkom rodu Schwarzenbergovcov. Súčasná podoba zámockého areálu vrátane parku a okolitej krajiny bola inšpirovaná cestami kniežaťa Jána Adolfa II. zo Schwarzenbergu do Veľkej Británie, ktorý sa ako predstaviteľ významného a bohatého rodu zúčastnil korunovácie britskej kráľovnej Viktórie v roku 1838.

Ako čestný diplomat habsburskej monarchie cestoval na korunováciu so svojou manželkou kňažnou Eleonorou, ktorá veľmi ovplyvnila svojimi nápadmi vzhľad zámku. Hlboká sa čoskoro stala sídelným zámkom rodu Schwarzenberg. Široké návršie ostrožny umožňovalo rozširovať zámok a budovať v jeho okolí ako hospodárske dvory, tak aj odbory s množstvom zveri. Zámok sám bol v prvej tretine 18. storočia barokovo prestavaný a túto podobu si udržal až do romantickej prestavby okolo polovice 19. storočia. Vzorom na prestavbu vtedajšieho barokového zámku bol hlavne kráľovský zámok Windsor. V roku 1947 bol zámok na základe zvláštneho zákona Lex Schwarzenberg zoštátnený. V súčasnej dobe je zámok spravovaný Národným pamiatkovým ústavom. Steny a stropy interiérov sú bohato zdobené drevorezbami a ušľachtilým drevom. Niektoré miestnosti sú zdobené obrazmi európskych majstrov 16. až 18. storočia, lustrami, vitrážami a keramikou z Delft. Portréty na stenách znázorňujú najvýznamnejších členov rodu Schwarzenberg. Prístupné sú aj súkromné izby posledných majiteľov Hlbokej, kniežaťa Adolfa a jeho manželky Hildy.

V suteréne zámku je prístupná zámocká kuchyňa so zámockou cukrárňou a osobným aj jedálenským výťahom zo začiatku 20. storočia.