Na zamek w Żywcu w rzeczywistości składają się dwa obiekty. Stary zamek, którego początki sięgają średniowiecza i nowy zamek a dokładniej klasycystyczny pałac położony tuż obok starego.
Stary zamek powstał w Żywcu w XV wieku. Początkowo byłą to wieża mieszkalna i kilka zabudowań otoczonych wałem i fosą. Zamek rozbudowano i pod koniec XV wieku posiadał już baszty i mury obronne. Renesansowe krużganki, które można podziwiać na dziedzińcu zamku powstały pod koniec XVI wieku. W XVIII wieku dobrze ufortyfikowany zamek zamieniono w rezydencję. Ostatnimi posiadaczami zamku byli Habsburgowie.
Tuż obok starego zamku pod koniec XV wieku zbudowany został nowy zamek. Nowy zamek w Żywcu zbudowano po tym jak wojska polskie zniszczyły stary zamek po buncie jego właścicieli - rodziny Komorowskich. Obecny kształt nowego zamku to wynik przebudowy w XIX wieku przez jego ostatnich prywatnych właścicieli. Od ich nazwiska nowy zamek nazywany jest Pałacem Habsburgów.
Stary Zamek jak i Pałac Habsburgów mieszczą się niemal w samym centrum Żywca. Za nimi znajduje się duży i dobrze utrzymany park. Będąc w parku warto zobaczyć Chiński Domek. Jest to położona na wyspie altana z XVIII wieku. W okresie letnim działa w nim kawiarnia.
W odrestaurowanym Starym Zamku mieści się obecnie Muzeum Miejsce w Żywcu. Wstęp na dziedziniec jest bezpłatny. Dalej już trzeba zapłacić. W Nowym Zamku mieści się szkoła średnia. Dodatkową atrakcją jest Park Miniatur.