Inicjatywa stworzenia muzeum narodziła się już w latach 20. XX wieku. Myśl gromadzenia, przechowywania i eksponowania pamiątek przeszłości była konsekwencją bardzo modnego prądu kulturowego, jakim był ruch regionalistyczny, który ogarnął Europę pod koniec XIX wieku. Na początku XX stulecia prasa odnotowuje, iż w mieście Żywcu organizuje się muzeum. Pierwszą inicjatywę stworzenia prawdziwego zbioru podjął, w roku 1925, Tadeusz Charlewski-Dyrektor Państwowego   Seminarium   Nauczycielskiego Żeńskiego w  Żywcu.  Marzenia
T. Charlewskiego zaczęły realizować jego uczennice, zrzeszone w Kole Krajoznawczym, powstałym w 1926 roku, prowadzonym przez siostry Zajączkowskie - Maria i Ludmiła. Panny seminarzystki w przeciągu kilku lat zgromadziły pokaźną kolekcję starych przedmiotów, głównie o charakterze etnograficznym. Uczennice wykonywały również prace rysunkowe - szkice, rysunki inwentaryzacyjne zabytków, elementów mieszczańskiego i góralskiego stroju (prace seminarzystek zachowały się w zbiorach muzeum). W roku 1934 w budynku seminarium (obecnie Gimnazjum nr 2 w Żywcu ul. Zielona 2) zorganizowały swoją pierwszą wystawę, której urządzeniem zajął się profesor Michał Jeziorski oraz uczennice - Jadwiga Stankiewicz i Kazimiera Bielewicz. Na wystawie zaprezentowano: mieszczański strój żywiecki, strój góralski, nadania królewskie dla miasta i przywileje, "Dziejopis Żywiecki" Andrzeja Komonieckiego, luźne przedmioty typu etnograficznego oraz kolekcję ptaków i ssaków Żywiecczyzny. Seminarium zlikwidowano w roku 1936, zebrane zbiory przekazano Sekcji Miłośników Żywiecczyzny przy Kole TSL w Żywcu. Jeszcze w tym samym roku, do życia zostało powołane Muzeum Ziemi Żywieckiej. Pierwszym dyrektorem został polonista Michał Jeziorski, który pełnił tę funkcję do 1939 r. Pierwsza ekspozycja miała miejsce w budynku dawnego seminarium przy ulicy Zielonej. W roku 1938 muzeum zostało członkiem Związku Muzeów w Polsce. W tym samym roku zbiory przeniesiono do nowego lokalu, który mieścił się na Rynku (róg ulicy Komonieckiego i Rynku, obecnie Rynek 1). Wystawy  w nowym budynku przygotował mgr Tadeusz Szczygielski (pracownik UJ), któremu do pomocy zostali przydzieleni uczniowie Miejskiego Koedukacyjnego Gimnazjum Kupieckiego w Żywcu - Jan Bajtlik i Mieczysław Jeziorski. Działalność muzeum przed wybuchem wojny nie ograniczała się jedynie do zbierania, gromadzenia i przechowywania obiektów. Placówka była ośrodkiem badań naukowych, popularyzacji wiedzy o przeszłości i kulturze regionu. Należy wspomnieć o prowadzonych wykopaliskach archeologicznych na górze Grójec w latach 1937-1938. Cały materiał archeologiczny, pochodzący z wykopalisk, został przekazany do zbiorów muzeum i częściowo eksponowany na wystawach stałych. Rozwój żywieckiego muzeum przerwał wybuch II wojny światowej. Zbiory muzealne przejęły władze niemieckie. W roku 1941 okupanci wywieźli najcenniejsze eksponaty sztuki sakralnej: gotycką rzeźbę drewnianą "Święta Anna Samotrzecia" z około 1380 roku, gotycki obraz temperowy "Opłakiwanie" z około 1450 roku oraz renesansowy obraz temperowy -"Wskrzeszenie Łazarza" z około 1560 roku, usunięto cały dział archeologiczny. W czasie wojny ucierpiały także zbiory etnograficzne, przyrodnicze oraz kolekcja tradycyjnych ubiorów mieszczan żywieckich. Okres wojny przetrwały najcenniejsze przywileje i dokumenty miejskie, w tym "Dziejopis Żywiecki", przechowywał je Marceli Korzeniowski.

Z wojny nie powrócił już pierwszy dyrektor - Michał Jeziorski.

Powojenna reaktywacja placówki nastąpiła zaraz po wyzwoleniu miasta, w kwietniu 1945 roku. Nowym kierownikiem został artysta malarz Jan Studencki, który pełnił tę funkcję prawie 30 lat. Pierwsza ekspozycja została urządzona  już w roku 1946 w starym budynku, następnie zbiory przeniesiono do Starego Zamku. Nadzór nad muzeum przejęło Muzeum Narodowe w Krakowie. Placówka otrzymała nowy lokal przy ulicy Kościuszki 5 - tzw. Siejbę, jeden z najstarszych budynków w mieście. Nowe miejsce wymagało jednak kapitalnego remontu (prawie 10 lat). Latem 1960 roku nastąpiło uroczyste otwarcie nowych wystaw stałych i czasowych w odremontowanym budynku Siejby. W roku 1972 kierownikiem a następnie dyrektorem zostaje etnograf - mgr Magdalena Meres. W tym czasie muzeum organizowało liczne pokonkursowe wystawy sztuki ludowej, spotkania z twórcami ludowymi. W latach 1983 - 1990 wznowiono wykopaliska archeologiczne na Grójcu.

Od roku 1990 organem założycielskim muzeum została Rada Miejska w Żywcu.

W latach 1991 - 1995 funkcję dyrektora muzeum pełnił slawista - mgr Jan Gołąb. W tym czasie placówka przejęła remont Starego Zamku. W roku 1992 otwarto wystawę "Sztuka Sakralna Żywiecczyzny" w Starym Zamku. Kilka lat później zaprezentowano wystawę "Historia i tradycja miasta Żywca". W Siejbie nadal eksponowano wystawy: etnograficzną i przyrodniczą. W latach 1996 - 1999 funkcję dyrektora pełnili: etnograf - mgr Barbara Rosiek, archeolog -mgr Wojciech Błasiak oraz historyk - mgr Krystyna Kolstrung-Grajny.

W roku 1999 dyrektorem zostaje historyk - mgr Anna Tuleja, która pełni tę funkcję do dnia dzisiejszego. W tym samym roku placówka przyjęła nazwę Muzeum Miejskie w Żywcu.

W roku 2005 muzeum otrzymało nową siedzibę - Stary Zamek.

     Budowę obiektu przypisuje się książętom oświęcimskim lub Mikołajowi Strzale h. Kotwicz ( I poł. XV w.). Najstarsze gotyckie założenie z I poł. XV w. składało się z pojedynczej wieży mieszkalnej oraz drewnianych zabudowań, otoczonych ziemnym wałem oraz płytką fosą. Za czasów panowania rodziny Komorowskich zamek uległ kilku poważnym zmianom w wyglądzie. Pod koniec XV w. budowla stała się obronną fortecą ( cztery wieże mieszkalne z dziedzińcem wewnętrznym, mury obronne z czterema narożnymi basztami). W 2 poł. XVI w. średniowieczne zamczysko przeistoczyło się w renesansową rezydencję (krużganki, dachy z attykami i dekoracją sgraffito, nowa kamieniarka okien i portali). Wiek XVII oraz nowi właściciele - rodzina królewska dynastii Wazów - nie wnoszą poważniejszych zmian w architekturze budowli. Drugi okres świetności w historii zamku przypada na lata panowania w Żywcu rodu Wielopolskich. Początek XVIII w. przyniósł decydujące zmiany w wyglądzie zamku i jego otoczenia. Dawny obronny zamek stał się rezydencją o charakterze pałacowym ( rozbudowa skrzydła południowego z reprezentacyjną klatką schodową, nowe barokowe elewacje, okna, wysokie dachy, portale, kaplica). Zmieniło się także otoczenie siedziby, od północnego zachodu stworzono dziedziniec otoczony oficynami, zabudową gospodarczą oraz od południa ogród włoski. Przebudowa zamku prowadzona przez Wielopolskich nie była ostatnią. Nowi właściciele - Habsburgowie - zmienili elewację zewnętrzną ( zachowana do dzisiaj,  w stylu historyzmu), której projekt wykonał Karol Pietschka. Po remoncie zamek został przeznaczony na siedzibę urzędów oraz na mieszkania urzędników dóbr żywieckich. Do 1939 r. zamek znajdował się w rękach Habsburgów. w okresie okupacji Niemcy zajęli pomieszczenia zamkowe na cały okres wojny. po 1945 roku budynek stał się własnością miasta i przeznaczono go na mieszkania lokatorskie, archiwum, biura organizacji młodzieżowych, pracownie Domu Kultury, biura przedsiębiorstwa "Las" oraz bibliotekę miejską. w latach 1976 - 1989 władze miasta zdecydowały się na remont zamku. Wkrótce nastąpiło wykwaterowanie lokatorów, otwarcie kawiarni "Rycerska", remont oraz prace badawczo-naukowe. na początku lat 90 administratorem Starego Zamku był Zespół Zamkowo-parkowy, który prowadził działalność kulturalną, oświatową oraz wystawienniczą.

W styczniu 2005 roku Stary Zamek stał się siedzibą Muzeum Miejskiego w Żywcu.