Zvolenský zámok bol vybudovaný ako gotický poľovnícky zámok typu talianskych mestských palácov v rokoch 1370 – 1382 pre uhorského kráľa Ľudovíta I. z rodu Anjouovcov. V ďalších rokoch prešiel zámok rôznymi úpravami, najmä renesančnou prestavbou, ktorá mu vtlačila dnešný výzor. Iba prízemie si zachovalo pôvodný gotický charakter. Osobitnú kapitolu na tomto zámku v 15.storočí písal Ján Jiskra z Brandýsa. Od roku 1465 bol zámok majetkom kráľa Mateja. V roku 1490 sa stal novým majiteľom Zvolenského zámku bohatý podnikateľ banských miest Ján Thurzo. Pre hroziace nebezpečenstvo tureckých nájazdov, pristavali k zámku vonkajšie opevnenie. Keď v roku 1588 prekonali Turci pri svojich nájazdoch drevené ohrady mesta, zámok vďaka svojím hradbám tomuto náporu odolal. V roku 1604 sa zámku zmocnil Štefan Bocskay, v roku 1644 už patril Rákoczimu I. Po vypálení mesta v roku 1708 sa Zvolenský zámok stal majetkom Esterházyovovcov. V roku 1805 sa zámok dostal do rúk štátu. Bol v ňom zriadený okresný súd, väznica, sklad tabaku i byty chudobných.
Dnes vo Zvolenskom zámku sídli Slovenská národná galéria.