Misijné múzeum sídli v budove z roku 1765, kedy bola postavená ako malý renesančný kláštor pre španielsky rád Nazarénov starajúcich sa o kostol a pútnikov. V neskorších rokoch boli v budove umiestnení penzionovaní kňazi. Neskôr z kláštora vznikol sirotinec. V rokoch 1878-85 bol kláštor prestavaný do novorománskeho slohu. V roku 1925 bola budova zvýšená o jedno poschodie. Dnešná podoba kláštora je dielom slovenského architekta Michala Milana Harminca. V súčasnosti je celá budova misijným domom Spoločnosti Božieho slova. Misijné múzeum v Nitre vznikalo približne od roku 1925 z predmetov, ktoré priniesli slovenskí misionári Spoločnosti Božieho Slova, keď prichádzali domov na dovolenku. Nakoľko pracujú na všetkých kontinentoch, v zbierkach sú predmety zo všetkých kútov sveta. Sú to väčšinou predmety dennej potreby jednoduchých ľudí, medzi ktorými misionári žijú. Ide o kultové a ozdobné predmety, šaty a zbrane. Niektoré veci dostali misionári ako prejav vďačnosti za ich službu a príspevok pre rozvoj krajiny, kde pracujú. Časť zbierky tvoria exponáty otca kardinála Jozefa Tomka. Ako prefekt Kongregácie pre šírenie viery navštívil mnohé krajiny a niektoré z predmetov, čo dostal, zapožičal múzeu.

V roku 1950, keď bola činnosť Spoločnosti Božieho Slova prerušená, zlý osud postihol aj múzeum. Mnohé exponáty sa stratili alebo boli zničené. Časť z nich sa potom vrátila späť do misijného domu a 15. augusta 1996 bolo múzeum znova otvorené. V posledných rokoch sa viackrát zbierky múzea rozšírili a doplnili o nové exponáty. Najväčšie rozšírenie nastalo v roku 2008, keď pribudlo asi 250 exponátov zvierat, hadov, jašterov a vtákov zo všetkých svetadielov a aspoň taký istý počet etnografických predmetov.