Budova muzea byla postavena po demolici tzv. Koňské brány, která byla součástí městského opevnění, konkrétně bastionu č. XXVI. Bastion byl před výstavbou zbořen a proběhly zde rozsáhlé terénní úpravy.

Budova byla navržena do prostoru, kde v horní části Koňského trhu chyběla dnešní zástavba. Muzeum tak nebylo při pohledu z náměstí zakryto bočními domy. Budova byla navíc součástí náměstí a nebyla jako dnes oddělena rušnou komunikací. Muzeum bylo vyzdobeno předními umělci a patří k několika nejvýstavnějším novorenesančním stavbám v Praze.

Objekt má dva vnitřní dvory a tři podzemní a tři nadzemní podlaží s lokálními mezipatry. Pod hlavní věží je prostor Pantheonu přístupný po výstavném shora prosvětleném schodišti.

Založení budovy bylo realizováno ve složitých geologických podmínkách, protože se základové poměry pod budovou mění. Zadní část budovy je postavena na křemencích a není podsklepena, přední část je založena na suti s jílovotopísčitou výplní. Základové pasy jsou z kamenného zdiva, a dokonce i z betonu. Jedná se o kamenivo pojeného hydraulickým pojivem, které je vlastnostmi podobné dnešnímu cementu.

Svislé nosné konstrukce budovy jsou převážně z cihelného a opukového zdiva na vápennou maltu. Opukové zdivo je použito hlavně v podzemních podlažích. Ve vyšších podlažích je použito převážně zdivo cihelné.

Je zde použito hrubé i čisté řádkové zdivo a zdivo smíšené, kdy je cihelné zdivo provazováno několika vrstvami opukových kvádrů. Jako pojivo do malty bylo v suterénech použito hydraulické vápno.

Kromě zdiva bylo jako svislé nosné konstrukce ve vstupní hale použito dvacet mohutných sloupů ze leštěné švédské žuly. V objektu byly použity i litinové sloupy, jejichž povrch je buď opatřen bronzovým patinováním, nebo vrstvou umělého mramoru.

Stropní konstrukce v budově jsou vesměs nespalné. V suterénech jsou klenuté stropy do mohutných klenebných pasů a do zdiva, rozměrné sály ve vyšších podlažích objektu jsou přestropeny plochými klenbami do husté sítě válcovaných nosníků. Ty jsou uloženy mezi stojiny mohutných železných nýtovaných průvlaků osazených v meziokenních pilířích. Válcované i nýtované nosníky jsou vzhledem k době svého vzniku ze svářkového železa, protože technologie výroby plávkové oceli vznikla později.

Zatížení od regálů původní knihovny a železných mezistropů je v tomto prostoru přenášeno do příčných nosných stěn ve druhém suterénu a v místech, kde není druhý suterén do základů. Příčné zdi nad knihovnou jsou vynášeny zdvojenými mohutnými nýtovanými nosníky, jejichž části jsou v knihovně viditelné. Zdi nad nosníky jsou z plných cihel, jsou však značně vylehčeny průduchy větrání a teplovzdušného topení.

Zastřešení budovy tvoří sedlové střechy křídel a báně nad věžemi. Původní střechy jsou kryté břidlicí, střechy podkrovní nástavby měděným plechem na dřevěném bednění. Krytina je místy poškozená a na řadě míst zatéká.

Krovy jsou převážně dřevěné. Krovy nárožních věží jsou rovněž dřevěné, zkružové, systém De l´Orme. Nad hlavní věží je železný krov z válcovaných profilů, který je v dobrém stavu. Nad schodištěm je železný světlík, ke kterému je zavěšen prosklený podhled nad hlavním schodištěm.

Hlavní římsa je nesena válcovanými nosníky vetknutými do zdiva. Není k nim kotvena a kamenné kvádry drží pouze třením a vlastní hmotností.