Zámecký pivovar (je součástí zámeckého areálu) byl postaven za vlády Pernštejnů roku 1585 (tedy 13 let po výstavbě zámku) a znovu přebudován v letech 1629 – 1630. O velmi výnosné pivovarnické právo se vedlo v Litomyšli mnoho sporů. V roce 1629 se litomyšlští měšťané museli vzdát práva vaření piva a postoupit jej Pernštejnům. Z výnosů z prodeje piva nechali Pernštejnové zbořit asi deset domů z někdejšího Nového města a rozšířili zde zámecký pivovar. Roku 1860 získal pivovar zevně novorománskou úpravu. Počátkem 18. století přibyla barokní výzdoba – dílo F. M. Kaňky. Zámecký pivovar byl vystavěn jako věrný slohový protějšek zámku. Dostal dokonce i sgrafitové kvádrování na průčelích jako zámek. Za vlády empírového hraběte Jiřího Josefa Valdštejna byla sgrafitová výzdoba za účelem žádoucí jednoduchosti zastřena maltou. Nyní jsou sgrafita na některých místech opět obnovena. Zámecký pivovar je známý též jako rodiště významného českého hudebního skladatele Bedřicha Smetany.
Nyní slouží jako tréninkové centrum Evropské aliance YMCA, pro školení a setkávání mladých lidí z celého světa.
Dva velké sály pivovaru, jsou celoročně využívány pro kulturní, společenské a spolkové akce. Zadní sál s pódiem a kapacitou 200 míst je vhodný pro pořádání přednášek a malých koncertů zejména komorní vážné a jazzové hudby, přední s kuchyňským zázemím je nejčastěji využíván pro společenské akce spojené s podávaným občerstvením.