Szombathely város nevével szorosan összefügg a ferencesek jelenléte. 1360-ban Kálmán győri püspök (1337-75), Károly Róbert király fia, hívta a kisebb testvéreket a városba, hogy népesítsék be a városfalon kívül üresen álló ispotály, melyben egykor a betegeket ápolták. Assisi Szent Ferenc követői beköltöztek az épület használható keleti és déli épületébe. A történelmi források szerint az Isten házát Szent András apostol tiszteletére szentelték. Az építkezés folyamán felhasználták a római épületek szerteszét heverő köveit is. 1526-os mohácsi vész után a ferences atyáknak és testvéreknek az előrenyomuló török hadak miatt el kellett hagyniuk otthonukat, s csak 1537-ben térhettek vissza kis időre az időközben lepusztult épületbe. 1541-ben a reformáció áldozata lett mind a templom, mind a kolostor.
1633-ban Sennyei István győri püspök (1630-35) rendelkezése nyomán kezdték meg a felújítást. Két évvel később került sor az Egyház - ahogy akkor a templomot nevezték szép magyar nyelven - felszentelésére. 1639 után a kolostor lakóit  "Szent Eörzsébet Assoni kalastromban leuő Franciscanus barát"-ként emlegették. 1716. május 3-án tűz ütött ki a városban, a följegyzések szerint a templom tornya is áldozatul esett, a kolostor azonban átvészelte a pusztulást. A gótikus templom időközben barokk berendezést kapott. A templomot 1930-ban emelték plébánia rangjára. 1927-ben kezdték meg a nagy építkezést, majd 1935-ben folytatták a keleti szárny bővítésével, mivel a Trianoni békediktátumot követően a Felvidékről (Nagyszombat) ide költözött a ferences rend hittudományi főiskolája. 1945-ben kb. 500 embernek nyújtott menedéket a megszentelt épület. 1950. július 11-ig élhettek a kolostor falai között a szerzetesek, ekkor ugyanis elhurcolták őket. A lelkipásztori szolgálatot a szombathelyi egyházmegyére bízták. 1950 és 1989 között a Vakok Intézete működött a több évszázados falak között. Időközben több átalakítás történt az épületegyüttesen. Az egykori főiskola részéből Assisi Szent Ferenc Kollégium lett főiskolás hallgatók számára.
1989 óta újra Szent Ferenc fiai lakják a régi kolostort és végzik a lelkipásztori munkát. 1990-93 között P. Sill Aba tartományfőnöksége alatt itt volt a Marian Provincia központja is. A templom kapuja fölött látható az alapító Sennyei püspök címere. A gótikus templom belső tere igen értékes, s különböző stílusjegyek nyomait viseli.
A főoltáron Árpád-házi Szent Erzsébet, a FVR védőszentjének faragott szobra látható. Körülötte Molnár C. Pál festményei - melyek cserélhetők (advent, nagyböjt témáját, valamint Szent Erzsébet életét ábrázoló képek). A szentélyben található a gótikus faragással ékesített ülőfülke, mely egykor papi ülőhelyként funkcionált. A fülke mellett egy XIV. századból származó Szent Erzsébet kép látható. Nem hagyható figyelmen kívül, hogy a templomban és a gyóntató helyiségben festett ólomüveg ablakok találhatók.