Sárváron született. Rómában végezte a teológiát. Plébános, hittanár, újságíró, 1917-től a pesti egyetem teológiai karának professzora volt. Az 1920-as választáson a sárvári kerületben mandátumot szerzett, majd tagja lett a fővárosi törvényhatósági bizottságnak. A Bethlen és a Teleki kormányban közélelmezési, vallás- és közoktatásügyi miniszter volt. A két királypuccs idején, mint jó legitimista kapcsolatokkal rendelkező politikus közvetített Horthy és a király között. 1922-től haláláig népjóléti és munkaügyi miniszter volt.

Egyházi, közírói és publicisztikai tevékenységet is folytatott. Magyarra fordította Szent Ágoston vallomásait.
1926. augusztus 5-én Szombathely közgyűlése, elismerve Vass József miniszter úr város fejlesztésére irányuló őszinte törekvésének érdemeit: hogy "a Női Felsőkereskedelmi Iskola felállításával, új bérházak építésével, az ipartestület székházának felépítésével, a Tuberkulózis Ellen Védekező Vasvármegyei Egyesület állandó támogatásával a csecsemőhalandóság és a tüdővész elleni küzdelmet eredményessé tette, az Emberbaráti Egylet és a város tulajdonát képező közkórház építési költségeihez való huszonötmilliárd koronás állami hozzájárulással a kórházügyet megoldotta." ezért Szombathely város díszpolgárává választotta.
1929-1950-ig a városi belső körút újonnan épített szakasza (ma Horváth Boldizsár körút) Vass Józsefről volt elnevezve.