Apja Bakay Szilárd, az I. honvéd gyalogezred egyik zászlóaljának parancsnoka, anyja Németh Mária, egy budapesti vasnagykereskedő lánya volt. Árvaszéki ösztöndíjjal 1902-től a Kassai és Kőszegi Katonai Alreáliskolák, ezt követően a kismartoni Főreál, majd 1906–1909 között Morvafehértemplomi lovassági Hadapródiskola növendéke volt, amely tanintézetekbe csak kiváló alreál iskolai eredménnyel kerülhettek felvételre a növendékek. 1909-ben felvételt nyert a bécsújhelyi Mária Terézia Katonai Akadémiára. 1912-ben jeles eredménnyel végzett, gyalogsági hadnaggyá avatták. 1912 és 1914 között a kaposvári – Albrecht főherceg nevét viselő – 44. gyalogezredhez osztották be csapattisztnek. 1914-ben zászlóalját áthelyezték Budapestre. Az első világháború kitörésekor századparancsnok-helyettesi rangban szolgált. Alakulatát hamarosan a déli frontra vezényelték. 1915 januárjában a harcokban tanúsított bátorságáért soron kívül főhadnaggyá léptették elő, és 23 évesen a 44. gyalogezred 4. századának parancsnoka lett. 1916-ban megkapta az egyik legmagasabb kitüntetést, a „Vaskorona-rend III. osztályát”. Kinevezték a 72. Rohamzászlóalj parancsnokának. Vezérkari tanfolyamot végzett Nagyszebenben. A dél-oroszországi fronton már vezérkari tisztként teljesített szolgálatot. 1918-ban soron kívül századossá léptették elő.

1919 januárjában házasságot kötött Jordán Margittal. Egyetlen gyermekük, Szilárd 1920-ban született (ő is a katonai pályát választja majd). 1919-ben, a Tanácsköztársaság idején letartóztatták, Kaposváron és Budapesten a Margit-körúti fogházban raboskodott július 27-éig. Szabadulása és a kommün bukása után újból aktív szolgálatra jelentkezett, és Kaposváron kapott csapattiszti beosztást. 1922-ben Pécsre vezényelték a 4. vegyesdandár parancsnokságára. Befejezte a Hadiakadémiát, és még ebben az évben felvételt nyert a vitézi rendbe.

1925-ben a Honvédelmi Minisztérium Elnöki D. osztályára helyezték. Gyakran utazott katonai delegációk tagjaként külföldre, katonai képzettségén túlmenően francia, német és angol nyelvtudását is kamatoztatni tudta. 1926-ban őrnaggyá léptették elő. 1933. április 1. és 1933. szeptember 15. között Belgrádban és Athénben, 1934. január 1. és 1939. május 1. között Szófiában katonai attasé volt. 1935-ben kapta meg ezredesi előléptetését. 1939–1942 között a debreceni a 17. könnyű hadosztály parancsnoka volt. 1940-ben tábornokká (vezérőrnagy) léptették elő. Szeptemberben, Erdély visszacsatolásakor dandárjával részt vett a hadműveletekben.

1942. augusztus 1-től kinevezték a kijevi magyar megszálló alakulatok főparancsnokává, majd 1942. október 1-jén altábornaggyá léptették elő. 1943. május 15-én nevezték ki a szombathelyi III. hadtest parancsnokának, de szolgálati helyét és beosztását – a teljes nyugati határszakasz biztosítását – ténylegesen csak 1943. augusztus 1-jén foglalta el. 1944 júniusa és júliusa között Budapesten a Legfelsőbb Honvéd Törvényszék elnöke volt. 1944. augusztus 1-jén a budapesti I. hadtest parancsnoka, Budapest vezénylő tábornoka (altábornagyi rangban). A kiugrási kísérlet előkészítésének egyik kulcsfigurája volt.

1944. október 8-án Budapestről a németek elrabolták, és még aznap repülőgéppel a Gestapo bécsi központjába vitték. Néhány napos őrizet után átszállították a mauthauseni fogolytáborba, ahol 1945. május 5-éig raboskodott. A tábort felszabadító amerikai csapatok azonosították, ellenőrizték személyi adatait, de nem vonták vizsgálat alá. 1945 júniusában a szovjet elhárító hatóságok is megvizsgálták az ügyét. Nem találták bűnösnek, elengedték. 1945. január 24-én a Honvédségi Rendeletekben közzétett „Nemzetvezetői elhatározások” alapján „…a magyar nemzet ellen elkövetett hűtlenség miatt…” a nyilas kormány megfosztotta altábornagyi rangjától.

1945 nyarán hazatért. A Népbíróság világháborús katonai tevékenységéért vádat emelt ellene, de felmentették. A Honvédelmi Minisztérium vizsgáló bizottsága igazolta, nyugállományba helyezték. 1946. április 11-én Szombathelyről, Lipp Vilmos utcai házából (ma Somlai utca) bírói végzés nélkül elhurcolták. 1947. március 17-én, azóta is ismeretlen helyen (feltehetően Sopronkőhidán) kivégezték.

1991. március 15-én Göncz Árpád, a Magyar Köztársaság elnöke posztumusz vezérezredessé léptette elő. A kinevezési okmányt Antall József miniszterelnök is ellenjegyezte. 1992. szeptember 22-i végzésével a szovjet katonai ügyészség is rehabilitálta. Döntésében kimondta, hogy a szovjet törvények értelmében nem követett el háborús bűncselekményt, s megállapította, hogy a budapesti Szovjet Helyőrség Katonai Bírósága 1946. december 23-án jogsértően hozott halálos ítéletet Bakay felett, s annak Moszkvában történt jóváhagyása is törvénytelen volt.