1929-1948 - Doba stagnace

Poslední velký úspěch zaznamenal klub v roce 1929, kdy se stal vicemistrem ligy. Pak následoval pozvolný propad v tabulce zakončený sestupem z první ligy v roce 1934.

V roce 1936 se Viktorii sice podařilo probojovat zpět, ale v dalších letech většinou jen bojovala o udržení. To se jí nezdařilo v sezoně 1940/1941, kdy opět sestoupila do divize. Klub potýkající se s finančními problémy se rozhodl vystavět mezi hrací plochou a tribunami klopenou dráhu pro cyklisty. Tento krok však znamenal pro pokladnu klubu další ztráty. Vinnou špatné viditelnosti za brankami výrazně poklesla návštěvnost fotbalových utkání. Do první ligy se Viktoria vrátila znovu po dvou letech a v sezoně 1943/44 obsadila 5. příčku. V obnovené československé lize ale měla opět problémy a v roce 1947 ji čekal znovu sestup.