Der weitere Absturz war furchtbar. 1968/69 mussten die Schwarz-Weißen nach einem 1:2 im Relegationsspiel gegen Viktoria Wuppertal auch die Verbandsliga verlassen und verschwanden in der Landesliga. Nach Abbau der Schuldenlast steuerte der schlingernde VfB-Kahn erst ab 1972 allmählich wieder in ruhigeren Gewässern und kehrte sogar in der Verbandsliga zurück, wo man allerdings nicht über Mittelmaß hinaus kam. 1980 übernahm mit Karl Gathmann ein Mann die Vereinsführung, der den Klub wieder zu alter Blüte führen wollte. Im Verbund mit Trainer Horst Bistrich wurde eine Mannschaft um Abwehrchef Wolfgang Schoffer und Kapitän Wittkowski geformt, die 1980/81 sogar in die Oberliga Nordrhein aufstieg. Der VfB schien zurück auf dem Weg unter die Eliteklubs an Rhein und Ruhr.
Doch der „tragische Verlierer“ hatte sein Image nicht verloren. Nach einer abschließenden 1:2-Niederlage in Uerdingen mussten die Schwarz-Weißen als Drittletzter absteigen und wurden 1982/83 sogar in die Landesliga durchgereicht. Geplagt von zahlreichen bisweilen heftigen internen Krisen sowie existenzbedrohenden wirtschaftlichen Problemen pendelte der VfB anschließend zwischen Verbands- und Bezirksliga, ohne jemals wirklich wieder auf die Beine zu kommen. „Pläne, Pleiten, Peinlichkeiten“, überschrieb die Vereinschronik jenes düstere Kapitel Vereinsgeschichte, das 1996/97 seinen Höhepunkt erfuhr, als eine hoch dotierte und zum Aufstieg verdammte Elf nur Siebter wurde und anschließend im Jahnstadion mal wieder alles zusammenbrach.
Mehr legendäre Revierteams gibt es im "Der Pott ist rund. Das Lexikon des Revierfußballs" zu lesen.