Koller tritt die Nachfolge des am 13. September zurückgetretenen Dietmar Constantini an und soll die Österreicher zur WM 2014 in Brasilien führen. Die Qualifikation zur EURO 2012 in Polen und der Ukraine hat die Alpenrepublik in der "deutschen" Gruppe A bereits klar verpasst.
Lange Zeit hatte der Deutsche Franco Foda, Coach bei Sturm Graz, als Favorit auf den vakanten Posten gegolten. Zu den Kandidaten, die Leo Windtner, Präsident des Österreichischen Fußball-Bundes (ÖFB), in Betracht gezogen hatte, gehörten auch Christoph Daum und Andreas Herzog sowie der ehemalige schwedische Nationaltrainer Lars Lagerbäck.
Bei den anstehenden EM-Qualifikationsspielen am Freitag in Aserbaidschan und am kommenden Dienstag in Kasachstan wird die ÖFB-Auswahl noch einmal von Sportdirektor Willi Ruttensteiner betreut. Koller wird erstmals beim Länderspiel am 15. November in Lwiw gegen EM-Co-Gastgeber Ukraine auf der Bank sitzen.
Koller war von November 2003 bis Juni 2004 beim 1. FC Köln in der Bundesliga tätig. Von Mai 2005 bis zu seiner Entlassung am 20. September 2009 trug er die Verantwortung beim VfL Bochum. Seitdem war der 50-Jährige ohne Trainerjob.