Sezon 2003/2004 zaczął się od ciężkiej walki o licencję na grę w ekstraklasie, zagrożonej głównie przez długi. Nie obyło się też bez kolejnej zmiany trenera. Szkoleniowcem został Andrzej Kretek, który praktycznie do ostatniej chwili nie wiedział, jakimi piłkarzami będzie dysponował. Bój o licencję sprawiła, że sprawy kontraktowe zostawiono na później. Udało się jednak skompletować drużynę, w której znalazło się kilku wychowanków. Niestety, jesień w wykonaniu łódzkiego zespołu okazała się nienajlepsza. W pierwszych meczach sezonu pod przywódctwemKretka, łodzianie pechowo tracili punkty.
Po trzeciej kolejce, byłego szkoleniowca RKS-u Radomsko zastąpił Tomasz Łapiński (na jedno spotkanie - z powodu braku uprawnień trenerskich), ale i jemu nie udało się zmienić oblicza i stylu gry drużyny. Nadzieją na lepszą grę było zatrudnienieJerzego Kasalika, trenera o silnej ręce, który twierdził,że potrafi dobrze ułożyć zespół. Pierwsze trzy spotkania wydawały się to potwierdzać, gdyż widzewiacy zdobili w nich siedem punktów, jednak w kolejnych sześciu dopisali do dorobku już tylko dwa oczka. Częściowo dlatego, że pod koniec rundy łodzianie grali z zespołami czołówki, choć do uzyskania punktów w tych meczach nie brakowało wiele. Czasem po porstu brakowało farta, jak w Płocku, gdzie w bramce Widzewa musiał przez 30 minut stać... obrońca Bogdan Zając i dwukrotnie musiał wyciągać piłkę z siatki w doliczonym czasie gry. Ostatecznie klub z al. Piłsudskiego musiał przezimować na miejscu barażowym, a wiosną walczyć ponownie o utrzymanie w ekstraklasie. Świetne warunki podczas zgrupowań nie przełożyły się na wyniki w rundzie rewanżowej. Sytuacja z każdym kolejnym meczem stawała się coraz bardziej tragiczna. Po raz kolejny, jedyną nadzieją kibiców na uratowanie ekstraklasy dla Łodzi, był Franciszek Smuda, który zastąpił Kasalika.
I choć na początku wyglądało na to, że zespół zaczyna grać lepiej, to potem było już tylko gorzej. Łódzką drużynę upokorzyłaAmika i Legia, a PZPN jeszcze przed zakończeniem sezonu odmówił wydania licencji na grę w ekstraklasie w kolejnym sezonie. Decyzja piłkarskiej centrali mogła podłamać zawodników, ale w niczym to nie usprawiedliwia ich braku walki i ambicji. W fatalnym stylu zespół z al. Piłsudskiego spadł z ekstraklasy. Dzięki pomocy Zbigniewa Bońka iWojciecha Szymańskiego klub nie upadł. Przeszedł w ich ręce i otrzymał licencję na grę w drugiej lidze. Trenerem został Stefan Majewski. Zbudowana na szybko drużyna grała z początku niezbyt szczęsliwie, ale po kolejnych wzmocnieniach, z każdym meczem spisywała się coraz lepiej. Po rundzie jesiennej łodzianie plasowali się w czołówce. Wiosną było już różnie, ale widzewiakom sprzyjało szczęście i na koniec sezonu zajęli czwarte miejsce, dające prawo gry w barażach o I ligę. Niestety, ulegli w nich Odrze Wodzisławi od nowa trzeba było walczyć o awans do ekstraklasy. W kolejnym sezonie zespół, choć miał lepsze i gorsze chwile, nie miał sobie równych i prowadząc przez większość sezonu w tabeli, pewnie awansował do ekstraklasy. Swoją misję zakończył Stefan Majewski, którego zastąpiłMichał Probierz. Młody trener miał zaszczepić drużynie ambicję i walkę do końca, taką jaką sam prezentował, gdy był piłkarzem. W sezonie 2006/07 łodzianie zajęli 12. miejsce w Orange Ekstraklasie, choć w końcówce zaliczyli sześć porażek z rzędu.