Crystal Palace lyckades inte vinna en enda match på bortaplan och endast sex segrar på hemmaplan gjorde att laget kom sist i tabellen och åkte ner i division två. Mittbacken Billy Gilbert var den som spelade mest med 39 ligamatcher och Clive Allen (nyförvärv från Arsenal) blev bäste målskytt med nio ligamål.
Laguppställning 1980/81: Paul Barron – Paul Hinshelwood, Jim Cannon, Billy Gilbert, Terry Fenwick – Neil Smillie/Steve Lovell, Peter Nicholas, Gerry Francis, Vince Hilaire – Clive Allen/Ian Walsh, Mike Flanagan.
De två följande säsongerna, 1981/82 och 1982/83, slutade båda med en femtondeplats i division två.
Tröjorna tillverkades av Adidas och liknade den tidigare modellen – vit tröja med en rödblå diagonal på framsidan. Bortatröjan var ljusblå med en röd diagonal.