Crystal Palace lyckades inte vinna en enda match på bortaplan och endast sex segrar på hemmaplan gjorde att laget kom sist i tabellen och åkte ner i division två. Mittbacken Billy Gilbert var den som spelade mest med 39 ligamatcher och Clive Allen (nyförvärv från Arsenal) blev bäste målskytt med nio ligamål.

Laguppställning 1980/81: Paul Barron – Paul Hinshelwood, Jim Cannon, Billy Gilbert, Terry Fenwick – Neil Smillie/Steve Lovell, Peter Nicholas, Gerry Francis, Vince Hilaire – Clive Allen/Ian Walsh, Mike Flanagan.

De två följande säsongerna, 1981/82 och 1982/83, slutade båda med en femtondeplats i division två.

Tröjorna tillverkades av Adidas och liknade den tidigare modellen – vit tröja med en rödblå diagonal på framsidan. Bortatröjan var ljusblå med en röd diagonal.

Crystal Palace hade åkt ner i division tre i mitten av 70-talet, men 1977 tog man sig upp i tvåan och slutade på nionde plats. Nästa säsong, 1978/79, tog Crystal Palace hem seriesegern en poäng före Brighton och Stoke och var därmed tillbaka i högsta serien. Återkomsten i ettan 1979/80 slutade med en trettondeplats och man lyckades hänga kvar en säsong till.

Laget 1979/80: John Burridge – Paul Hinshelwood, Jim Cannon, Billy Gilbert, Kenny Sansom – Jerry Murphy, Peter Nicholas, Gerry Francis – David Swindlehurst/Ian Walsh, Mike Flanagan, Vince Hilaire. Hinshelwood, Cannon och Hilaire spelade samtliga 42 ligamatcher och Swindlehurst blev bäste målskytt med sju ligamål. Swindlehurst såldes till Derby County i februari 1980. Tränare var Terry Venables som ledde laget 1976–1980.

Tröjorna tillverkades av Admiral och hemmastället bestod av vita tröjor med en blå och röd diagonal på framsidan, vita byxor och vita strumpor. Bortastället, som var i samma stil som Tottenhams bortaställ, bestod av gula tröjor med två svarta fält på framsidan, gula eller svarta byxor och gula strumpor.

Efter fyra säsonger i högsta divisionen åkte Crystal Palace ner i division två. I FA-cupen slog man ut Southampton i tredje omgången men förlorade sedan mot Sheffield Wednesday efter två omspelsmatcher och i Ligacupen blev det förlust direkt mot division fyra-laget Stockport County. I slutet av mars 1973 flyttades tränaren Bert Head upp som general manager och Malcolm Allison, tidigare i Manchester City, tog över som tränare. Bland de nya spelarna i laget fanns Paddy Mulligan och Charlie Cooke (från Chelsea i september respektive oktober), Don Rogers (från Swindon Town i november) och Alan Whittle (från Everton i december). Don Rogers blev lagets bäste målskytt med tretton ligamål på 26 matcher.

Crystal Palaces startelva 1972/73: 1 John Jackson (målvakt), 2 David Payne/Paddy Mulligan (högerback), 3 Tony Taylor/Bill Roffey (vänsterback), 4 Iain Phillip (mittfältare), 5 Bobby Bell (mittback), 6 Mel Blyth (mittback), 7 Derek Possee/Alan Pinkney (högerytter/mittfältare), 8 David Payne/John Craven (mittfältare), 9 Alan Whittle/John Craven (anfallare), 10 Charlie Cooke (mittfältare), 11 Don Rogers/Tony Taylor (vänsterytter). Tony Taylor inledde säsongen som vänsterytter men skolades om till vänsterback och tog Roffeys plats samtidigt som Don Rogers kom in som vänsterytter.

Hemmatröjan liknade den som användes under 1971/72, men de ljusblå och vinröda fälten var nu separerade med ett vitt fält emellan. Ett nytt klubbmärke introducerades också denna säsong. Bortatröjorna var antingen rödsvartrandiga eller blå med vit krage. Man hade också kvar förra säsongens gula tröja med blå byxor.

Crystal Palace slutade på tjugonde plats i ligan 1971/72, fyra poäng före Nottingham Forest och Huddersfield som åkte ner i division två. I FA-cupen blev det förlust efter omspel mot Everton i tredje omgången och i Ligacupen åkte man ut mot Aston Villa i andra omgången, även här efter omspel. Nya i laget var mittbacken Bobby Bell (Blackburn Rovers), mittfältarna John Craven (Blackpool), Sam Goodwin (Airdrieonians) och Bobby Kellard (Leicester) samt anfallarna John Hughes och Willie Wallace (Celtic). Lagets bästa målskytt var Bobby Tambling med åtta ligamål.

Crystal Palaces startelva 1971/72: 1 John Jackson (målvakt), 2 David Payne (högerback), 3 Peter Wall (vänsterback), 4 Bobby Kellard (mittfältare), 5 John McCormick (mittback), 6 Mel Blyth (mittback), 7 John Craven (mittfältare), 8 Gerry Queen (mittfältare), 9 Willie Wallace (anfallare), 10 Tony Taylor (vänsterytter), 11 Bobby Tambling (anfallare).

Hemmastället bestod av vita tröjor med ett ljusblått och ett vinrött fält, vita byxor och ljusblå strumpor med vinröd överdel. Bortastället bestod av gula tröjor, blå byxor och gula strumpor.

Säsongen 1969/70 var första gången Crystal Palace spelade i högsta divisionen. Laget slutade på tjugonde plats och klarade sig precis kvar. Mittbacken Mel Blyth gjorde Crystal Palaces första mål i division ett i premiären mot Manchester United, en match som slutade 2–2. Det andra målet gjordes av skotska nyförvärvet från Kilmarnock, Gerry Queen som blev lagets bäste målskytt med nio ligamål. Några av de andra viktiga spelarna i laget var målvakten John Jackson, mittbacken John McCormick, högerbacken och lagkaptenen John Sewell och mittfältaren Steve Kember. Under våren 1970 värvades också anfallaren Bobby Tambling från Chelsea. Inför säsongen 1970/71 förstärkte man laget med Alan Birchenall, också han från Chelsea. Crystal Palace klättrade ett par placeringar i tabellen och slutade på artonde plats.

Hemmatröjan 1969–1971 var vinröd- och ljusblårandig med gul hals och gula muddar. Bortastället bestod av blå tröjor med röd hals och röda muddar, röda eller vita byxor och blåvita eller helt blå strumpor.