Till säsongen 1980/81 anlitade Perugia Renzo Ulivieri från Vicenza som ny tränare. Han fick en tuff utmaning då klubben inledde ligaspelet med fem minuspoäng. Detta eftersom Perugia varit inblandat i en spelskandal, den så kallade Totonero-skandalen 1980. Under hösten lyckades laget bara vinna två matcher: mot Ascoli och Catanzaro, båda på bortaplan. Därtill blev det åtta oavgjorda och fem förluster under första hälften av säsongen. På de femton första matcherna gjorde man inte heller mer än åtta mål.
Perugia åker ur Serie A 1980/81
Efter ytterligare en mållös match, mot Fiorentina i sextonde omgången, fick Ulivieri lämna klubben. Perugia låg då sist i tabellen och assisterande tränaren Giampiero Molinari ledde laget under återstoden av säsongen. Han lyckades dock inte förbättra resultaten och i hans första match som huvudansvarig förlorade man med 4–0 mot Bologna. Det blev ytterligare en storförlust i den 27:e omgången då Perugia föll med 5–0 borta mot Roma. Det blev tre segrar under vårsäsongen, mot Pistoiese, Napoli och Torino, samt fem oavgjorda. Detta var dock inte tillräckligt, utan Perugia slutade näst sist i Serie A-tabellen 1980/81 och åkte ner i Serie B efter sex säsonger i högsta serien. Det blev inte mer än arton mål under säsongen, vilket var minst i serien jämte Ascoli.
I italienska cupens gruppspel vann Perugia i första matchen, 1–0 mot Bari. Det blev även två 1–1-matcher mot Lecce och Torino samt däremellan förlust med 1–0 mot Catanzaro. Perugia kom tvåa i gruppen efter Torino och hade därför spelat färdigt.
Ordinarie laguppställning: 1 Nelllo Malizia – 4 Pierluigi Frosio – 2 Michele Nappi, 5 Celeste Pin, 6 Daniele Tacconi, 3 Antonio Ceccarini – 7 Salvatore Bagni, 8 Cesare Butti, 10 Mario Goretti – 9 Giovanni De Rosa, 11 Antonio Di Gennaro.
Bagni och Frosio spelade mest med 29 ligamatcher var. Bagni blev även lagets bäste målskytt med fem ligamål.
Tröjorna
Perugia behöll samma tröjor 1980/81 som man haft de senaste två säsongerna. Säsongen 1979/80 blev klubben den första i Italien att ha en sponsorlogga på tröjorna i form av pastatillverkaren Ponte. Detta var fortfarande mot reglerna, men Perugia kom undan med det genom att skapa varumärket Ponte Sportswear som officiellt stod som tröjleverantör. Det var nämligen tillåtet att ha tröjtillverkarens logotyp på tröjorna. I själva verket var det Umbro som tillverkade tröjorna och det var deras tröjnummer man använde. Samma stil på numren använde många engelska lag på 70-talet.