W trakcie kariery klubowej był zawodnikiem m.in. Vicenzy, Juventusu, Milanu czy Hellasu Werona. W barwach drużyny z Turynu dwukrotnie zdobył mistrzostwo Włoch (1981/82, 1983/84), a także sięgał po Puchar Włoch (1982/83), Puchar Zdobywców Pucharów (1983/84), Superpuchar Europy (1984) oraz Puchar Mistrzów (1984/85).

Największą chwałę przyniosły Rossiemu mistrzostwa świata w 1982 roku. Na mundial w Hiszpanii pojechał w ostatniej chwili po tym, jak skrócono mu karę dwuletniej dyskwalifikacji za udział w związanej z handlem meczami aferze "Totonero". Podczas turnieju strzelił aż sześć goli, w tym dwa w półfinale z prowadzoną przez Antoniego Piechniczka reprezentacją Polski.