Ο Καψής αγωνίστηκε στον Παναθηναϊκό για 15 ολόκληρα χρόνια από το 1964 έως το 1984, έχοντας συνολικά 319 συμμετοχές. Με τη «πράσινη» φανέλα κατέκτησε πέντε πρωταθλήματα, τέσσερα κύπελλα και ένα βαλκανικό κύπελλο, ενώ φυσικά αγωνίστηκε στον μεγάλο τελικό του Γουέμπλεϊ, με τον Άγιαξ το 1971.