Ο Καψής αγωνίστηκε στον Παναθηναϊκό για 15 ολόκληρα χρόνια από το 1964 έως το 1984, έχοντας συνολικά 319 συμμετοχές. Με τη «πράσινη» φανέλα κατέκτησε πέντε πρωταθλήματα, τέσσερα κύπελλα και ένα βαλκανικό κύπελλο, ενώ φυσικά αγωνίστηκε στον μεγάλο τελικό του Γουέμπλεϊ, με τον Άγιαξ το 1971.
Κάνε εγγραφή στο Newsletter μας για να λαμβάνεις καθημερινά όλα τα νέα για τον Παναθηναϊκό και τα blogs του panathinaikos24.gr στο inbox σου.