Μαζί με τον αδερφό του Αλέξανδρο και άλλους φίλους τους αθλητές στον Πανελλήνιο, ίδρυσαν στις 3 Φεβρουαρίου 1908, τον Πανελλήνιο ποδοσφαιρικό όμιλο Αθηνών που το 1924 μετονομάστηκε σε Παναθηναϊκό που πλέον πρεσβεύει μια ιδέα και εκπροσωπεί εκατομμύρια ανθρώπους ανά τον κόσμο.
Όταν έπαιρνε την απόφαση να ιδρύσει τον μετέπειτα μεγαλύτερο σύλλογο της Ελλάδας, δεν θα μπορούσε κι ο ίδιος να έχει καταλάβει το καλό που έκανε. Πιστός στρατιώτης του Παναθηναϊκού, τον υπηρέτησε μέχρι τη στιγμή που έφυγε απ’ τη ζωή στο Ναυτικό νοσοκομείο, λόγω προβλήματος στην καρδιά.
Έδωσε τα πάντα για το τριφύλλι, από όλες τις θέσεις. Αγωνίστηκε σαν ποδοσφαιριστής, υπήρξε προπονητής, πέρασε από όλες τις διοικητικές θέσεις. Έπαιξε καταλυτικό ρόλο στην δημιουργία του γηπέδου της Λεωφόρου και πρωτοστάτησε στην ίδρυση και άλλων τμημάτων στον Παναθηναϊκό.
Ο Καλαφάτης δημιούργησε τον «σύλλογο μεγάλο» και σιγά-σιγά το τριφύλλι έγινε γνωστό απανταχού, χάρη σε αυτόν. Ο ιδρυτής του Παναθηναϊκού μπορεί να έφυγε, αλλά έχει μείνει πάντα χαραγμένος στη μνήμη όλων. Και όπως κι όσο μπορεί ο καθένας τιμά την καταλυτική του προσφορά.
Από το πιο αυτονόητο που είναι η μετονομασία του Απήλιον σε «Γιώργος Καλαφάτης», μέχρι το πανό που σήκωσαν στο παιχνίδι με τον Πανθρακικό οι φίλοι της ομάδας, που έγραφε: «Οι ιδέες δεν πεθαίνουν, έδωσες νόημα στη ζωή μας».
