O ΠΑΟΚ ιδρύθηκε από Έλληνες της Κωνσταντινούπολης στις 12 Απριλίου 1926 και οχτώ μέρες μετά απέκτησε επίσημη υπόσταση με την έγκριση της ίδρυσης του από το Πρωτοδικείου Θεσσαλονίκης. Τον Οκτώβριο του ίδιου χρόνου καταγράφηκε ο πρώτος αγώνας της ομάδας μπάσκετ του ΠΑΟΚ. Ήταν ένα φιλικό που έγινε στις 19 Οκτωβρίου 1926 απέναντι στην ομάδα της Αρμενικής που έγινε στο ανοιχτό γήπεδο της ΧΑΝΘ, με τον Δικέφαλο να ηττάται με 22-10.

Εκείνη τη χρονιά ο ΠΑΟΚ συμμετείχε με άλλες τέσσερις ομάδες στο πρώτο Πρωτάθλημα μπάσκετ της Θεσσαλονίκης, έχοντας στη σύνθεση του τους: Γεωργιάδη, Ανδρεάδη, Πάγκαλο, Μακαρονόπουλο, Βλάχο, Παντερμαλή, Χαλεπλιάν, Ομουρλόγλου, Δημητρίου, Τζαφέρη και Φρύδα.

Ήταν η πρώτη απόπειρα του ΠΑΟΚ για να παρουσιάσει μία ομάδα μπάσκετ όμως δύο χρόνια μετά, ο Αλέκος Αλεξιάδης έβαλε τις βάσεις για μία πιο σταθερή προσπάθεια και μια πιο ισχυρή ομάδα. Μετά το τέλος του Β' Παγκοσμίου Πολέμου ήταν εκείνος που επαναλειτούργησε το τμήμα, όντας αρχικά ο ίδιος προπονητής του.

Η ομάδα του Δικεφάλου έκανε σταθερά βήματα προόδου, για να φτάσει στην κατάκτηση του Πρωταθλήματος του 1959, που είναι όχι μόνο ο πρώτος τίτλος του τμήματος μπάσκετ αλλά συνολικά του συλλόγου. Έτσι άνοιξε ο δρόμος για την πρώτη ευρωπαϊκή συμμετοχή της ομάδας, στο Κύπελλο Πρωταθλητριών όπου τον Νοέμβριο του 1959 αντιμετώπισε την πρωταθλήτρια Ρουμανίας ΣΣΑ Βουκουρεστίου.

Η απώλεια του στυλοβάτη εκείνης της ομάδας, του Γιώργου Οικονόμου που συνέχισε στον Τρίτωνα, αποδυνάμωσε τον ΠΑΟΚ που δεν είχε ανάλογη συνέχεια για να περάσει μία μεγάλη περίοδο κάμψης μέχρι τη δεκαετία του '80.

Στη διάρκεια της ο ΠΑΟΚ κέρδισε ένα Κύπελλο, στον αξέχαστο τελικό των “ξυρισμένων κεφαλιών” το 1984 αλλά κυρίως άρχισε να “χτίζει” την ομάδα της δεκαετίας του '90 που σημείωσε τις περισσότερες και τις μεγαλύτερες επιτυχίες στην ιστορία της ομάδας. Ο Δικέφαλος κατέκτησε πέντε από τους επτά τίτλους της ιστορίας του, ένα Πρωτάθλημα (1992), ένα Κύπελλο Κυπελλούχων (1991), ένα Κύπελλο Κόρατς (1994) και δύο ακόμη Κύπελλα Ελλάδας (1995 και 1999). Με εξαίρεση το Κύπελλο του '99, ηγετική μορφή της ομάδας στους τίτλους της δεκαετίας του '90 ήταν ο Μπάνε Πρέλεβιτς, ο οποίος από το 2011 έως το περασμένο καλοκαίρι διετέλεσε πρόεδρος της ΚΑΕ.

Στη διάρκεια αυτής της δεκαετίας ακόμη, ο ΠΑΟΚ κατέκτησε την 3η θέση στο final four του Κυπέλλου Πρωταθλητριών του 1993 ενώ αγωνίστηκε σε δύο ακόμη ευρωπαϊκούς τελικούς, το 1992 και το 1996.

Το 2000 μετακόμισε από το Αλεξάνδρειο Μέλαθρο στο PAOK Sports Arena. Αγωνίστηκε στους τελικούς των πλέι οφ εκείνης της χρονιάς και έκτοτε κατέκτησε τέσσερις φορές την 3η θέση του Πρωταθλήματος (2011, 2014, 2015 και 2018).