PSMU založil Ferdinand Vach, významný pedagog a skladatel. Podařilo se mu ze studentů a absolventů kroměřížského Pedagogia sestavit vynikající mužský sbor, s nímž si vytkl za cíl oprostit se od moravského provincionalismu a doznívající vlastenecké nostalgie. Položil tak základy moderní sborové interpretaci, opřené o suverénní technickou dokonalost a umocněné stylovou vytříbeností a hlubokým procítěním ideového obsahu, s nutností zcela nové koncepce umělecké práce – progresivní dramaturgie, vyspělá hlasová kultura, absolutní intonace, zpěv zpaměti. PSMU přispělo k obohacení národní kultury  i tím, že podnítilo založení nových pěveckých sborů, ale také vznik četných a osobitých sborových děl.

Právě odtud, z Kroměříže, zazářila v roce 1903 hvězda, dosavadní stálice mezi ostatními mužskými pěveckými sbory. Díky stylové a obsahové vytříbenosti a vyspělé hlasové kultuře pronikalo PSMU od roku 1905 i do ciziny, kde působilo jako objev a doznávalo triumfálních úspěchů. Vachovo průkopnické dílo dále rozvinul  Prof. Jan Šoupal, pod jeho vedením dosáhlo sdružení suverénních vítězství v náročných světových sborových soutěžích. V roce 1964 převzal funkci dirigenta skladatel a hudební teoretik Prof. Antonín Tučapský, který vnesl do činnosti sboru řadu nových progresivních prvků. Po krátkém působení dirigenta Oldřicha Halmy, známého zejména úpravami lidových písní,stanul roku 1975 v čele PSMU Prof. Lubomír Mátl. Prof. Lubomír Mátl, který vedl sbor k novým interpretačním metám dlouhých 40 let do roku 2015. Pod jeho vedením získalo sdružení řadu ocenění doma i v zahraničí. Nastudoval se sborem řadu velkých a obtížných skladeb a pozvedl na velmi vysokou úroveň jeho interpretační schopnosti.

Od ledna 2015 byl uměleckým vedoucím PSMU Mátlův nadějný žák Jiří Najvar, který přes své mládí už dokázal svoji erudovanost. Sbor coby umělecký vedoucí řídil čtyři roky. V září 2015 po čtyřleté pauze znovu nastoupil do sdružení coby další sbormistr Jiří Šimáček. Po odchodu Jiřího Najvara v lednu 2019 převzal po něm umělecké vedení. Právě pod taktovkou Jiřího Šimáčka sbíralo sdružení zlatá pásma z hudebních festivalů – Praga Cantat 2016, Singing World Petrohrad 2018 či Wernigerode 2023.

PSMU se v posledních letech rovněž účastnilo prestižních hudebních festivalů – Mezinárodní hudební festival Leoše Janáčka, Dvořákova Olomouc, Smetanova Litomyšl či Polička 555. Na svých koncertech zařazuje hudební díla se světskou či duchovní tematikou. V rámci světského programu uvádí díla
B. Smetany, A. Dvořáka, skladby P. Křížkovského, B. Martinů, J. B. Foerstera a také zaznívají úpravy lidových písní. V rámci duchovního programu sbor propojuje hudbou období od renesance až po současnost díly autorů zemí celé Evropy – G. P. da Palestriny, F. Biebela, J. G. Handela, F. M. Bartholdyho, P. Janczaka, O. Gjeila, V. Miškinise, A. Pärta, C. Orffa.

Pěvecké sdružení moravských učitelů je jeden z posledních mužských neprofesionálních sborů, který udržuje v repertoáru a provádí na koncertech vrcholná díla Leoše Janáčka Maryčka Magdónova, Kantor Halfar či Potulný šílenec. Díla tohoto českého velikána, který právě mužským sborům věnoval velkou pozornost, patří mezi stěžejní části našich koncertů. I proto je PSMU zařazeno mezi soubory, které jsou podporovány Nadací Leoše Janáčka.