A partire dal 1925 in Ohio i Mills Brothers, un gruppo inizialmente composto da quattro fratelli afroamericani (Il tenore Herbert, il baritono Harry, il tenore solista Donald, il bassista e chitarrista John Jr.), divennero un fenomeno locale ricreando strumenti utilizzando la voce, limitando solitamente l'accompagnamento a una chitarra. Sono stati tra i primi artisti a fare affidamento su un dispositivo da studio (il microfono) per il suono della loro musica.
Si trasferirono a New York nel 1930, dove continuarono a "impersonare" la musica jazz. Le loro interpretazioni di Tiger Rag (1931), Goodbye Blues (1932), Dinah (1932) di Nick LaRocca, con Bing Crosby, Bugle Call Rag (1932), Lazy Bones (1934) di Hoagy Carmichael, Paper Doll (1943), che rimase forse la loro canzone simbolo, You Always Hurt the One You Love (1944) di Doris Fisher e The Glow Worm (1952) erano dolci ballate sentimentali che ridefinivano la musica nera per un pubblico più ampio.
Resero popolari le "armonie da barbiere", una mutazione dolce e romantica dei quartetti giubilari che diventerà lo standard di riferimento per tutti i futuri gruppi vocali.

John Jr. Mills morì nel 1939 per le conseguenze di una polmonite, all'età di 25 anni.
Harry Mills è morto nel 1982, all'età di 68 anni.
Herbert Mills è morto nel 1989, all'età di 77 anni.
Donald Mills è morto nel 1999, all'età di 84 anni.
L'attività del gruppo è stata portata avanti dal figlio di Donald, John III, assieme a Elmer Hopper, ex membro dei Platters.