En 1946, Little WALTER s’installe à Chicago où il rencontre Tampa RED, Big Bill BROONZY, Memphis Slim et Jimmy ROGERS. Il forme alors avec les guitaristes Othum BROWN (également chanteur), Moody JONES, Johnny WILLIAMS et le joueur de mandoline Johnny YOUNG, un orchestre qui se produit au Purple Cat. Cette représentation permet à Little WALTER de se faire remarquer et de pouvoir graver l’année suivante son premier titre, "Ora Nelle".

Mais les débuts sont difficiles pour Little WALTER, car à cette époque son style ne se différencie pas encore de ses illustres prédécesseurs, en l’occurrence des deux Sonny Boy WILLIAMSON (John Lee et Rice Miller).

Il faut attendre 1948 et l’intervention de Jimmy RODGERS, pour que Little WALTER intègre l’orchestre de Muddy WATERS, avec Sunnyland Slim au piano, Leroy FOSTER à la guitare ou aux drums et RODGERS à la guitare; et connaisse enfin le succès. La collaboration WATERS-WALTER, qui durera jusqu’en 1952, va faire des merveilles, aussi bien dans les clubs de Chicago où ils se produisent, que lors des séances d’enregistrements.

L’entente et la complémentarité de ces deux bluesmen, leur permettront d’enregistrer dès 1950 plusieurs chef-d’œuvres, de "Sad Letter Blues", en passant par "Early in the Morning", "Louisiana Blues", "Country Boy", "My Fault", jusqu’au titre "They Call Me Muddy WATERS" . Lors d’une séance d’enregistrement en 1951, Little WALTER amplifie son harmonica et pose, sans le savoir, les bases d’une véritable révolution dans le jeu de cet instrument. Le style WALTER est né.

En 1952, avec Muddy WATERS, Jimmy RODGERS et Elgin EVANS, Little WALTER enregistre "Juke", titre qui deviendra n°1 des charts. Le succès rencontré incite Little WALTER à quitter Muddy WATERS.

En septembre 1952, Little WALTER intègre la formation des frères MYERS et de Fred BELOW, les Aces. Rebaptisés les Night Caps, ils enregistrent quelques pépites du blues moderne, dont "Mean Old World", "Tell Me Mama", "Last Night", "Sad Hours" et "My Babe". Les Night Caps seront rejoints lors de certaines séances d’enregistrement par Henry GRAY (piano), Willie DIXON (basse) et Robert LOCKWOOD Jr. (guitare).

Mais le succès que rencontre Little WALTER, à cette époque, lui monte à la tête et rend difficile ses relations avec les autres musiciens. Imbu de sa personne, Little WALTER n’accepte aucune remarque et s’attribue l’intégralité du succès. L’abus d’alcool n’arrangeant rien, Little WALTER voit tous ses amis musiciens l’abandonner, d’abord Dave MYERS, puis Fred BELOW en 1955 et Robert LOCKWOOD Jr. en 1958.

Durant cette même période, Little WALTER enregistre une nouvelle fois avec Muddy WATERS en 1955 ("Mannish Boy") et grave son dernier hit, "Lonesome" en 1958.

A la fin des années 50, avec l’arrivée de musiques plus sophistiquées (rhythm’n blues, soul music, rock’n roll) et les effets de l’alcool sur son inspiration, Little WALTER prend conscience que son style ne fera plus recette. Il s’éloigne alors, jusqu’en 1964 de la scène et des studios, miné par l’alcool il se retrouve alors seul.

Il faut attendre que l’Europe s’intéresse au blues, toujours en 1964, pour que Little WALTER renoue avec le succès. Après des artistes comme Big Bill BROONZY ou Memphis Slim, il traverse à son tour l’Atlantique pour rejouer le blues. Il participe en 1967 à la tournée de l’American Folk Blues Festival, joue la même année avec l’orchestre de Sam LAY dans les clubs de Chicago, où il réussit en quelques notes d’harmonica à redonner vie à la magie du Blues de Chicago.

Sauvagement battu dans une rue de Chicago, après l’une de ses représentations, un soir de février 1968, Little WALTER meurt des suites d’une thrombose coronaire. Il sera enterré au cimetière Sainte Mary d’Evergreen, dans l’Illinois.