La tela, un vero omaggio a Velázquez, potrebbe riassumere i quattro colori preferiti da Manet: rosso, giallo, nero, bianco, posti su un fondo grigio e trattati a grandi masse. Quest'unità di tonalità particolarmente lavorata assomiglia ad una sinfonia, nella quale il pittore gioca sui contrasti creati. In questo quadro di sobrietà esemplare, eseguito di getto da Manet, senza disegno preparatorio, non vi è nulla da aggiungere e nulla da togliere. Come per molte altre sue tele, anche questa viene rifiutata dal Salon, proprio in seguito all'assenza di qualunque dettaglio inutile.
Zola è il solo a difendere “Il Pifferaio”: “Su uno sfondo grigio e luminoso si distacca il giovane musicista in divisa, pantalone rosso e berretto da poliziotto. Soffia in uno strumento, presentandosi in posizione frontale. [...]. Non penso che sia possibile un effetto di maggiore forza, con mezzi meno complessi. Il carattere del Signor Manet è deciso, sa quello che vuole”, si può leggere nell'"Événement" del 27 aprile 1866. Incompresa, la tela continuerà a destare sconcerto per molti anni e, in occasione dell'esposizione postuma di Manet, nel 1884, Paul Mantz scriverà ancora in “Le Temps”: 'Il Pifferaio', divertente campione di un'iconografia ancora barbara, è un fante di quadri inchiodato su una porta”.
In questo caso, il modello di Manet, che ha posato a lungo nel suo atelier, è un pifferaio della banda dell'esercito e, più precisamente dei volteggiatori della guardia presso la caserma della Pépinière.