Barry Harris nace en Detroit (EEUU) el 15 de Diciembre de 1929. Se aficiona pronto a la música ya que su madre es pianista. A los 14 años aprende a tocar su primera pieza, un cántico religioso. Su madre le dio clases de piano hasta 1946. Un año antes obtuvo el primer premio de aficionados del Paradise Theater. A partir de ese momento comienza a tocar en los clubs y salas de concierto de su ciudad natal.

En 1954 es contratado como pianista regular del Blue Bird Club, donde toca con músicos de la talla de Pepper Adams, Paul Chambers, los hermanos Jones, Donald Byrd, Billy Mitchell o Doug Watkins. Incluso llegó a compartir escenario con el mítico Charlie Parker.

Posteriormente trabajará en el quinteto de Max Roach grabando su primer disco como acompañante.

Después de permanecer un tiempo en Nueva York regresa a Detroit para tocar con Roy Eldrige y Ben Webster.

En 1958 graba su primer disco en trío junto a William Austin y Frank Grant. Este año también grabará con otras formaciones (Quincy Jones Big Band, Benny Golson y Philly Joe Jones).

Barry Harris suele trabajar con otras formaciones aparte de su trío, ha colaborado con músicos como Dexter Gordon, Lee Morgan, Coleman Hawkins, Kenny Dorham, Elvin Jones y Ron Carter. A finales de los sesenta grabará un disco junto a otros grandes pianistas: Cedar Walton, Kenny Drew, Jimmy Rowles, Lou Levy y Duke Jordan entre otros.