Saxophoniste ténor et soprano très apprécié, c'est surtout comme baryton que Charles Davis laissera son empreinte et sa contribution la plus originale. Né dans le Mississippi, Charles Davis a été élevé à Chicago. Il y a étudié à la DuSable High School, puis à la Chicago School of Music (1948-50). Charles Davis a aussi suivi les cours privés de John Hauser.
Il se fait remarquer au baryton en jouant pour Jack McDuff (1954), Ben Webster (1955), Clarence Frogman Henry, Billie Holiday (1956). Il est dans l'orchestre de Sun Ra en 1956-57 et y retourne ensuite à l'occasion. Charles Davis œuvre pour Dinah Washington (1957-59 : disque What a Diff'rence a Day Made, Mercury) puis Kenny Dorham (1959-60). Pour Kenny Dorham, il participe aux disques The Arrival of Kenny Dorham (1960, Jaro 5007) et Jazz Contemporary (1960, Time 52004).
Les années 1960 sont extrêmement productives puisqu'il enregistre avec Steve Lacy (1960, The Straigh Horn of…, Candid 9007), Julian Priester (1960, Spiritsville, Jazzland), Johnny Griffin (1960, The Big Soul-Band, Riverside), Cecil Taylor-Buell Neidlinger (1961, avec Clark Terry, tp, Archie Shepp, ts : Things Ain't What They Used To Be, Barnaby Records), Sam Jones (1960, avec Blue Mitchell, tp, The Soul Society, Riverside), joue pour Lionel Hampton, Freddie Hubbard, Ahmad Jamal, Erskine Hawkins, John Coltrane, enregistre avec Illinois Jacquet (1962, avec Roy Eldridge, tp, Jo Jones, dm : Banned in Boston, CD CBS 44391), Elvin Jones-Jimmy Garrison (1963, Illumination!, Impulse! 49), Art Blakey (1963, avec Lee Morgan, tp, Curtis Fuller, tb, Julius Watkins, cor, Bill Barber, tu, Golden Boy, Colpix) et dirige son propre orchestre (1965-66). Il devient un pilier du Jazz Composer's Orchestra (1966-76).
En 1972, son confrère Pat Patrick monte le Baritone Saxophone Retinue comprenant six sax baryton et une rythmique et dont Charles Davis fit partie. Le groupe enregistre l'album Baritone Saxophone Retinue (1977, Saturn 770). On entend Charles Davis avec Hank Mobley-Cedar Walton (1972, coopérative avec Sam Jones et Billy Higgins), Louis Hayes (1972-74).
Il enregistre enfin sous son nom (1974, Ingia!). Dès 1973, Charles Davis enseigne au Jazzmobile. Il est membre du Clark Terry's Big Bad Band (1973-79), Duke Ellington Orchestra dirigé par Mercer Ellington (1978) et du Thad Jones-Mel Lewis Big Band (1978). Charles Davis enregistre avec le trompette Dizzy Reece (1978, Manhattan, BH 7001). Il apparaît aussi à la télévision avec Archie Shepp, Lucky Thompson et d'autres.
En 1979, son album Dedicated to Tadd (West 54 8006) prélude sa contribution au groupe Dameronia (1981-84); il participe avec lui au disque To Tadd with Love (1982). Dès 1980-81, il joue aussi pour Barry Harris. Il est membre du quartet de Philly Joe Jones (1981-84). C'est à Paris qu'il participe au disque Filet de Sole du grand batteur, en compagnie de Roger Guérin (tp), Glenn Ferris (tb) et Hal Singer (ts) notamment (Marge 18). Charles Davis y joue du sax ténor. Parallèlement il enregistre (1983, Ekaya, Ekapa 003) et tourne avec Abdullah Ibrahim (1983-87). Avec lui, il apparaît dans le film A Brother with Perfect Timing (1986).
Charles Davis joue aussi avec Cedar Walton (1986), Ricky Ford (1987), Shirley Scott (1989), Muhal Richard Abrams (1989). Il fait même une tournée en Europe avec le show A Salute to Benny Goodman!
Dans les années 1990, il joue surtout du ténor comme dans son album Reflections (1990, avec Barry Harris, Red 123247). Il retrouve Sun Ra pour une tournée en Europe (1990). Par la suite, il joue en Jamaïque, à nouveau avec Dizzy Reece puis avec Roy Burrowes. Il travaille à l'Apollo dans l'orchestre qui accompagne Ray Charles, Joe Williams et Nancy Wilson. Avec Rein de Graaf, il se consacre à la musique de Kenny Dorham. Il se joint au Big Band de Clifford Jordan avec lequel il enregistre (1991) et pour lequel il devient directeur musical. Il est sax ténor du groupe de Larry Ridley (au Sénégal, à New York). On l'entend avec Joe Lee Wilson (Toulouse, 1996). A New York, il se produit beaucoup et à nouveau, avec Barry Harris (1996-98). On le retrouve parfois au sein du Thee Baritone Saxophone Band avec Ronnie Cuber et Gary Smulyan (en tant que remplaçant de Nick Brignola). Il a une activité internationale soutenue (Rome, Londres, etc). En 1999, il participe avec Aaron Bell au Afternoon of Jazz Festival à Norwalk (Connecticut). Puis il rend hommage à Stanley Turrentne à Philadelphie. Il retrouve bien sûr Barry Harris (Sweet Basil, Birdland).
En 2004, il joue aux 50 ans du Newport Jazz Festival. Charles Davis est ensuite membre du groupe de Walter Booker. En 2009, il dirige les Charles Davis All-stars: A Tribute to Kenny Dorham. Cette formation (Tom Kirkpatrick, cnt) enregistre en concert à Bâle (2010). Il tourne avec le Spirit of Life Ensemble et en 2013, il passe au Jamboree Jazz Club de Barcelone avec Jimmy Wormworth. Charles Davis a enseigné à Amsterdam (dès 1985), pour la New School for Social Research, puis la Lucy Moses School. Charles Davis, à l'aise dans les contextes mainstream, bop et d'avant-garde, a, pour contribution au saxophone baryton fait une synthèse entre la souplesse d'un Serge Chaloff et la sonorité d'un Leo Parker.