Die Band wurde 1965 in Los Angeles gegründet. Gründungsmitglieder der Band waren Bob The Bear Hite (Gesang; Bear wegen seiner Körperfülle; * 26. Februar 1945 in Torrance, Kalifornien), Alan Blind Owl Wilson (Gitarre, Gesang, Mundharmonika; * 1943), Henry Sunflower Vestine (Gitarre, ehemals bei Frank Zappas The Mothers of Invention), Larry The Mole Taylor (Bass) und Frank Cook (Schlagzeug).

Ihr erstes Album erschien 1967 nach ihrem Auftritt beim Monterey Pop Festival. Das zweite Album Boogie with Canned Heat von 1968 war erfolgreicher und machte Canned Heat zu einer der angesagtesten Bands der Hippie- und Bluesszene an der Westküste der USA. Es entstand in Zusammenarbeit mit dem berühmten Bluessänger und -gitarristen John Lee Hooker. Auf dem Album war die Hitsingle On the Road Again enthalten, die es bis auf Platz 10 der amerikanischen Charts schaffte. Außerdem ersetzte ab diesem Album Adolfo Fito De La Parra, der bereits mit Etta James gespielt hatte, den Schlagzeuger Frank Cook. Im selben Jahr setzte sich die Band für Albert Collins ein, damit dieser einen Plattenvertrag bei Imperial Records erhielt.

1969 folgte das Doppelalbum Livin' the Blues, das ihnen mit Goin' Up the Country den größten Hit bescherte, in dem Tank Harrigan (Ray Charles Band) die Flöte spielte. Außerdem trat die Band auch beim Woodstock Festival auf. Dem dortigen Auftritt war ein Streit zwischen Henry Sunflower Vestine und Larry The Mole Taylor zwei Tage zuvor auf der Bühne des Fillmore West vorausgegangen, als dessen Folge Vestine die Band verlassen hatte. Diese sah sich genötigt, umgehend Harvey Mandel zu engagieren, um weitertouren zu können. Da sie nicht einmal in der Lage gewesen waren, zusammen zu proben, weigerte sich Adolfo Fito De La Parra anfangs, bei Woodstock aufzutreten und verließ kurzfristig sogar die Band. Allerdings gelang es dem Manager Skip Taylor, mithilfe eines Generalschlüssels, Zugang zu seinem Zimmer zu erhalten und ihn zusammen mit dem Rest der Band in den Helikopter zu befördern und zum Spielen zu bewegen. Die Band traf gleichzeitig mit den Roadies ein, denen es gelungen war, sich im LKW mit der Ausrüstung durch das Chaos zu bewegen, wobei sie für den Weg zwischen den Catskills und New York über 13 Stunden benötigten (normalerweise 2-3 Stunden). Die Band spielte während des Sonnenuntergangs und wurde vom Publikum gefeiert, wie kaum eine andere während des Festivals. Ihr Song Goin' Up The Country erreichte in dieser Woche die Spitze der amerikanischen Charts und wurde später zur inoffiziellen Hymne des Festivals.

Im Mai 1970 nahm die Band zusammen mit John Lee Hooker das Doppelalbum Hooker 'N' Heat auf, welches dessen erstes Album überhaupt wurde, das es im Februar 1971 bis in die Albumcharts schaffte. Unglücklicherweise hatte Alan Wilson am 3. September 1970 einen durch Vergiftung herbeigeführten Selbstmord verübt und Larry Taylor die Band verlassen. Sie hatte zwar mit Let's Work Together, einer Coverversion von Wilbert Harrison einen letzten Top 20 Erfolg in den USA, aber der Höhenflug war vorbei. Die Band tourte zwar weiterhin, war aber nie wieder in der Lage, vor größerem Publikum zu spielen.

Am 5. April 1981 starb auch Bob Hite, der bis dahin jedes Konzert mit den Worten: „And don't forget to boogie!“ beendet hatte. 1989 hatte die Band einen Gastauftritt auf Hookers Album The Healer, das sich zu einem großen Erfolg entwickelte. Nachdem Larry Taylor 1994 zurückgekehrt war, leitet seither De La Parra die Band.

Von 1999 bis 2005 bestand die Band aus ihm am Schlagzeug, Greg Kage (Bass und Gesang), Dallas Hodge (Rhythmusgitarre und Gesang), John Paulus (Leadgitarre und Gesang) und Stanley Behrens (Mundharmonika, Flöte, Saxophon und Gesang). 2003 erschien das Album Friends In The Can, bevor 2005 Don Preston den Gitarristen John Paulus ersetzte.

Der Bluesmusiker John Mayall beschreibt in seinem Stück The Bear (1968 erschienen auf der LP Blues from Laurel Canyon) sein zeitweises Zusammenleben mit den Musikern von Canned Heat; das Stück, das mit einem markanten Intro beginnt, das an die Canned Heat Boogies erinnert und von Mick Taylor gespielt wird, ist gleichzeitig eine Hommage an Bob Hite.