Das Coffe Baum wurde im Jahre 1556 erbaut und ist eines der ältesten Kaffeehäuser Deutschlands. Im Jahr 1703 erfolgte ein durchgreifender Um- bzw. Neubau des Gebäudes. 1717 nahm der kurfürstlich-sächsische und königlich-polnische Hofchocolatier Johann Lehmann das Haus in Besitz und ließ es 1718 / 19 zu einem großzügigen Kaffeehaus umbauen. Die Mittelachse der Fassade wurde durch Sandsteingewände, zwei barocke Fenstergiebel und einer szenischen Plastik über dem Eingang betont.

Robert Schumann war von 1833 bis 1840 oft zu Gast im Kaffeebaum, um im Kreise der sogenannten Davidsbündlern über seine Neue Zeitschrift für Musik zu diskutieren. Die Vereinigung wurde von Robert Schumann geleitet und bestand vor allem aus jungen Musikern, die mit den Zuständen in Deutschland, was die Musik betraf, unzufrieden waren. Wagner nahm an der Tafelrunde im Kaffeebaum zwar nicht teil, aber war mit Robert Schumann und anderen sogenannten Davidsbündlern bekannt. 1834 erschienen in der Neuen Zeitschrift für Musik Nr. 63 vom 6. November und 64 vom 10. November Artikel von Richard Wagner unter dem Pseudonym Canto Spinato.