响山位于市气象局东南高阜,形似葫芦,俗称葫芦山。分东西两岸,溪东为东响山,溪西为西响山,中间夹青溪河。宛溪河和青溪河,交汇于东响山的南端,夹舟行溪中,初则疑乃声声,继则闳响飞鸣,故名响潭,响山因此得名。东响山西岸红岩削壁千尺,濒临响潭,故称“响山赤壁”,为与鳌峰赤壁相区别,响山赤壁亦称小赤壁。潭上曾有古钓台遗址,相传为严子陵钓鱼处,又有窦子明钓白龙处之说。清光绪《宣城县志》载:“响山距城二里,又名小赤壁,危矶突兀,下瞰响潭,上有钓台。”清代进士骆大俊《登响山》诗云:“傍郭嵬嶷俯千尺……神鲛舞鬣饥且馋。谁为钓者严与窦,枫根坐列无仙几。鸟巢在山食在水,枯鱼半向山头衔。”
唐宪宗元和二年(公元807年),宣歙池观察使、诗人路应跨潭为梁,架两亭于东西岩上,建兵营。宰相、诗人权德舆作《响山亭新营记》刻于响山岩石之上,其中有“揭东西二亭于双峰之上,相距百步,华轩峻宇,皆据胜势,广原疏寮,可栖灏气。碧山恒目,清流在下,跨以虹梁,抵兹近郊。……凡由此途出者,东南抵于歙,西南抵于泾,肩摩毂击,往返自便。”当时,响山不仅建有高大华丽的营厅,而且还于两峰之上各建有一亭以点缀风景。唐代李白《登响山》诗云:“筑土接响山,俯临宛水湄”。宋代梅尧臣《过响山》诗云:“每过响山下,尝思路中丞”。清代蔡大杰《响山赤壁》诗曰:“响山突出鳌峰前,雄踞东南似虎眠。严岩下与清潭连,倒影千寻赤壁悬。清潭赤壁两娟娟,荡漾春风桃浪鲜。问谁织就锦翩跹,鱼校暖日弄晴川。”宋代梅尧臣,明代梅鼎祚,清代梅清等著名诗人、画家在此留下了三十多首响山诗篇和多幅丹青。