据《安徽省宁国县地名录》载:“相传此地原有姓胡名乐的人居住,故称胡乐”。南宋初年杨万里过经胡乐时曾赋诗《过胡乐坑》,说明南宋时期此地即称“胡乐”。《明史·地理志》记载,明初置胡乐巡检司于此,管理地方治安、缉拿奸盗,以及管理医药、僧道等事。胡乐巡检司简称胡乐司,地名胡乐又称胡乐司。胡乐巡检司民国初年废除,但地名胡乐司一直沿用至今。

胡乐镇,明清时期属徽庆乡二十八都,民国二十四年属第三区管辖(驻地胡乐镇)。解放初期设新建、金龙、竹川3个行政村;1952年成立胡乐、竹川2个乡;1958年建社属胡乐公社称胡乐、竹川大队;1961年划社成立胡乐公社;1983年改设胡乐乡,均属胡乐区;1988年改称胡乐镇;1990年鸿门乡鸿门村、龙池村并入胡乐镇,驻地仍为胡乐司。
胡乐镇有丰富的水利、矿产、农林等自然资源。盛产山核桃、木材、毛竹、蚕桑、茶叶,是宁国山核桃生产重点乡镇之一,蚕茧产量占全市三分之二。3000余株红豆杉散生在青冈、枫香林中,其中最大一株红豆杉树高25米,胸径1.4米,为华东地区之最。云门村海拔1087米的龙池山,风景优美。
境内的奥陶纪笔石化石地质遗迹,2007年被列为省地质遗迹保护单位。千年古镇徽派建筑一条街以及清代著名学者周赟故居保存较好。2005年,周氏祠堂被列为省重点文物保护单位。康熙年间建造的跨西津河的胡乐司大桥(原名神功桥),是宁国市现存的古桥之一。