永州人为了纪念柳宗元,早在唐朝元和九年十二月(公元814年),柳子将要离开永州时,就开始筹建柳子祠。现在的柳子庙是清光绪三年(公元1877年)重修的。柳子庙座落在潇水西岸柳子街中心,面对愚溪,背负西山。幽静古雅,风和宜人。庙前有一垛高大的院墙,镶三个拱门。正门上端嵌着一块大青石,刻有“柳子庙”三字和五龙双狮;两边有石刻“山水来归黄蕉丹荔;春秋报事福我寿民”,集韩愈荔子碑佳句而成的对联,系杨翰书写。右侧门题名“清莹”,左侧门题名“秀彻”。门前柳绿,竹茂,愚溪清流,组成一幅美丽的画卷;进门面对正殿的是双檐八柱的戏台,台檐柱上端木雕的麒麟、凤凰,刻工精细,形态优美;台顶有瓷葫芦及泥塑的鳌鱼等。庙系砖、木结构,简洁朴素,石脚、梯阶、台跺,三进三开间,正殿宽宏,高耸巍峨。当年殿内供奉柳宗元塑像,挂有“文贯八家”、“都是文章”、“福我寿民”等横扁。春秋社日,永州百姓都来虔诚膜拜。农历七月十三日则杀猪宰羊、演戏、拜神,祝贺柳子生日,更是热闹非凡。
殿后墙壁中镶嵌有四块苏东坡书写的荔子碑文,世称三绝,是湖南省级重点保护的文物。两旁竖立着万历二十二年(公元1594年)王泮的《捕蛇歌》,明正德十三年(公元1518年)严嵩的《访愚溪谒柳子庙》、清嘉庆年间(公元1819年)王日照的《愚溪怀古》等碑刻。
从前在柳子庙周围8里之内,在柳宗元到过的村庄,建有柳子的13座脚庙(小庙),这充分表明了永州人民对柳宗元的怀念、崇敬。凡到过永州的人,无不以能瞻仰柳子庙为快。
唐元和十四年(公元819年)柳宗元在柳州病逝。后一年,灵柩运回京兆万年县栖风原(今陕西临潼县内)。《柳州县志》说:"宗元原厝于古州治,其櫬虽扶归,而封土尚存。”这封土就是现在的柳宗元衣冠墓。原毛石砌墓是清代重建的,墓碑题"唐刺史文惠侯柳公宗元之墓”,有对联"文能寿世,惠以养民"。文革时墓被毁平。1974年修复,郭沫若题碑:"唐代柳宗元衣冠墓”。