史书记载：北宋皇祐元年（1049年），欧阳修自扬州移知颍州。熙宁四年（1072年），欧阳修以太子少师、观文殿学士致仕，退居颍州，寓西湖六一堂。翌年四月，前副相赵概以八十高龄自南京（今河南省商丘市）来访欧阳修，欧阳修就将六一堂西侧的会客室加以整修，作为接待赵公的场所。时任颍州知州吕公著也前来看望。欧、赵、吕三人会于此堂，饮酒，赋诗，吕公著有感于二老相会为此堂题匾额日：“会老堂”。欧阳公即席赋诗：“…金马玉堂三学士，清风明月两闲人……”。诗中抒发了他与赵概莫逆之谊和对赵概不远千里寻访的感激之情。当年，欧阳修便终老于西湖居所 。
玉堂殿和金马门的并称。 玉堂殿 ，原为汉未央宫的属殿； 金马门 ，原为汉宫宦者署门。均为学士待诏之所。后亦沿用为翰林院的代称。
出自汉·扬雄《解嘲》：“今子幸得遭明圣之世，处不讳之朝，与群贤同行，历金门，上玉堂有日矣。”
