内大臣家这位新来的小姐，很快成为京都世人的话柄，种种讥评谣传，闹得满城风雨。源氏闻知，说道："不管别人如何评说，只要是找出这么个素不相识的深闺女子当千金小姐看待，一不称心，便逢人诉苦，故谣传四起；如此作风，内大臣怎能作得出？此人专在细小的事情上过分要求，以显示其精明；又加上他考虑问题总不周全，未曾调查清楚便作出贸然之举。稍不如意，便闹得不成体统。"他同情那近江君。玉是听了此话，想道："我幸好未去投靠父亲。虽说是亲生父亲，但久末相处，不知其禀性如何，忽然前去亲近，怕要受辱呢。"于是暗自庆幸。右近也大为赞同。源氏虽然心底对玉望的恋情越来越炽，但仍很强忍着，只能在表面上关心她、怜爱她。玉髦也就渐渐亲信他了。初五六日的月亮早已西沉。天空昏暗，风瑟瑟地摇响获花。这一切皆暗含着一种秋意。夏尽秋来，凉风乍起，他想起了古歌"吹来我夫衣……"之句，目睹秋风落叶，一派萧条，凄清冷落之感顿生。连日来只得频频探视玉望，终日与之抚琴作伴。源氏与玉望枕着和琴，齐首并卧。源氏喟然而叹：'加此并卧，竟然无任情而动的非礼行为，世间还有谁能办到呢？"夜已很深了，因担心侍女看见，便起身准备回去。庭前已经熄灭了几处黄火，源氏便唤随从右近大夫点火。湖边的卫矛树亭亭如盖，送来一阵阵恰人的凉风；虽疏疏朗朗地点着松明，但离窗较远，热气不能入室。火光反倒显得凉爽，映在玉皇身上，姿态婀娜，艳丽动人。源氏轻轻抚摩这瀑布般的秀发，光洁如玉，柔顺幽香。玉置小鸟依人般温顺可爱，源氏委实不愿离去，故意说道："这黄火应该有人添加才是。如此无月之夜，倘连火光也熄灭了，孤独无聊，真是害怕。"便赋诗赠与玉皇："情焚中胸似案大，浓烟盛焰不减灭。倒是何时可消呢？虽然不是'夏夜蚊香蕉，胸底清思不断烧'，但那是何等难忍的痛苦啊！"玉量觉得有非份之意，于是答诗道：
　　"君心若如等火焚，烟飘长空永不返以免外人怪异。"源氏见他面色不悦，说道："如此看来，我该走了。"便出得门外。此刻东院花散里有筝笛合奏之妙音传来，笛声悠扬悦耳动听。原来这是夕雾中将正与几位形影不离的游伴在奏乐。源氏说道："大概是柏木头中将在吹笛吧？吹得真是不错！"他又不舍离去。便叫人前去转告夕雾："我这里黄火清风，很留人的。"不一会儿，夕雾同柏木头中将及并少将三人翩然而至。源氏说道："秋风送来你们美妙的笛声，倒勾起我满腔愁绪了。"遂取过琴来，小弄一段，也甚是动听。夕雾以笛吹出的南吕调音乐尤为优美。柏木因念着五望，迟迟未能启口。源氏着急了，催他快唱。柏木的弟弟养少将便奏乐低吟，其音与金钟儿的鸣声酷似。源氏也和着琴声唱了两遍，便让琴与柏木。最为动人的是柏木弹的爪音，华丽而不失幽雅，技法不亚于其父内大臣。
　　源氏无限伤感地对三人说道："隔帘怕有知音人。如此秋夜，举酒浇愁只怕容易醉啊！我这入秋之人，醉后难免触景生情，垂泪以对，心中之言恐脱口而出。"玉望生怕他说出什么尴尬的话来。棺木和非少将与他有兄妹情份，因此格外亲近，便在帝内向他俩窥望，仁兄弟俩却并不曾知晓。特别是柏木，他正一心思恋着这帝内之人，心中情思如火燃烧。人前尚难自禁，哪有心思弹琴呢？