孟浩然早先一直隐居岘山南园的家里，四十岁赴长安谋仕不遇，游历吴、越数年后返乡，决心追步乡先贤庞德公的行迹，特为在鹿门山辟一住处。此诗当作于作者四十岁后隐居鹿门时，即景龙二年（708）至先天元年（712）间，故题为“夜归鹿门山”。