扶感父以法丧身，惮为吏。及服终而叹曰：「老子有言：『名与身孰亲？』吾岂为名乎！」遂绝志世外。专精经典，尤明天文、谶纬，风角、推步之术。州郡公府辟召皆不应。就问灾异，亦无所对。常居先人冢侧，未曾入城市。「当时人因号为北郭先生。」