张道陵原来是读书人，他出生在沛郡丰县，虽然同刘邦是老乡，但他却是张良的第八世孙。
他于公元34年生于丰县的阿房村，他出生前，他的母亲做梦见到了魁星，仿佛魁星降入了她的腹中，于是便怀孕了。五月十八日生张道陵的时候，满屋生香、整月不散，房子上黄光罩顶，院子里紫气弥院。
他自幼聪颖过人，七岁时便能把老子的“道德经”倒背如流了，他对天文、地理、河图、洛书等谶纬之书无所不通、无所不晓，他当过太学的学生，博通五经。但最后他叹息着说：“这些书都天法解决生死的问题啊？”于是他便弃儒而改学长生之道了。
张道陵二十五岁的时候，曾官拜江州令，但他却身在朝政、志慕清虚。不久就隐居到了洛阳的北邙山中了。
公元89年，汉和帝授他为太傅，又封他为冀县侯。三次下诏召他回朝，但却都被张道陵婉拒了，他对使者说：“人生在世不过百年，光阴荏苒转瞬便逝。父母的隆恩、妻妾的厚爱也会随时而消失，君臣之恩谁见过长久？请转告圣上，只要清静寡欲、无为而治，天下自然便会大定，要我何用呢？我志在青山，不会再踏进庙堂之中了。”
北邙山又名北芒、邙山、北山、平逢山、太平山、郏山。它海拔不高，只有三百米左右，但它东西却横延了数百里。
对于北邙山，列朝列代都有不少赞语，因为它风景秀丽、风水极佳，所以成了王侯将相的入土之地。
唐代王建有诗云：“北邙山头少闲土，尽是洛阳人旧墓。”而白居易则有诗云：“何事不随东洛水，谁家又葬北邙山。”北邙山上，已经有了吕不韦的墓，汉光武帝刘秀的墓，以后还会有西晋司马氏、南唐李后主，以及杜甫、颜真卿等许多名人会落葬在此地。
张道陵在北邙山上修行了数年，但总是没有摸到修炼的关健，因为他手头的经书，也就是那么几本书，除了《道德经》以外，也只有《上清大洞真经》和《正一经》。他苦思冥想，对老子的《道德经》进行了注译，写下了《老子想尔经》，但这对于他的修道，也没有什么大的帮助啊！
那天他正在洞中暇想，忽然听到洞外有急速的风声，他走出了洞去，只见远处有两朵祥云，冲着他冉冉而来，他不禁抬头仰望了起来。
只见那两朵祥云，冉冉地来到了他的头上，缓缓地降了下来。祥云上站着两名老道，俱都是仙风道骨、道貌岸然、白发银髯，五缕长髯飘在了胸前，手中都拿着了一把拂尘。
“道友请了。”张道陵迎了上去，恭恭敬敬地打了一个稽首。
“请了！小道友，听说你在这里清修，特来望你。”为首的那位仙长开口说道。
“洞里请！洞里请！”张道陵恭恭敬敬地往里请着。
两位仙长随着张道陵的手势走进了洞府的里面，很大度地在洞中央坐了下来。
“请问两位是何路神仙？”张道陵恭恭敬敬地问。
“我们是太上老君……！”徐福回答了一半。
“啊！真的是太上老君啊！我猜就是太上老君了。”张道陵激动地说。
“……的弟子。”徐福终于补上了前半句，因为他如果说是“元始天尊”的弟子，这地位也太高了，而元始天尊是太上老君的师兄，他自称为“太上老君”的弟子，也是未尝不可的。
“是！是！弟子幸见了。”张道陵离席而拜。
徐福也懒得解释了，他们来的目的，就是帮助传颂道教的人，至于他们自己是谁，那也不尽重要。
“我们知道道友在此地清修，但不窥门径，无法收徒传道，因此特地前来赠送道教教典，以助道友修得正果。”徐福摊开手请张道陵起身。