面对朝臣的惊诧和太后的愠怒，风烛残年的李淳风只是淡淡地回答了一句:“微臣以此门照应北落师门星。”
值得庆幸的是这个垂暮的老人并没直接承受到来自太后的怒火，北落门建成之后，李淳风的健康更加每况愈下。那一年的腊月廿一他在没有知会任何家人的情况离开了阆中修养的地方，七天后人们在北落门一侧的雪堆里找到了如同一捆干硬枯柴般的李淳风。从尸僵程度来看，他至少已经驾鹤飞升了两天左右。他背靠在城门石墙上，脸上挂着满足的表情，仿佛他至死都在延续着对于这座城门不可解释的痴迷。
张守节就没有这么幸运，来年开春他被以很不客气的方式遣往岭南。据说张大人在半路上就已经因为旅途劳顿而神志不清，头几天还终日咒骂李淳风害惨了自己，之后便没有人能听明白他在说些什么了。进入岭南不到半年，他就死于惊风。关于张长史的死，另外还有一个比较惊悚的版本，据说他在离开长安后，变得越来越疑神疑鬼，一路上都在催促加紧赶路，像是在逃避什么。到达岭南之后这样的情况变本加厉，人生的最后五个月，他都是埋在一条画满符箓的血红色棉被里面度过的，即使是最亲近的人也没法见他一面。当时正值岭南的盛夏，但他拒绝换衣服，拒绝洗澡，也拒绝用一条薄一点的毯子来替代，终日把棉被裹得密不透风。在折腾了很长一段时间后，棉被中的张大人动静越来越小，家人们壮着胆子掀开棉被，被窝里如同猴子般蜷缩着奄奄一息的老人的样子，成了在场所有人终生的梦魇。在被抬出被窝后没多久，张守节就死了，关于他身上那密密麻麻深可见骨的烂疮，有人认为是褥疮，也有人认为是太热太闷造成的。
在两位建造者相继离世之后，从北落门传来的噩耗并没有就此结束。武周圣历元年五月，左威卫旅帅彭果，在值夜当晚一去不归，第二天人们在北落门上找到了他，这位深得赏识，很有可能即将晋升校尉，而且还是新婚燕尔的旅帅毫无理由地在北落门上悬梁自尽了。
神龙三年，太子重俊兵变，杀武三思，武崇训，旋即