离开平城、另迁新都，既已确定无疑，下一步就是迁往何处的问题了。当时主要有三个地方可供选择，一是长安，二是洛阳，三是邺城。长安、洛阳均为中国历史上的著名古都，长安为西周、秦、西汉等统一王朝的首都，十六国时期的前赵、前秦、后秦也定都于此；洛阳则为东汉、曹魏、西晋的故都；邺城则是后赵、前燕的旧都。

长安、洛阳、邺城作为新都的候选城市，各有凭据。长安作为汉族传统文化中心之一，有人建议将其作为新都并不奇怪，甚至到孝文帝已经迁都洛阳两年之后，还是有些汉人文士提议应该定都长安，如497年孝文帝巡视关中，李冏（？—479，字道度，赵郡平棘今河北赵县人）还“以咸阳山河险固，秦汉旧都，古称陆海，劝高祖去洛阳而都之。”但孝文帝认为，长安位置偏西，不利于自己征讨江南军事行动的展开；另外，关中地区虽然也比较富庶，但毕竟土地狭小，无法与大河南北地区的经济实力相比；当然还有一条理由，即前赵、前秦、后秦三个政权都是在这里亡国，长安作为首都的“地气”并不好。所以，孝文帝最终否定了长安作为新都的建议。

邺城在黄河北岸，与洛阳隔河相望。从地理位置来说，邺城作为新都也未为不可，并且孝文帝在南伐的时候，一方面让人经营洛阳，另一方面又命人在邺城兴建宫殿。太和十八年（494），也就是在孝文帝南伐至洛阳以后，却在邺城宫殿大会群臣，所以说，当时定都于邺城的可能性也是有的。这是因为，那时最富庶的地区在河北，北魏的国家财政收入最主要的来源也是河北，所谓“国之资储，唯籍河北”，当时仅冀、定二州的户调绢就在30万匹以上。而邺城就是河北的中心城市，所以如果单从经济的角度来考虑，邺城优于洛阳。另外，早在明元帝拓跋嗣统治时期，就曾因为平城闹饥荒而准备迁都邺城，最后在崔浩等人的反对之下，才放弃这个打算。

然而，孝文帝最终还是选择洛阳为国家新的首都，那是因为洛阳在政治、经济、文化等方面的综合指数上超过长安、邺城。

以经济指标来说，这三个地区都是当时的经济发达地区，洛阳所在的经济区域，虽稍弱于邺城所在的河北地区，但强于长安所在的关中。更重要的是，洛阳有漕运的优势，可以通过黄河漕运将河北的物产运到洛阳，这一点就是长安、邺城所不及者。

以政治指标来说，如前面所分析的那样，长安、邺城都没有办法和洛阳相比，从远的来说，洛阳乃是东周故都，近代以来东汉、曹魏、西晋均都洛阳，这些都是人们心目中“正朔所在”的政权，而邺城只不过是后赵、前燕两个“僭伪”政权的都城，所以，邺城比不上洛阳；长安在历史渊源上固然强过洛阳，但不符合孝文帝进一步南征的军事战略构想。

从文化来说，洛阳所在的中州地区，乃是文化最发达的一个区域，也是邺城所无法比拟的；与洛阳相比，长安作为中原政权都城的历史毕竟为时已久，相对洛阳来说已经落后了。

所以，综合考虑，孝文帝决定迁都洛阳，以中原地区政治与文化中心洛阳为新都，北魏统治者不仅可以华夏文化的正宗传人自居，也更能吸引那些醉心于“中夏正音”、要求汉化的士大夫，从而将汉化改革推向深入。

太和十七年（493）八月，孝文帝率众来到永固陵前，和祖母冯太后作最后的告别，之后便亲率大军百余万南下。九月，南伐大军进至洛阳，到达洛阳后，孝文帝故意装出继续南下的样子，迫使鲜卑勋贵同意迁都于洛阳。十月，孝文帝下令司空穆亮（451—502，字幼辅，本姓丘穆陵氏，穆泰从兄弟）、尚书李冲、将作大匠董爵三人负责洛阳的重建，洛阳新城的具体规划设计则由蒋少游完成。太和十八年（494）三月，孝文帝又从洛阳返回平城，作迁都的动员和说服工作；十月，孝文帝亲自到太庙告别，将祖宗牌位迁出；十一月到达洛阳。太和十九年（495）九月，平城后宫及文武百官全部迁到了新都洛阳。就这样，前后历时两年多，孝文帝终于完成了迁都大业。

孝文帝迁都洛阳，在终结北魏平城时代的同时，开创了北魏洛阳时代，北魏历史的新篇章从此揭开！