无数史实表明，一个民族、一个国家、一个政权或一个集团，其最大、最致命的威胁，往往不是外敌的入侵，而是来自于内部的分裂或矛盾。尔朱氏集团迅速由盛转衰，关键就在于内部出了问题，是由于尔朱氏集团领导核心的不团结所导致。在尔朱荣军事政治集团中，尔朱荣的军事才能和政治智慧相对比较高，因此，当他作为集团的领导核心时，能够有效驾御其军事政治集团的运转，对于集团内部出现与潜在的分裂倾向或离心因素，基本上还能控制得住。但是，随着尔朱荣被杀，尔朱氏集团内部潜在的权力争夺及离心倾向就开始浮出水面，特别是领导层的权力争夺愈演愈烈，甚至于尔朱氏家族内部也出现了尔朱兆、尔朱天光、尔朱仲远（尔朱荣堂弟、尔朱彦伯之弟）、尔朱度律（？—532，尔朱荣堂弟）等人之间的争斗。

例如，尔朱氏集团的骨干成员之一、东魏北齐的开创者高欢，在投靠尔朱荣之前，曾先后追随过杜洛周（？—528，又名吐斤洛周，北魏柔玄镇即今内蒙古兴和人，高车族，六镇之乱领导人之一，后被葛荣所杀）、葛荣（？—528，鲜卑族，初为怀朔镇镇将，六镇之乱中先是投靠鲜于修礼，后自称天子，国号齐，528年被尔朱荣俘杀）。尔朱荣对高欢的才能颇为欣赏，曾多次对别人说，只有高欢具备取代他主持军事事务的能力，至于尔朱兆，高欢毫不客气地指出：绝非高欢的敌手。所以，尔朱荣在世的时候，还能够效驾驭高欢等人。但是，在尔朱荣死后不久，高欢很快就以讨伐尔朱氏为号召而另“举义旗”。

不过，更致命的威胁还是尔朱氏家族的内耗，例如尔朱度律、尔朱世隆、尔朱仲远就曾因为拥立问题而发生争执。尔朱度律等人拥立长广王元晔为帝，尔朱世隆却极力反对，并因此“甚恨之”。后来，尔朱世隆、尔朱仲远又准备立元恭为帝（按，元恭即前废帝），但尔朱度律却主张立元宝矩为帝（按，元宝矩即后来的西魏文帝），尔朱氏家族内部的矛盾，因此而进一步加深。

尔朱氏家族的内争，严重削弱了尔朱氏集团对外作战的力量。如，高欢攻克相州之后，尔朱兆、尔朱天光、尔朱仲远、尔朱度律联兵进讨，双方在韩陵摆阵决战：“于是尔朱兆及天光、仲远、度律等众十余万，阵于韩陵。兆率铁骑陷阵，出齐神武之后，将乘其背而击之。度律恶兆之骄悍，惧其陵己，勒兵不肯进。（贺拔）胜以其携贰，遂率麾下降于齐神武。度律军以此先退，遂大败。”不难想象，就在尔朱兆率军与高欢厮杀的时候，尔朱度律却出于担心尔朱兆战倾向于以后陵驾于自己之上，从而按兵不动，结果不仅贻误了取胜的战机，还造成了贺拔胜临阵降敌。这样，怎么可能不败？韩陵之役，尔朱氏精华损失殆尽，尔朱氏集团一蹶不振就是从这里开始的，而追究其所以失败的原因，就在于其内部的不团结。

对于尔朱氏内部不团结的严重后果，《魏书》的作者魏收（507—572，字伯起，巨鹿下曲阳即今河北晋州人，北朝史学家、文学家）也已经有所认识。他明确指出：尔朱兆控制晋阳，尔朱天光占据陇右，尔朱仲远镇守洛阳东南一带，尔朱世隆居中把持朝政，北魏的内外政局全部掌握在尔朱氏家族的手中，他们废立君主就像下棋一样容易。如果尔朱氏兄弟能够“唇齿相依，同心协力”，那么，他们的统治肯定是“磐石之固”，其他人绝对没有图谋的机会。但是，尔朱兆和尔朱仲远、尔朱度律之间却“遂相疑阻，久而不和”，这种来自家族内部的消耗，最终导致尔朱氏集团的迅速衰败。