尔朱氏在北魏末年的兴起，与尔朱荣富有军事指挥才能有直接关系，当然，和北魏末年的社会政治变动有着更大的关系。

尔朱荣的军事指挥才能，几乎是与生俱来。他在日常性的射猎活动中已经表现出良好的军事素质，史书记载：尔朱荣长大以后，“好射猎，每设围誓众，便为军陈之法，号令严肃，众莫敢犯。”孝明帝元诩（510—528，宣武帝元恪次子，母亲为灵皇后胡氏，北魏第九位皇帝）正光（520—524）年间，尔朱荣继承了父亲尔朱新兴的爵位，来到京师洛阳，被任命为“直寝、游击将军”。尽管在洛阳任职的时间并不是很长，但这段经历对于尔朱荣了解北魏末期的宫廷政治状况，还是很有帮助的。

这是因为，包括直后、直斋、直寝、直閤在内的“直卫诸职”，乃是北魏后期君主最亲近的禁卫武官，承担侍卫君主、守护宫廷安全的任务，地位十分重要。不过，尔朱荣在政治、军事上进一步崛起，并最终形成强大军事政治集团，却是在随后的一系列征战中完成。特别是“六镇之乱”的发生，为尔朱荣大展军事才能提供了广阔的舞台。

孝明帝正光年间，胡太后总持朝政，四方兵起，天下大乱。面对动荡的局势，尔朱荣凭借其雄厚的财富投身于军事征战，自己出资组建了一支队伍：“正光中，四方兵起，（尔朱荣）遂散畜牧，招合义勇，给其衣马。”因为这支队伍完全是尔朱荣个人出资招募组建，故可谓尔朱氏家族的子弟兵。

尔朱荣率部所参与的第一次较大规模作战，是跟随李崇北征柔然。其时，柔然可汗阿那瓌（？—552，柔然族人，520年为柔然可汗，因内乱归降北魏，封朔方郡公、蠕蠕王，北魏末年曾协助击败破六韩拔陵，后利用东、西魏对峙，居中渔利。552年，为突厥所败，自杀）侵掠北边，尔朱荣以假节、冠军将军、别将的身份率部从征。此役尔朱荣率部属四千奋勇出击，一直追击至大漠，初步显示其杰出的军事才能。

在随后的军事征战中，尔朱荣先后压平乞扶莫于（秀容郡）、万子乞真（南秀容）、刘阿如（汾肆地区）、敕勒北列步若（沃阳）、敕勒斛律洛阳（桑乾河西）等人的叛乱活动。正是凭借这些军功，尔朱荣官拜武卫将军，不久加使持节、安北将军、都督恒·朔讨虏诸军，进封博陵郡公，成为北魏末期政治舞台新兴的重要人物，初步奠定了尔朱荣在北魏政治军事舞台上的地位。

不过，尔朱荣在军事政治舞台上达到鼎盛，还是到压平“六镇之乱”以后。

北魏初年，为防御柔然侵袭，拱卫京师平城，缘北边自西而东设置了“六镇”，即：沃野（今内蒙古五原县东北）、怀朔（今内蒙古包头市西北）、武川（今内蒙古武川县西南）、抚冥（今河北省张北县西）、柔玄（今河北省张北县）、怀荒（今河北省张北县东北）六镇。六镇將兵原本都是拓跋氏的贵族或其族民，身分极为高贵，其主要任务就是边疆防卫。然而自孝文帝迁都洛阳，推行汉化政策以后，留在六镇的贵族兵，地位大为降低，甚或下降到与发配到北边当兵的中原罪犯地位同等。523年，匈奴人破六韩拔陵（？—525，匈奴族，“六镇之乱”的领导人之一。按，据姚薇元先生《北朝胡姓考》：“破六韩”又作“破六汗”或“破落汗”，实为“潘六奚”之异译。）带领兵士杀死镇将，在沃野镇率先起事，其他五个镇纷起响应，遂酿成“六镇之乱”。

在相当长一段时间里，大陆学术界曾把“六镇之乱”看成是“农民起义”，如今这个观点已经被视为无稽之谈。就本质来说，“六镇之乱”的领导者和参与者，绝大多数都是和孝文帝洛阳汉化集团相对立的胡化势力。他们极端仇视汉化，因此具有深刻的历史反动性，从文化层面上讲，“六镇之乱”的领导者和参与者，所要反对的是孝文帝的汉化政策。

我们这里不想对“六镇之乱”的性质多加讨论，只想说明，随着“六镇之乱”愈演愈烈，以及由“六镇之乱”所引起的全国性动乱，已经从根本上动摇了北魏王朝的统治，洛阳朝廷已无力应对日益壮大的反政府势力。尔朱荣正是在这种情况下临危受命，前往征讨六镇。最终结果是，尔朱荣的势力在镇压六镇的过程中进一步壮大，并逐渐同六镇官兵结合了起来。许多六镇将领转而投靠尔朱氏，从而形成了一个以尔朱荣为领导、以尔朱氏家族为核心、以六镇将领为骨干、以六镇兵为主要武力的军事政治集团——尔朱氏集团。