葛荣最初是任职北魏边城怀朔镇的镇将。526年初，出身边民在怀朔镇当兵的鲜于修礼于定州左人城率领北镇流民起义，并说服葛荣参与起义。
他们进攻定州城池，连破魏兵，兵势日盛。两人会合杜洛周起义军，拥有部众十余万，大败征北大将军长孙稚与河间王元琛。（526年）八月，鲜于修礼被混入起义军中的北魏宗室元洪业所杀，葛荣后来杀死元洪业自立，领导起义部众继续战斗。
（526年）九月，葛荣会合另一位义军首领杜洛周的部众，北去瀛州（今河北省河间市），北魏广阳忠武王元深从交津领兵一路追踪葛荣。
九月十五日，葛荣到达白牛逻（今河北省蠡县），率领轻骑突袭庄武王元融，将他杀死。之后，葛荣自称天子，定国号为齐，建年号为广安。
不久后，广阳忠武王元深领兵返回，前往定州。定州刺史杨津怀疑元深有异，于是派遣毛谥讨伐元深。元深逃跑，毛谥带人追逐元深。元深同身边人抄小道逃到博陵地界，遇上葛荣的流动骑兵，被他们抓获送到葛荣那里。
起义军们见到元深，当年曾经跟随他、喜欢他的人还真不少，葛荣刚自立为王，对此很反感，担心手下的人拥奉元深为主，便杀死元深。
（527年）正月初七日，葛荣攻陷殷州（今河北省隆尧县），擒获并杀死殷州刺史崔楷，进而围攻冀州（今属河北省）。
同年三月，葛荣围攻信都，可惜久攻不下。北魏朝廷任命金紫光禄大夫源子邕为北讨大都督来援救信都。
葛荣围攻信都，从春天到冬天始终不撤军，冀州刺史元孚激励将士，昼夜坚持死守拒绝投降。十一月己丑日，由于魏军粮储已尽，而且外无救援，于是葛荣攻陷信都，抓住元孚，下令把城中居民全部赶出去，冻死者十之六七。葛荣的这一举措，也令民心尽失，招致日后的祸害。
当时元孚的哥哥元佑担任防城都督，被葛荣抓获。葛荣把将士们全部召集起来，议定元孚兄弟二人的生死去留。元孚兄弟各自引咎，争着去死，都督潘绍等几百人都叩头请求愿意去死以便救活元孚。
葛荣说：“这些人都是北魏的忠臣义士啊。”于是将元孚兄弟和被押的五百人全都赦免。
北魏朝廷任命源子邕为冀州刺史，让他与北道大都督裴衍率兵讨伐葛荣。十二月二十日，他们到达阳平（今山东省莘县）东北的漳水曲，葛荣率领十万部众进攻他们，击杀源子邕和裴衍等人。
相州的官民闻知冀州已经失陷，源子邕等人战败，人人自危，无计自保。相州刺史李神镇定自若，神色不改，他抚慰劝勉将士，因而人人致力，葛荣尽力攻打，但是最终不能攻克。
永安元年（528）二月，葛荣率军攻杀杜洛周，并收编他的部众。三月二十六日，葛荣攻陷北魏的沧州，抓获沧州（治今河北省盐山县）刺史薛庆之，沧州人在此战中遇难十之八九。
同年六月，葛荣起义军缺乏粮食，派遣仆射任褒率兵向南侵犯，到达沁水县。北魏朝廷任命元天穆为大都督兼理东北道诸军事，率领宗正珍孙等将领讨伐葛荣。
葛荣得知魏军前来讨伐，于是率军退守相州城北。尔朱荣在讨伐葛荣之前，驻军襄垣，便命战士列围打猎。有两只兔子跃起于战马之前，尔朱荣于是立誓说：“射中就能擒获葛荣，不中则不行。”不一会儿，两只兔子都应弦而倒。
等到大破敌军之后，尔朱荣就让人在射倒兔子的地方立起一块碑，称“双兔碑”。尔朱荣将与葛荣决战的那天晚上，梦见一个人向葛荣索要千牛刀，而葛荣一开始不肯给他。这个人称：“我是道武皇帝，你敢违抗！”葛荣于是献上千牛刀，这人手执其刀交给尔朱荣。
八月，葛荣率军包围邺城（今河北省临漳县），军队号称有百万，散游之兵已过汲郡（今河南省卫辉市）。北魏柱国大将军尔朱荣上表请求率军讨伐葛荣。
九月，尔朱荣率领七千（一说七万）精锐骑兵，以侯景为前锋，从近路加速行军，向东出滏口（今河北省磁县）攻打义军。
当时葛荣起义为时已久，一直横行于黄河以北，尔朱荣的兵马很少，与义军相差悬珠，人们议论纷纷，认为尔朱荣断无获胜的道理。
葛荣听说后，喜形于色，命令他的部队士兵说：“这个尔朱荣很好对付，诸位每人都准备一根长绳，到时候只管捆绑敌人就是。”
于是葛荣从邺城往北，排成数十里的长阵，队伍如张开的簸箕一样向前推进。尔朱荣将队伍伏在山谷之中，作为奇兵。
分派都督少将以上的军官每三人为一处，每处有数百名骑兵，命令各处故意扬起尘土，擂起战鼓，大声喊叫，使义军摸不清有多少人马。
尔朱荣考虑到人马近战时，用刀不如用棒，便命令士兵们每人带一根短棒，放在马肚的一侧，到交战时担心下马斩首会影响骑兵追逐，便不允许斩首计功，只令用棒子打而已。
各路战士冲杀之处，号令严明，将士们同仇敌忾，个个奋勇争先。尔朱荣亲自冲锋陷阵，从义军背后杀出，里应外合，内外夹击，大败义军，在阵前抓住葛荣，其余的部众全部投降。
尔朱荣派人用囚车将葛荣送到洛阳。皇帝登上阊阖门观看，葛荣随后被斩首于都市。葛荣恃众轻敌，兵力分散，被尔朱荣出奇兵击败。葛荣被俘杀，起义最终宣告失败。
葛荣的部众被尔朱荣送往并州，肆州，共计二十多万普通士兵，他们遭到尔朱荣契胡军队的残酷凌辱虐待，皆民不聊生，以至于总共谋反了二十六次，被尔朱氏屠杀了超过一半至少十几万的人口，却依然不断的反抗。