Em 1980 trocam de editora, e juntam-se à EG, onde lançam o seu primeiro álbum de originais, Killing Joke. No seguimento deste álbum, o grupo efectua vários concertos pela Inglaterra. Devido à sua perfomance em palco, os seus espetáculos são considerados agressivos, dado incluirem imagens repulsivas e controversas; exemplo disso é um cartaz com um abade alemão, Albanus Schachleiter, abençoando um grupo de Nazis. Apesar da controversia, a banda tem sucesso, com o seu som pesado, mas dançável.
Com o lançamento do seu terceiro álbum, Revelations em 1982, Jaz Coleman aprofunda, cada vez mais, a sua ligação ao ocultismo, e deixa a banda. Com ele sai também Geordie e Youth, e viajam para a Islândia. Alguns meses depois, Youth regressa a Inglaterra e, juntamente com Ferguson, formam a banda Brilliant. Pouco tempo, depois, Ferguson sai deste projecto e viaja para a Islândia com o novo baixista dos Killing Joke, Paul Raven.Com esta nova formação, a banda regressa ao seu país para lançarem Fire Dances, em 1983. O álbum revela uma postura mais branda do grupo.