Em janeiro de 1981 era lançado Ceremony, canção do Joy Division, lançada como single 7" de estreia do New Order em 1981. Dois meses depois, foi lançado também como 12". Você confere as faixas do New Order na programação da FWR.

A música e seu lado B, In a Lonely Place, foram escritas e gravadas como Joy Division antes da morte de Ian Curtis. Ambos foram regravadas e transportadas para a (re)formação do Joy Division sob o nome de New Order.

O New Order lançou a música como single duas vezes, primeiro em janeiro de 1981 e depois em setembro de 1981 com a participação da nova integrante Gillian Gilbert, com a última gravação aparecendo mais tarde no álbum compilação Substance.

O New Order lançou seu primeiro single independente com o guitarrista Bernard Sumner assumindo os vocais principais. Como Curtis nunca transcreveu a letra de Ceremony e porque seu canto foi silenciado ao ponto de quase inaudibilidade em todas as gravações que sobreviveram, Sumner supostamente teve que colocá-las em um equalizador gráfico para aproximar a letra.

Radiohead apresentou uma cover da faixa em seu webcast Thumbs Down em 9 de novembro de 2007. Galaxie 500 gravou uma cover em seu EP Blue Thunder de 1989 (disponível na reedição de On Fire).