En palabras de Manson, ‘No Horses’ describe un mundo distópico sin esperanza y destruido por la avaricia del capitalismo. La cantante dice que la compuso tras conducir a través de los campos escoceses y encontrarse con un grupo de caballos. «Entoncés pensé, ¿qué pasará con estos caballos cuando ya no les necesitemos tanto como antes? Ya no serán bestias que trabajen para nosotros». Manson continúa: «[‘No Horses’] imagina un futuro en que las fuerzas que dominan el mundo han destruido todo lo que consideran inútil o no produce dinero, que es adonde creo que nuestra cultura se dirige ahora mismo: todo lo que no produce grandes beneficios se aparta o se considera poco importante, como esos artistas que no son tan grandes como Katy Perry. A ellos se los considera menos valiosos. En mi opinión no se pueden valorar las cosas en relación al beneficio que producen o a la envergadura de su éxito».
Dice Manson que ‘No Horses’ es una canción escrita en modo «corriente de voz interior en la línea de Patti Smith», aunque su letra no tiene nada que ver en principio con el clásico de Smith, ‘Horses’. «Te amarán, te adorarán, y después te venderán y te harán daño, y no habrá perdón, ni seguridad, solo habrá polis, solo hombres con pistolas», clama Manson en la letra. Tampoco por sonido ‘No Horses’ parece inspirada en el trabajo de la leyenda punk: sus sintetizadores oscuros y corrosivos presentan sobre todo un cariz más propio de Nine Inch Nails.