La educación católica de Jehnny Beth ha influido su modo de ver el mundo, y por tanto también su lírica. Una de las canciones destacadas de ‘TO LOVE IS TO LIVE’, de hecho, incluye la palabra «pecado», y es una ‘We Will Sin Together’ cuyo título es adelantado en la misma introducción del disco. En esta oscura producción de Johnny Hostile cuyo sonido remite al de These New Puritans o al de los últimos Radiohead, la artista no solo declara que «amar es vivir», sino también que «vivir es pecar», y en declaraciones a NME, ha reconocido su tendencia a caer en pensamientos indecibles. «Para este disco he querido enfrentarme a mis demonios, a las razones por las que he hecho cosas malas en mi vida. Todo el mundo hace cosas malas y no quiero fingir que soy una buena persona que siempre hace lo correcto y siempre tiene pensamientos puros. No lo soy».
«Estoy harta de intentar arreglar lo que está mal» es una de las frases que encontramos en ‘We Will Sin Together’, de modo que la canción parece más un ejercicio de exploración introspectiva que de transformación. De hecho, esta inquieta desde que Jehnny parece situarse en ella a la caza de «chicos jóvenes» a los que «mirar desde las ventanas», pero la letra tan pronto habla de un «asesinato» como de «ojos sexys»: está claro que esto no va de ganarse el cariño del público, sino de incomodar.
Por otro lado, el videoclip de ‘We Will Sin Together’ explora la «noción de abrazar las características masculinas y femeninas de la identidad» a través de la representación de varios personajes religiosos y mitológicos, estos son, la Virgen María, Cupido y Psique, Pluto y Proserpina, el arcángel Miguel y Lucifer, y Sátiro y Hermafrodita. El clip, hecho en 3D, como la portada de ‘TO LOVE IS TO LIVE’, es obra de Tom Hingston y Markus Lehtonen, que han trabajado para David Bowie, Nick Cave & the Bad Seeds o Grace Jones.