Après avoir exploré de flamboyants territoires country et rock, Brandi Carlile revient avec ce sixième album à un folk aux accents americana plus sombres et introspectifs. À la fois vulnérable et puissante, sa voix se dépose sur des arrangements acoustiques traçant de délicates mélodies. Les déchirements amoureux qu’elle relate dans des pièces comme « Every Time I Hear That Song » ou « Party Of One » font aussi place à des pointes d’espoir et de lumière, ce qui fait de By The Way, I Forgive You un opus tout indiqué pour les cœurs brisés.