O single 'My Offense' foi a terceira faixa escolhida para promover o último álbum da 'Hércules e caso de amor', sob o nome de 'The Feast Of The Broken Heart' (a festa dos corações partidos), um assunto em que o líder do grupo, Andy Butler, explora o significado e a relação de palavras tabu, tomando a contradição do A palavra 'boceta' (boceta, vadia, idiota) significa que, na comunidade gay de Nova York, é usada como uma forma de lisonja, força ou incentivo.
O solteiro Minha ofensa Foi lançado há poucos dias pelo selo londrino 'Moshi Moshi Records', com remixes dos produtores David Morales, Detroit Swindle e Brawther. O lançamento também foi acompanhado por um videoclipe dirigido por Matthew Lambert que inclui diversos monólogos de inúmeras lendas da noite gay da Big Apple, como Honey Dijon, Juliana Huxtable e Contessa Stuto, personagens que opinam sobre o tabu palavras e seu uso na comunidade gay.
No videoclipe, Butler comenta: «A minha ideia original era (conceituar) o tema através de uma série de entrevistas filmadas com diferentes artistas a explorar o irreverente e o transgénero nos seus próprios trabalhos, mas na verdade a minha intenção inicial não era fazer um fusão de música, vídeo e documentário. Quando conversei com o Matt (Lambert) pela primeira vez, ele mencionou a ideia de combinar os dois formatos (o videoclipe e o documentário). Seis meses depois, quando vi as primeiras edições do vídeo, fiquei boquiaberto ».