Não deixe de fazer o que gosta por estar preocupado com aquilo que os outros irão pensar.
Cada um tem sua forma de viver, seus gostos, costumes, vontades.
O que é muito legal para você pode não ser tão legal para outra pessoa, e tudo bem! Se fôssemos todos iguais o mundo seria muito chato.
Se o que você quer fazer não fará nenhum mal aos outros, então não há motivo para não fazer.