Sim, esse detalhe pode parecer pequeno, mas é fonte de muita dor de cabeça.
Se aonde você está é o começo da noite e você está morrendo de vontade de perguntar sobre o dia dele, não vá acordá lo de madrugada e atrapalhar seu sono! Se os fusos forem muito diferentes e encontrar um horário bom para os dois for difícil, tente minimizar os danos ao máximo.
Uma vez ou outra de noites mal dormidas até vai, mas se virar uma constante, as conversas podem acabar desgastando a relação.