小儿暖脐膏不可以不加热就直接使用。

小儿暖脐膏属于外用的黑膏药，需要加热后才能发挥较好的疗效，若未加热则可能导致无法达到预期治疗效果。此外，由于小儿皮肤较薄且敏感，未经加热的药物可能会对皮肤造成刺激或损伤，因此不宜直接使用。

如果患儿对小儿暖脐膏中的某些成分过敏，则应避免使用，否则可能引起皮疹、瘙痒等过敏反应。

在使用小儿暖脐膏时，应注意观察患儿皮肤是否有红肿、疼痛等情况发生。如果出现异常应及时停药，并咨询医生的意见。