对于无症状且肿块较小的乳腺纤维瘤，可以暂时不用手术治疗，定期复查即可。若肿块增大或伴有疼痛等症状，则需要及时手术治疗。
乳腺纤维瘤的手术时间需要根据肿块的大小、生长速度、患者年龄以及是否有症状来决定。如果肿块较小且生长缓慢，患者无明显症状，此时可以考虑密切观察，暂不手术。
因为此时肿块恶变的风险较低，手术的必要性相对较低。如果肿块较大或生长迅速，或者患者有疼痛、乳头溢液等症状，此时可能需要尽早手术。因为肿块较大或生长迅速可能增加恶变的风险，而疼痛和乳头溢液可能是恶性肿瘤的症状。
建议患者定期进行乳腺超声检查，以便及时发现肿块的变化情况。如有不适症状或肿块变化较快，应及时就医并听从医生的建议进行手术治疗。
