相关部门应加强对行政事业单位使用发票情况检查，通过财政、审计以及会计核算部门对行政事业单位取得发票入账、工程款项拨付等方面的把关和监督，防止发票违法活动在非涉税单位中蔓延。此外，税务机关应当加强对行政事业单位依法规范用票知识的宣传，完善发票查询手段，为行政事业单位提供更加快捷、方便的发票查询手段。