作为您的法律顾问，我建议您采取以下步骤来处理这个问题：
1. 核实土地权属：首先，您需要确认自己的房屋是否确实建在了您自己的土地上。查看土地使用权证或房产证，确保您的建筑没有超出界线。如果有任何疑虑，可以请专业测量团队进行测量。
2. 收集证据：保存所有与邻居纠纷相关的证据，包括录音、录像、短信、邮件等，这些可能在未来解决纠纷时有用。
3. 沟通协商：尝试与邻居平静地对话，了解他们的担忧，并表达您愿意解决问题的意愿。如果可能，可以邀请中立的第三方，如社区领导或调解员参与。
4. 法律咨询：如果沟通无果，建议您找专业的房地产律师咨询，他们可以详细解释您的权益并指导下一步行动。
5. 正式投诉：如果邻居持续辱骂且影响到您的生活，您可以报警，因为这可能涉及到骚扰问题。同时，也可以向法院提起诉讼，请求法院确认土地边界和建筑物合法性。
6. 保持冷静：在整个过程中，保持冷静和理智是非常重要的，避免让情绪升级导致更大的冲突。
请记住，法律是保护您权益的工具，但在采取任何行动之前，确保您了解自己的权利和义务。如果需要，我可以为您提供更具体的法律建议。
