在修柏油路之前，路的上面是别人家的地，路的下面是我家的地，路改修时，把路上边的泥土挖了堆在路下边我家的地上，路建好后，路上边土地的主人非说路下边的土地泥土是从他家地里面挖下来的，所以路下边的土地是他家的，现在他家强行在地里面挖地基，是属于侵权行为吗？我家该怎么办？