Xây nhà làm nhà liền kề bị lún

Tôi và chủ nhà liền kề đã có thống nhất là khi nào tôi thi công xong nhà (có làm giấy thỏa thuận có chứng kiến của thôn) khi nào có yêu cầu tôi sẽ tiến hành sửa chữa nguyên trạng, hư tới đâu sửa tới đó. Nhưng khi tôi thi công gần xong thì bên chủ nhà bên gửi đơn đi ra UB huyện. Sau đó xã đã có công văn đình chỉ công trình. Tôi sang nói chuyện thương lượng thì họ đòi đập hết ra xây mới. Cho tôi hỏi trong trường hợp này tôi phải xử lí ra sao? Họ dùng quyền tố tụng gây khó khăn cho tôi. Trong khi nhà đó xây dựng trên mảnh đất chưa làm bìa đỏ, không có giấy phép xây dựng.