これ例えば対馬で起きたらって考える。
「対馬は韓国領」と主張する政治家が韓国には少数派ながらいる。
対馬市は人口約3万人で、経済的にはコロナ前には韓国人観光客に依存してた。
そこでもしも外国人の住民投票が認められたら、投票の資格要件のある人を大量に移住させて、意図的に「対馬は韓国領だ」という「住民の意志」を示すことが可能になる。
日本の国内法では何の効力もないけど、国際的には現地住民の多数意見が尊重されてしまう。
対馬は人口がどんどん減ってるんだから韓国が本気でそれをやろうと思えばできてしまうよ。

東京の武蔵野の話だからって無関心でいると、領土を失うことになる。

尖閣諸島だって、石垣市の人口は4万7千。この有権者の多数派を占める人数を中国が送り込むことはその気になれば簡単。
そのうえで住民投票をすれば、それが住民の意志になって、日本の国内法でなんと言おうと国際的には「日本が国家権力で住民の意志を抑圧している」ことになるかもしれない。