Googleは昨年、AMP対応をやめたみたいです。

WordPressでAMP対応をして、もとに戻すのは大変なので、最初からやらないほうがいいです。

他のプラグインみたいに、無効にして削除したら終わりではないからです。

まず、プラグインを無効にして、.htaccessファイルに元のサイトへのリダイレクトを記述、Google上にできたキャッシュの消滅を待つ。

プラグイン削除の流れになります。二週間くらいかかるらしいです。

ただし、テーマがAMPに対応しているものであれば、何の問題もおきません。