Phương pháp giải:

+) Giải phương trình \(y'=0\)tìm các điểm cực trị của đồ thị hàm số.

+) \(\Delta ABM\)vuông tại M\(\Leftrightarrow \overrightarrow{MA}.\overrightarrow{MB}=0\)

Lời giải chi tiết:

\(y'=3{{x}^{2}}-6mx+3\left( {{m}^{2}}-1 \right)\)

Để đồ thị hàm số có hai điểm cực trị thì phương trình \(y'=0\) có 2 nghiệm phân biệt

\(\Leftrightarrow \Delta '={{\left( 3m \right)}^{2}}-9\left( {{m}^{2}}-1 \right)=9{{m}^{2}}-9{{m}^{2}}+9=9>0\,\,\forall m\in R\Rightarrow \)Đồ thị hàm số luôn có hai điểm cực trị.

\(\left\{ \begin{array}{l}{x_A} = \frac{{3m + 3}}{3} = m + 1\\{x_B} = \frac{{3m - 3}}{3} = m - 1\end{array} \right. \Rightarrow \left\{ \begin{array}{l}A\left( {m + 1; - 3m - 2} \right)\\B\left( {m - 1; - 3m + 4} \right)\end{array} \right.\)

\(\Rightarrow \overrightarrow{MA}=\left( m+3;-3m-4 \right),\overrightarrow{MB}=\left( m+1;-3m+2 \right)\)

Để tam giác ABM vuông tại M thì

\(\overrightarrow{MA}.\overrightarrow{MB}=0\Leftrightarrow {{m}^{2}}+4m+3+9{{m}^{2}}+6m-8=0\Leftrightarrow 10{{m}^{2}}+10m-5=0\Leftrightarrow \)Phương trình có 2 nghiệm phân biệt.

Vậy có hai giá trị của m thỏa mãn yêu cầu bài toán.

Chọn A.