Phương pháp giải:

Nếu \(x = {x_0}\) là điểm cực trị của hàm số thì \(f'\left( {{x_0}} \right) = 0.\)

Nếu \(x = {x_0}\) là điểm cực tiểu của hàm số thì \(\left\{ \begin{array}{l}f'\left( {{x_0}} \right) = 0\\f''\left( {{x_0}} \right) > 0\end{array} \right..\)

Lời giải chi tiết:

Ta có: \(y' = 8{x^7} + 5\left( {m + 1} \right){x^4} - 4\left( {{m^2} - 1} \right){x^3};\,\,y'' = 56{x^6} + 20\left( {m + 1} \right){x^3} - 12\left( {{m^2} - 1} \right){x^2}\)

\(\begin{array}{l} \Rightarrow y' = 0 \Leftrightarrow 8{x^7} + 5\left( {m + 1} \right){x^4} - 4\left( {{m^2} - 1} \right){x^3} = 0\\\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\, \Leftrightarrow {x^3}\left[ {8{x^4} + 5\left( {m + 1} \right)x - 4\left( {{m^2} - 1} \right)} \right] = 0\end{array}\)

TH1 : Xét \({m^2} - 1 = 0 \Leftrightarrow m =  \pm 1\).

+) Khi \(m = 1\) ta có \(y' = 0 \Leftrightarrow {x^3}\left( {8{x^4} + 10x} \right) = {x^4}\left( {8{x^3} + 10} \right) \Rightarrow x = 0\) là nghiệm bội 4 \( \Rightarrow x = 0\) không là cực trị của hàm số.

+) Khi \(m =  - 1\) ta có  \(y' = 0 \Leftrightarrow {x^3}.8{x^4} = 0 \Leftrightarrow 8{x^7} = 0 \Leftrightarrow x = 0\) là nghiệm bội lẻ \( \Leftrightarrow x = 0\) là điểm cực trị của hàm số. Hơn nữa qua điểm \(x = 0\) thì \(y'\) đổi dấu từ âm sang dương nên \(x = 0\) là điểm cực tiểu của hàm số.

TH2 : Xét \({m^2} - 1 \ne 0 \Leftrightarrow m \ne  \pm 1\) ta có :

\(y' = 0 \Leftrightarrow {x^2}\left[ {8{x^5} + 5\left( {m + 1} \right){x^2} - 4\left( {{m^2} - 1} \right)x} \right] = 0 \Leftrightarrow \left[ \begin{array}{l}{x^2} = 0\\8{x^5} + 5\left( {m + 1} \right){x^2} - 4\left( {{m^2} - 1} \right)x = 0\end{array} \right.\)

\({x^2} = 0 \Leftrightarrow x = 0\) là nghiệm bội chẵn không là cực trị của hàm số, do đó cực trị của hàm số ban đầu là nghiệm của phương trình  \(g\left( x \right) = 8{x^5} + 5\left( {m + 1} \right){x^2} - 4\left( {{m^2} - 1} \right)x = 0\).

Hàm số đạt cực tiểu tại \(x = 0 \Leftrightarrow g'\left( 0 \right) > 0\).

Ta có \(g'\left( x \right) = 40{x^4} + 10\left( {m + 1} \right)x - 4\left( {{m^2} - 1} \right)\)

\( \Rightarrow g'\left( 0 \right) =  - 4\left( {{m^2} - 1} \right) > 0 \Leftrightarrow {m^2} - 1 < 0 \Leftrightarrow  - 1 < m < 1\).

Vậy kết hợp 2 trường hợp ta có  \( - 1 \le m < 1\).

Do \(m \in Z \Rightarrow m \in \left\{ { - 1;0} \right\}\).

Chọn C.