Phương pháp giải:

- Điều kiện để hàm số bậc ba nghịch biến trên R là đạo hàm \(y'<0,\forall x\in R\)

- Sử dụng điều kiện để tam thức bậc hai mang dấu âm với mọi \(x\in R\) là \(\left\{ \begin{array}{l}a < 0\\\Delta  < 0\end{array} \right.\)

Lời giải chi tiết:

+) Nếu \(\frac{m}{3}=0\Leftrightarrow m=0\) thì \(y=\frac{m}{3}{{x}^{3}}-(m+1){{x}^{2}}+(m-2)x-3m\Leftrightarrow y=-{{x}^{2}}-2x\) là hàm số bậc hai \(\Rightarrow \)Không nghịch biến trên khoảng \(\left( -\infty ;+\infty  \right)\).

+) Nếu \(\frac{m}{3}\ne 0\Leftrightarrow m\ne 0\) thì \(y=\frac{m}{3}{{x}^{3}}-(m+1){{x}^{2}}+(m-2)x-3m\) là hàm số bậc ba

Ta có:

\(\begin{array}{l}y' = m{x^2} - 2(m + 1)x + m - 2\\y' = 0 \Leftrightarrow m{x^2} - 2(m + 1)x + m - 2 = 0\end{array}\)

Hàm số đã cho nghịch biến trên khoảng \(\left( -\infty ;+\infty  \right)\) \(\begin{array}{l} \Leftrightarrow \left\{ \begin{array}{l}\frac{m}{3} < 0\\\Delta ' \le 0\end{array} \right. \Leftrightarrow \left\{ \begin{array}{l}m < 0\\{(m + 1)^2} - m(m - 2) \le 0\end{array} \right. \Leftrightarrow \left\{ \begin{array}{l}m < 0\\{m^2} + 2m + 1 - {m^2} + 2m \le 0\end{array} \right. \Leftrightarrow \left\{ \begin{array}{l}m < 0\\4m + 1 \le 0\end{array} \right.\\ \Leftrightarrow \left\{ \begin{array}{l}m < 0\\m \le  - \frac{1}{4}\end{array} \right. \Leftrightarrow m \le  - \frac{1}{4}\end{array}\)

Vậy, \(m\le -\frac{1}{4}\).

Chọn: B.