Phương pháp giải:

Hàm số đồng biến trên \(\left( {0;\frac{\pi }{4}} \right)\) \( \Leftrightarrow y' \ge 0,\,\,\forall x \in \left( {0;\frac{\pi }{4}} \right)\) và bằng 0 tại hữu hạn điểm trên \(\left( {0;\frac{\pi }{4}} \right)\)

Lời giải chi tiết:

\(y = m\cot \left( {{x^2}} \right) \Rightarrow y' = m.\frac{{ - 1}}{{{{\sin }^2}\left( {{x^2}} \right)}}.2x = \frac{{ - 2mx}}{{{{\sin }^2}\left( {{x^2}} \right)}}\)

Hàm số đồng biến trên \(\left( {0;\frac{\pi }{4}} \right)\) \( \Leftrightarrow \frac{{ - 2mx}}{{{{\sin }^2}\left( {{x^2}} \right)}} \ge 0,\,\,\forall x \in \left( {0;\frac{\pi }{4}} \right)\) và bằng 0 tại hữu hạn điểm trên \(\left( {0;\frac{\pi }{4}} \right)\)

\( \Leftrightarrow  - 2m > 0 \Leftrightarrow m < 0\)

Kết hợp điều kiện \({m^2} - 4 < 0 \Leftrightarrow  - 2 < m < 2 \Rightarrow m \in \left( { - 2;0} \right)\). 

Chọn: D