Phương pháp giải:

Sử dụng các công thức \(\left\{ \begin{array}{l}\cos \left( { - \alpha } \right) = \cos \alpha \\\cos \left( {\pi  - \alpha } \right) =  - \cos \alpha \\\cos \left( {a + b} \right) = \cos a\cos b - \sin a\sin b\end{array} \right.\) để biến đổi biểu thức.

Sau đó bình phương làm xuất hiện \(\sin 2\alpha \) để sử dụng giả thiết \(\sin 2\alpha  = m\,\,\left( { - 1 \le m < 0} \right)\)

Cuối cùng kết hợp điều kiện \(\frac{\pi }{2}\,\, < \alpha  < \pi \) để chọn nghiệm phù hợp

Lời giải chi tiết:

\(\begin{array}{l}\cos \left( {\alpha  + \frac{{3\pi }}{2}} \right) + \cos \left( {\alpha  - \pi } \right)\\ = \cos \alpha .\cos \left( {\frac{{3\pi }}{2}} \right) - \sin \alpha \sin \left( {\frac{{3\pi }}{2}} \right) + \cos \left( {\pi  - \alpha } \right)\\ = \sin \alpha  - \cos \alpha \end{array}\)       

Ta có: \(\sin 2\alpha  = m \Leftrightarrow 2\sin \alpha \cos \alpha  = m\)

Theo đề bài ta có: \(\frac{\pi }{2} < \alpha  < \pi  \Rightarrow \left\{ \begin{array}{l}\sin \alpha  > 0\\\cos \alpha  < 0\end{array} \right.\) \( \Rightarrow \sin \alpha  - \cos \alpha  > 0\)

\(\begin{array}{l} \Rightarrow {\left( {\sin \alpha  - \cos \alpha } \right)^2} = {\sin ^2}\alpha  + {\cos ^2}\alpha  - 2\sin \alpha .\cos \alpha \\ = 1 - \sin 2\alpha  = 1 - m\\ \Rightarrow \sin \alpha  - \cos \alpha  = \sqrt {1 - m} \,\,\,\,\,\left( {do\, - 1 \le m < 0 \Rightarrow 1 - m > 0} \right)\end{array}\)

Chọn D.