Phương pháp giải:

- Xác định góc giữa hai mặt phẳng \(\left( {MAB} \right),\left( {MC'D'} \right)\) chính là góc giữa hai đường thẳng cùng vuông góc giao tuyến.

- Gọi \(H,K\) lần lượt là hình chiếu vuông góc của \(M\) trên \(C'D',AB\) thì góc \(\varphi \) là góc giữa \(MH,MK\)

- Sử dụng định lý hàm số cos để tính \(\widehat {HMK}\) và kết luận.

Lời giải chi tiết:

Nhận thấy giao tuyến của hai mặt phẳng \(\left( {MAB} \right),\left( {MC'D'} \right)\) là đường thẳng đi qua \(M\) và song song với \(AB,C'D'\)

Gọi \(H,K\) lần lượt là hình chiếu vuông góc của \(M\) trên \(C'D',AB\)

Khi đó \(\left( {\left( {MC'D'} \right),\left( {MAB} \right)} \right) = \left( {MH,MK} \right) = \varphi  \Rightarrow \cos \varphi  = \left| {\cos \widehat {HMK}} \right|\)

Giả sử hình lập phương có cạnh bằng \(6\)

Ta có: \(IM = 1,IH = 3 \Rightarrow MH = \sqrt {10} \)

Gọi \(E\) là tâm hình vuông \(ABCD \Rightarrow EM = 5;EK = 3 \Rightarrow MK = \sqrt {34} \)

Mà \(HK = AD' = 6\sqrt 2 \)

Suy ra \(\cos \widehat {HMK} = \frac{{M{K^2} + M{H^2} - H{K^2}}}{{2MH.MK}} =  - \frac{{7\sqrt {85} }}{{85}}\)

Vậy \(\cos \varphi  = \frac{{7\sqrt {85} }}{{85}}\)

Chọn B.