Phương pháp giải:

+) Sử dụng công thức chỉnh hợp: \(A_n^k = \frac{{n!}}{{\left( {n - k} \right)!}}\,\,\,\left( {1 \le k \le n;\,\,\,k,\,\,n \in N} \right)\) để giải phương trình tìm n.

+) Dựa vào khai triển để tìm hệ số của \({x^5}.\)

Lời giải chi tiết:

 Điều kiện: \(n \ge 3;\,\,n \in N.\)

Theo đề bài ta có: \(A_n^3 + 2A_n^2 = 100\)

\(\begin{array}{l} \Leftrightarrow \frac{{n!}}{{\left( {n - 3} \right)!}} + 2.\frac{{n!}}{{\left( {n - 2} \right)!}} = 100\\ \Leftrightarrow \frac{{n\left( {n - 1} \right)\left( {n - 2} \right)\left( {n - 3} \right)!}}{{\left( {n - 3} \right)!}} + \frac{{2n\left( {n - 1} \right)\left( {n - 2} \right)!}}{{\left( {n - 2} \right)!}} = 100\\\Leftrightarrow n\left( {n - 1} \right)\left( {n - 2} \right) + 2n\left( {n - 1} \right) = 100\\\Leftrightarrow {n^3} - 3{n^2} + 2n + 2{n^2} - 2n = 100\\\Leftrightarrow {n^3} - {n^2} - 100 = 0\\\Leftrightarrow n = 5\,\,\,\left( {tm} \right)\end{array}\)

Khi đó ta có khai triền: \({\left( {1 - 3x} \right)^{2n}} = {\left( {1 - 3x} \right)^{10}} = \sum\limits_{k = 0}^{10} {C_{10}^k{1^k}.{{\left( { - 3x} \right)}^{10 - k}} = } \sum\limits_{k = 0}^{10} {C_{10}^k{{\left( { - 3} \right)}^{10 - k}}{x^{10 - k}}} .\)

\( \Rightarrow \) Để có hệ số của \({x^5}\) trong khai triển thì: \(10 - k = 5 \Leftrightarrow k = 5.\)

\( \Rightarrow \) Hệ số của \({x^5}\) trong khai triển là: \(C_{10}^5.{\left( { - 3} \right)^5} =  - {3^5}C_{10}^5.\)

Chọn A.