Phương pháp giải:

Thực hiện phép chia đa thức: \(a{x^2} + bx - 5\) cho \((x - 1)\).

\(\mathop {\lim }\limits_{x \to 1} \frac{{a{x^2} + bx - 5}}{{x - 1}} = 20 \Leftrightarrow \)Phần dư bằng 0 và thay x=1 vào thương thì bằng 20.

Lời giải chi tiết:

\(\begin{array}{l}a{x^2} + bx - 5\\ = (ax + a + b)(x - 1) + a + b - 5\\\mathop {\lim }\limits_{x \to 1} \frac{{a{x^2} + bx - 5}}{{x - 1}} = 20\\ \Leftrightarrow \left\{ \begin{array}{l}a.1 + b + a = 20\\a + b - 5 = 0\end{array} \right.\end{array}\)

\(\begin{array}{l} \Leftrightarrow \left\{ {\begin{array}{*{20}{l}}{a = 15}\\{6 =  - 10}\end{array}} \right.\\ \Rightarrow P = {a^2} + {b^2} - a - b = 320\end{array}\)