(解法1)在直線l:x+y+2=0上取兩點A(-2,0),B(0,-2),A、B在矩陣
M對應的變換作用下分別對應于點A′、B′,因為


=

,所以A′的坐標為(-2,-2b);


=

,所以B′的坐標為(-2a,-8).由題意A′、B′在直線m:x-y-4=0上,所以

解得a=2,b=3.
(解法2)設直線l:x+y+2=0上任意一點(x,y)在矩陣
M對應的變換作用下對應于點(x′,y′).因為


=

,所以x′=x+ay,y′=bx+4y.因為(x′,y′)在直線m上,所以(x+ay)-(bx+4y)-4=0,即(1-b)x+(a-4)y-4=0.
又點(x,y)在直線x+y+2=0上,所以

,解得a=2,b=3