powerpc/85xx: Fix SPE float to integer conversion failure
Shan Hai [Wed, 17 Nov 2010 02:28:53 +0000 (10:28 +0800)]
Conversion from float to integer should based on both the instruction
encoding and the sign of the operand.

A simple testcase to show the issue:

static float fm;
static signed int si_min = (-2147483647 - 1);
static unsigned int ui;
int main()
{
       fm = (float) si_min; ;
       ui = (unsigned int)fm;
       printf("ui=%d, should be %d\n", ui, si_min);

       return 0;
}
Result: ui=-1, should be -2147483648

Signed-off-by: Shan Hai <shan.hai@windriver.com>
Signed-off-by: Kumar Gala <galak@kernel.crashing.org>

arch/powerpc/math-emu/math_efp.c

index 634830b..6227920 100644 (file)
@@ -322,7 +322,8 @@ int do_spe_mathemu(struct pt_regs *regs)
                        } else {
                                _FP_ROUND_ZERO(1, SB);
                        }
-                       FP_TO_INT_S(vc.wp[1], SB, 32, ((func & 0x3) != 0));
+                       FP_TO_INT_S(vc.wp[1], SB, 32,
+                                       (((func & 0x3) != 0) || SB_s));
                        goto update_regs;
 
                default:
@@ -460,7 +461,8 @@ cmp_s:
                        } else {
                                _FP_ROUND_ZERO(2, DB);
                        }
-                       FP_TO_INT_D(vc.wp[1], DB, 32, ((func & 0x3) != 0));
+                       FP_TO_INT_D(vc.wp[1], DB, 32,
+                                       (((func & 0x3) != 0) || DB_s));
                        goto update_regs;
 
                default:
@@ -591,8 +593,10 @@ cmp_d:
                                _FP_ROUND_ZERO(1, SB0);
                                _FP_ROUND_ZERO(1, SB1);
                        }
-                       FP_TO_INT_S(vc.wp[0], SB0, 32, ((func & 0x3) != 0));
-                       FP_TO_INT_S(vc.wp[1], SB1, 32, ((func & 0x3) != 0));
+                       FP_TO_INT_S(vc.wp[0], SB0, 32,
+                                       (((func & 0x3) != 0) || SB0_s));
+                       FP_TO_INT_S(vc.wp[1], SB1, 32,
+                                       (((func & 0x3) != 0) || SB1_s));
                        goto update_regs;
 
                default: