h264_idct_10bit: port x86 assembly to cpuflags.
This commit is contained in:
Ronald S. Bultje
parent
f8d8fe255d
commit
c83f44dba1
@ -72,25 +72,25 @@ SECTION .text
|
||||
STORE_DIFFx2 m2, m3, m4, m5, %1, %3
|
||||
%endmacro
|
||||
|
||||
%macro IDCT_ADD_10 1
|
||||
cglobal h264_idct_add_10_%1, 3,3
|
||||
%macro IDCT_ADD_10 0
|
||||
cglobal h264_idct_add_10, 3,3
|
||||
IDCT4_ADD_10 r0, r1, r2
|
||||
RET
|
||||
%endmacro
|
||||
|
||||
INIT_XMM
|
||||
IDCT_ADD_10 sse2
|
||||
INIT_XMM sse2
|
||||
IDCT_ADD_10
|
||||
%if HAVE_AVX
|
||||
INIT_AVX
|
||||
IDCT_ADD_10 avx
|
||||
INIT_XMM avx
|
||||
IDCT_ADD_10
|
||||
%endif
|
||||
|
||||
;-----------------------------------------------------------------------------
|
||||
; h264_idct_add16(pixel *dst, const int *block_offset, dctcoef *block, int stride, const uint8_t nnzc[6*8])
|
||||
;-----------------------------------------------------------------------------
|
||||
;;;;;;; NO FATE SAMPLES TRIGGER THIS
|
||||
%macro ADD4x4IDCT 1
|
||||
add4x4_idct_%1:
|
||||
%macro ADD4x4IDCT 0
|
||||
add4x4_idct %+ SUFFIX:
|
||||
add r5, r0
|
||||
mova m0, [r2+ 0]
|
||||
mova m1, [r2+16]
|
||||
@ -107,52 +107,52 @@ add4x4_idct_%1:
|
||||
ret
|
||||
%endmacro
|
||||
|
||||
INIT_XMM
|
||||
INIT_XMM sse2
|
||||
ALIGN 16
|
||||
ADD4x4IDCT sse2
|
||||
ADD4x4IDCT
|
||||
%if HAVE_AVX
|
||||
INIT_AVX
|
||||
INIT_XMM avx
|
||||
ALIGN 16
|
||||
ADD4x4IDCT avx
|
||||
ADD4x4IDCT
|
||||
%endif
|
||||
|
||||
%macro ADD16_OP 3
|
||||
cmp byte [r4+%3], 0
|
||||
jz .skipblock%2
|
||||
mov r5d, [r1+%2*4]
|
||||
call add4x4_idct_%1
|
||||
.skipblock%2:
|
||||
%if %2<15
|
||||
%macro ADD16_OP 2
|
||||
cmp byte [r4+%2], 0
|
||||
jz .skipblock%1
|
||||
mov r5d, [r1+%1*4]
|
||||
call add4x4_idct %+ SUFFIX
|
||||
.skipblock%1:
|
||||
%if %1<15
|
||||
add r2, 64
|
||||
%endif
|
||||
%endmacro
|
||||
|
||||
%macro IDCT_ADD16_10 1
|
||||
cglobal h264_idct_add16_10_%1, 5,6
|
||||
ADD16_OP %1, 0, 4+1*8
|
||||
ADD16_OP %1, 1, 5+1*8
|
||||
ADD16_OP %1, 2, 4+2*8
|
||||
ADD16_OP %1, 3, 5+2*8
|
||||
ADD16_OP %1, 4, 6+1*8
|
||||
ADD16_OP %1, 5, 7+1*8
|
||||
ADD16_OP %1, 6, 6+2*8
|
||||
ADD16_OP %1, 7, 7+2*8
|
||||
ADD16_OP %1, 8, 4+3*8
|
||||
ADD16_OP %1, 9, 5+3*8
|
||||
ADD16_OP %1, 10, 4+4*8
|
||||
ADD16_OP %1, 11, 5+4*8
|
||||
ADD16_OP %1, 12, 6+3*8
|
||||
ADD16_OP %1, 13, 7+3*8
|
||||
ADD16_OP %1, 14, 6+4*8
|
||||
ADD16_OP %1, 15, 7+4*8
|
||||
%macro IDCT_ADD16_10 0
|
||||
cglobal h264_idct_add16_10, 5,6
|
||||
ADD16_OP 0, 4+1*8
|
||||
ADD16_OP 1, 5+1*8
|
||||
ADD16_OP 2, 4+2*8
|
||||
ADD16_OP 3, 5+2*8
|
||||
ADD16_OP 4, 6+1*8
|
||||
ADD16_OP 5, 7+1*8
|
||||
ADD16_OP 6, 6+2*8
|
||||
ADD16_OP 7, 7+2*8
|
||||
ADD16_OP 8, 4+3*8
|
||||
ADD16_OP 9, 5+3*8
|
||||
ADD16_OP 10, 4+4*8
|
||||
ADD16_OP 11, 5+4*8
|
||||
ADD16_OP 12, 6+3*8
|
||||
ADD16_OP 13, 7+3*8
|
||||
ADD16_OP 14, 6+4*8
|
||||
ADD16_OP 15, 7+4*8
|
||||
REP_RET
|
||||
%endmacro
|
||||
|
||||
INIT_XMM
|
||||
IDCT_ADD16_10 sse2
|
||||
INIT_XMM sse2
|
||||
IDCT_ADD16_10
|
||||
%if HAVE_AVX
|
||||
INIT_AVX
|
||||
IDCT_ADD16_10 avx
|
||||
INIT_XMM avx
|
||||
IDCT_ADD16_10
|
||||
%endif
|
||||
|
||||
;-----------------------------------------------------------------------------
|
||||
@ -185,8 +185,8 @@ IDCT_ADD16_10 avx
|
||||
mova [%1+%3 ], m4
|
||||
%endmacro
|
||||
|
||||
INIT_MMX
|
||||
cglobal h264_idct_dc_add_10_mmx2,3,3
|
||||
INIT_MMX mmx2
|
||||
cglobal h264_idct_dc_add_10,3,3
|
||||
movd m0, [r1]
|
||||
paddd m0, [pd_32]
|
||||
psrad m0, 6
|
||||
@ -199,8 +199,8 @@ cglobal h264_idct_dc_add_10_mmx2,3,3
|
||||
;-----------------------------------------------------------------------------
|
||||
; void h264_idct8_dc_add(pixel *dst, dctcoef *block, int stride)
|
||||
;-----------------------------------------------------------------------------
|
||||
%macro IDCT8_DC_ADD 1
|
||||
cglobal h264_idct8_dc_add_10_%1,3,3,7
|
||||
%macro IDCT8_DC_ADD 0
|
||||
cglobal h264_idct8_dc_add_10,3,3,7
|
||||
mov r1d, [r1]
|
||||
add r1, 32
|
||||
sar r1, 6
|
||||
@ -214,45 +214,45 @@ cglobal h264_idct8_dc_add_10_%1,3,3,7
|
||||
RET
|
||||
%endmacro
|
||||
|
||||
INIT_XMM
|
||||
IDCT8_DC_ADD sse2
|
||||
INIT_XMM sse2
|
||||
IDCT8_DC_ADD
|
||||
%if HAVE_AVX
|
||||
INIT_AVX
|
||||
IDCT8_DC_ADD avx
|
||||
INIT_XMM avx
|
||||
IDCT8_DC_ADD
|
||||
%endif
|
||||
|
||||
;-----------------------------------------------------------------------------
|
||||
; h264_idct_add16intra(pixel *dst, const int *block_offset, dctcoef *block, int stride, const uint8_t nnzc[6*8])
|
||||
;-----------------------------------------------------------------------------
|
||||
%macro AC 2
|
||||
.ac%2
|
||||
mov r5d, [r1+(%2+0)*4]
|
||||
call add4x4_idct_%1
|
||||
mov r5d, [r1+(%2+1)*4]
|
||||
%macro AC 1
|
||||
.ac%1
|
||||
mov r5d, [r1+(%1+0)*4]
|
||||
call add4x4_idct %+ SUFFIX
|
||||
mov r5d, [r1+(%1+1)*4]
|
||||
add r2, 64
|
||||
call add4x4_idct_%1
|
||||
call add4x4_idct %+ SUFFIX
|
||||
add r2, 64
|
||||
jmp .skipadd%2
|
||||
jmp .skipadd%1
|
||||
%endmacro
|
||||
|
||||
%assign last_block 16
|
||||
%macro ADD16_OP_INTRA 3
|
||||
cmp word [r4+%3], 0
|
||||
jnz .ac%2
|
||||
%macro ADD16_OP_INTRA 2
|
||||
cmp word [r4+%2], 0
|
||||
jnz .ac%1
|
||||
mov r5d, [r2+ 0]
|
||||
or r5d, [r2+64]
|
||||
jz .skipblock%2
|
||||
mov r5d, [r1+(%2+0)*4]
|
||||
call idct_dc_add_%1
|
||||
.skipblock%2:
|
||||
%if %2<last_block-2
|
||||
jz .skipblock%1
|
||||
mov r5d, [r1+(%1+0)*4]
|
||||
call idct_dc_add %+ SUFFIX
|
||||
.skipblock%1:
|
||||
%if %1<last_block-2
|
||||
add r2, 128
|
||||
%endif
|
||||
.skipadd%2:
|
||||
.skipadd%1:
|
||||
%endmacro
|
||||
|
||||
%macro IDCT_ADD16INTRA_10 1
|
||||
idct_dc_add_%1:
|
||||
%macro IDCT_ADD16INTRA_10 0
|
||||
idct_dc_add %+ SUFFIX:
|
||||
add r5, r0
|
||||
movq m0, [r2+ 0]
|
||||
movhps m0, [r2+64]
|
||||
@ -265,46 +265,46 @@ idct_dc_add_%1:
|
||||
IDCT_DC_ADD_OP_10 r5, r3, r6
|
||||
ret
|
||||
|
||||
cglobal h264_idct_add16intra_10_%1,5,7,8
|
||||
ADD16_OP_INTRA %1, 0, 4+1*8
|
||||
ADD16_OP_INTRA %1, 2, 4+2*8
|
||||
ADD16_OP_INTRA %1, 4, 6+1*8
|
||||
ADD16_OP_INTRA %1, 6, 6+2*8
|
||||
ADD16_OP_INTRA %1, 8, 4+3*8
|
||||
ADD16_OP_INTRA %1, 10, 4+4*8
|
||||
ADD16_OP_INTRA %1, 12, 6+3*8
|
||||
ADD16_OP_INTRA %1, 14, 6+4*8
|
||||
cglobal h264_idct_add16intra_10,5,7,8
|
||||
ADD16_OP_INTRA 0, 4+1*8
|
||||
ADD16_OP_INTRA 2, 4+2*8
|
||||
ADD16_OP_INTRA 4, 6+1*8
|
||||
ADD16_OP_INTRA 6, 6+2*8
|
||||
ADD16_OP_INTRA 8, 4+3*8
|
||||
ADD16_OP_INTRA 10, 4+4*8
|
||||
ADD16_OP_INTRA 12, 6+3*8
|
||||
ADD16_OP_INTRA 14, 6+4*8
|
||||
REP_RET
|
||||
AC %1, 8
|
||||
AC %1, 10
|
||||
AC %1, 12
|
||||
AC %1, 14
|
||||
AC %1, 0
|
||||
AC %1, 2
|
||||
AC %1, 4
|
||||
AC %1, 6
|
||||
AC 8
|
||||
AC 10
|
||||
AC 12
|
||||
AC 14
|
||||
AC 0
|
||||
AC 2
|
||||
AC 4
|
||||
AC 6
|
||||
%endmacro
|
||||
|
||||
INIT_XMM
|
||||
IDCT_ADD16INTRA_10 sse2
|
||||
INIT_XMM sse2
|
||||
IDCT_ADD16INTRA_10
|
||||
%if HAVE_AVX
|
||||
INIT_AVX
|
||||
IDCT_ADD16INTRA_10 avx
|
||||
INIT_XMM avx
|
||||
IDCT_ADD16INTRA_10
|
||||
%endif
|
||||
|
||||
%assign last_block 36
|
||||
;-----------------------------------------------------------------------------
|
||||
; h264_idct_add8(pixel **dst, const int *block_offset, dctcoef *block, int stride, const uint8_t nnzc[6*8])
|
||||
;-----------------------------------------------------------------------------
|
||||
%macro IDCT_ADD8 1
|
||||
cglobal h264_idct_add8_10_%1,5,8,7
|
||||
%macro IDCT_ADD8 0
|
||||
cglobal h264_idct_add8_10,5,8,7
|
||||
%if ARCH_X86_64
|
||||
mov r7, r0
|
||||
%endif
|
||||
add r2, 1024
|
||||
mov r0, [r0]
|
||||
ADD16_OP_INTRA %1, 16, 4+ 6*8
|
||||
ADD16_OP_INTRA %1, 18, 4+ 7*8
|
||||
ADD16_OP_INTRA 16, 4+ 6*8
|
||||
ADD16_OP_INTRA 18, 4+ 7*8
|
||||
add r2, 1024-128*2
|
||||
%if ARCH_X86_64
|
||||
mov r0, [r7+gprsize]
|
||||
@ -312,21 +312,21 @@ cglobal h264_idct_add8_10_%1,5,8,7
|
||||
mov r0, r0m
|
||||
mov r0, [r0+gprsize]
|
||||
%endif
|
||||
ADD16_OP_INTRA %1, 32, 4+11*8
|
||||
ADD16_OP_INTRA %1, 34, 4+12*8
|
||||
ADD16_OP_INTRA 32, 4+11*8
|
||||
ADD16_OP_INTRA 34, 4+12*8
|
||||
REP_RET
|
||||
AC %1, 16
|
||||
AC %1, 18
|
||||
AC %1, 32
|
||||
AC %1, 34
|
||||
AC 16
|
||||
AC 18
|
||||
AC 32
|
||||
AC 34
|
||||
|
||||
%endmacro ; IDCT_ADD8
|
||||
|
||||
INIT_XMM
|
||||
IDCT_ADD8 sse2
|
||||
INIT_XMM sse2
|
||||
IDCT_ADD8
|
||||
%if HAVE_AVX
|
||||
INIT_AVX
|
||||
IDCT_ADD8 avx
|
||||
INIT_XMM avx
|
||||
IDCT_ADD8
|
||||
%endif
|
||||
|
||||
;-----------------------------------------------------------------------------
|
||||
@ -432,19 +432,19 @@ IDCT_ADD8 avx
|
||||
STORE_DIFFx2 m0, m1, m6, m7, %1, %3
|
||||
%endmacro
|
||||
|
||||
%macro IDCT8_ADD 1
|
||||
cglobal h264_idct8_add_10_%1, 3,4,16
|
||||
%macro IDCT8_ADD 0
|
||||
cglobal h264_idct8_add_10, 3,4,16
|
||||
%if UNIX64 == 0
|
||||
%assign pad 16-gprsize-(stack_offset&15)
|
||||
sub rsp, pad
|
||||
call h264_idct8_add1_10_%1
|
||||
call h264_idct8_add1_10 %+ SUFFIX
|
||||
add rsp, pad
|
||||
RET
|
||||
%endif
|
||||
|
||||
ALIGN 16
|
||||
; TODO: does not need to use stack
|
||||
h264_idct8_add1_10_%1:
|
||||
h264_idct8_add1_10 %+ SUFFIX:
|
||||
%assign pad 256+16-gprsize
|
||||
sub rsp, pad
|
||||
add dword [r1], 32
|
||||
@ -499,31 +499,31 @@ h264_idct8_add1_10_%1:
|
||||
ret
|
||||
%endmacro
|
||||
|
||||
INIT_XMM
|
||||
IDCT8_ADD sse2
|
||||
INIT_XMM sse2
|
||||
IDCT8_ADD
|
||||
%if HAVE_AVX
|
||||
INIT_AVX
|
||||
IDCT8_ADD avx
|
||||
INIT_XMM avx
|
||||
IDCT8_ADD
|
||||
%endif
|
||||
|
||||
;-----------------------------------------------------------------------------
|
||||
; h264_idct8_add4(pixel **dst, const int *block_offset, dctcoef *block, int stride, const uint8_t nnzc[6*8])
|
||||
;-----------------------------------------------------------------------------
|
||||
;;;;;;; NO FATE SAMPLES TRIGGER THIS
|
||||
%macro IDCT8_ADD4_OP 3
|
||||
cmp byte [r4+%3], 0
|
||||
jz .skipblock%2
|
||||
mov r0d, [r6+%2*4]
|
||||
%macro IDCT8_ADD4_OP 2
|
||||
cmp byte [r4+%2], 0
|
||||
jz .skipblock%1
|
||||
mov r0d, [r6+%1*4]
|
||||
add r0, r5
|
||||
call h264_idct8_add1_10_%1
|
||||
.skipblock%2:
|
||||
%if %2<12
|
||||
call h264_idct8_add1_10 %+ SUFFIX
|
||||
.skipblock%1:
|
||||
%if %1<12
|
||||
add r1, 256
|
||||
%endif
|
||||
%endmacro
|
||||
|
||||
%macro IDCT8_ADD4 1
|
||||
cglobal h264_idct8_add4_10_%1, 0,7,16
|
||||
%macro IDCT8_ADD4 0
|
||||
cglobal h264_idct8_add4_10, 0,7,16
|
||||
%assign pad 16-gprsize-(stack_offset&15)
|
||||
SUB rsp, pad
|
||||
mov r5, r0mp
|
||||
@ -531,17 +531,17 @@ cglobal h264_idct8_add4_10_%1, 0,7,16
|
||||
mov r1, r2mp
|
||||
mov r2d, r3m
|
||||
movifnidn r4, r4mp
|
||||
IDCT8_ADD4_OP %1, 0, 4+1*8
|
||||
IDCT8_ADD4_OP %1, 4, 6+1*8
|
||||
IDCT8_ADD4_OP %1, 8, 4+3*8
|
||||
IDCT8_ADD4_OP %1, 12, 6+3*8
|
||||
IDCT8_ADD4_OP 0, 4+1*8
|
||||
IDCT8_ADD4_OP 4, 6+1*8
|
||||
IDCT8_ADD4_OP 8, 4+3*8
|
||||
IDCT8_ADD4_OP 12, 6+3*8
|
||||
ADD rsp, pad
|
||||
RET
|
||||
%endmacro ; IDCT8_ADD4
|
||||
|
||||
INIT_XMM
|
||||
IDCT8_ADD4 sse2
|
||||
INIT_XMM sse2
|
||||
IDCT8_ADD4
|
||||
%if HAVE_AVX
|
||||
INIT_AVX
|
||||
IDCT8_ADD4 avx
|
||||
INIT_XMM avx
|
||||
IDCT8_ADD4
|
||||
%endif
|
||||
|
||||
Loading…
x
Reference in New Issue
Block a user