/*!
* \copy
*     Copyright (c)  2013, Cisco Systems
*     All rights reserved.

*     Redistribution and use in source and binary forms, with or without
*     modification, are permitted provided that the following conditions
*     are met:

*        * Redistributions of source code must retain the above copyright
*          notice, this list of conditions and the following disclaimer.

*        * Redistributions in binary form must reproduce the above copyright
*          notice, this list of conditions and the following disclaimer in
*          the documentation and/or other materials provided with the
*          distribution.

*     THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
*     "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
*     LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
*     FOR A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE
*     COPYRIGHT HOLDER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT,
*     INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING,
*     BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
*     LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
*     CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
*     LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN
*     ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
*     POSSIBILITY OF SUCH DAMAGE.

*/

#ifdef HAVE_NEON
.text

#include "arm_arch_common_macro.S"

#ifdef APPLE_IOS
.macro	JMP_IF_128BITS_IS_ZERO
    vorr.s16	$2, $0, $1
    vmov		r3, r2, $2
    orr			r3, r3, r2
    cmp			r3, #0
.endm

.macro	MASK_MATRIX
    vabd.u8	$6, $1, $2
    vcgt.u8	$6, $4, $6

    vabd.u8	$4, $0, $1
    vclt.u8	$4, $4, $5
    vand.u8	$6, $6, $4

    vabd.u8	$4, $3, $2
    vclt.u8	$4, $4, $5
    vand.u8	$6, $6, $4
.endm


.macro	DIFF_LUMA_LT4_P1_Q1
    vabd.u8	$9, $0, $2
    vclt.u8	$9, $9, $4
    vrhadd.u8	$8, $2, $3
    vhadd.u8	$8, $0, $8
    vsub.s8	$8, $8, $1
    vmax.s8	$8, $8, $5
    vmin.s8	$8, $8, $6
    vand.s8	$8, $8, $9
    vand.s8	$8, $8, $7
    vadd.u8	$8, $1, $8
    vabs.s8	$9, $9
.endm

.macro	DIFF_LUMA_LT4_P0_Q0
    vsubl.u8	$5, $0, $3
    vsubl.u8	$6, $2, $1
    vshl.s16	$6, $6, #2
    vadd.s16	$5, $5, $6
    vrshrn.s16		$4, $5, #3
.endm

.macro	DIFF_LUMA_EQ4_P2P1P0
    vaddl.u8	q4, $1, $2
    vaddl.u8	q5, $3, $4
    vadd.u16	q5, q4, q5

    vaddl.u8	q4, $0, $1
    vshl.u16	q4, q4, #1
    vadd.u16	q4, q5, q4

    vrshrn.u16		$0, q5, #2
    vrshrn.u16		$7, q4, #3

    vshl.u16	q5, q5, #1
    vsubl.u8	q4, $5, $1
    vadd.u16	q5, q4,q5

    vaddl.u8	q4, $2, $5
    vaddw.u8	q4, q4, $2
    vaddw.u8	q4, q4, $3

    vrshrn.u16		d10,q5, #3
    vrshrn.u16		d8, q4, #2
    vbsl.u8		$6, d10, d8
.endm

.macro	DIFF_LUMA_EQ4_MASK
    vmov	$3, $2
    vbsl.u8	$3, $0, $1
.endm

.macro	DIFF_CHROMA_EQ4_P0Q0
    vaddl.u8	$4, $0, $3
    vaddw.u8	$5, $4, $1
    vaddw.u8	$6, $4, $2
    vaddw.u8	$5, $5, $0

    vaddw.u8	$6, $6, $3
    vrshrn.u16		$7, $5, #2
    vrshrn.u16		$8, $6, #2
.endm

.macro	LORD_CHROMA_DATA_4
    vld4.u8	{$0[$8],$1[$8],$2[$8],$3[$8]}, [r0], r2
    vld4.u8	{$4[$8],$5[$8],$6[$8],$7[$8]}, [r1], r2
.endm

.macro	STORE_CHROMA_DATA_4
    vst4.u8	{$0[$8],$1[$8],$2[$8],$3[$8]}, [r0], r2
    vst4.u8	{$4[$8],$5[$8],$6[$8],$7[$8]}, [r1], r2
.endm

.macro	LORD_LUMA_DATA_3
    vld3.u8	{$0[$6],$1[$6],$2[$6]}, [r2], r1
    vld3.u8	{$3[$6],$4[$6],$5[$6]}, [r0], r1
.endm

.macro	STORE_LUMA_DATA_4
    vst4.u8	{$0[$4],$1[$4],$2[$4],$3[$4]}, [r0], r1
    vst4.u8	{$0[$5],$1[$5],$2[$5],$3[$5]}, [r2], r1
.endm

.macro	LORD_LUMA_DATA_4
    vld4.u8	{$0[$8],$1[$8],$2[$8],$3[$8]}, [r3], r1
    vld4.u8	{$4[$8],$5[$8],$6[$8],$7[$8]}, [r0], r1
.endm

.macro	STORE_LUMA_DATA_3
    vst3.u8	{$0[$6],$1[$6],$2[$6]}, [r3], r1
    vst3.u8	{$3[$6],$4[$6],$5[$6]}, [r0], r1
.endm

.macro	EXTRACT_DELTA_INTO_TWO_PART
    vcge.s8	$1, $0, #0
    vand	$1, $0, $1
    vsub.s8	$0, $1, $0
.endm
#else
.macro	JMP_IF_128BITS_IS_ZERO arg0, arg1, arg2
    vorr.s16	\arg2, \arg0, \arg1
    vmov		r3, r2, \arg2
    orr			r3, r3, r2
    cmp			r3, #0
.endm

.macro	MASK_MATRIX arg0, arg1, arg2, arg3, arg4, arg5, arg6
    vabd.u8	\arg6, \arg1, \arg2
    vcgt.u8	\arg6, \arg4, \arg6

    vabd.u8	\arg4, \arg0, \arg1
    vclt.u8	\arg4, \arg4, \arg5
    vand.u8	\arg6, \arg6, \arg4

    vabd.u8	\arg4, \arg3, \arg2
    vclt.u8	\arg4, \arg4, \arg5
    vand.u8	\arg6, \arg6, \arg4
.endm

.macro	DIFF_LUMA_LT4_P1_Q1 arg0, arg1, arg2, arg3, arg4, arg5, arg6, arg7, arg8, arg9
    vabd.u8	\arg9, \arg0, \arg2
    vclt.u8	\arg9, \arg9, \arg4
    vrhadd.u8	\arg8, \arg2, \arg3
    vhadd.u8	\arg8, \arg0, \arg8
    vsub.s8	\arg8, \arg8, \arg1
    vmax.s8	\arg8, \arg8, \arg5
    vmin.s8	\arg8, \arg8, \arg6
    vand.s8	\arg8, \arg8, \arg9
    vand.s8	\arg8, \arg8, \arg7
    vadd.u8	\arg8, \arg1, \arg8
    vabs.s8	\arg9, \arg9
.endm

.macro	DIFF_LUMA_LT4_P0_Q0 arg0, arg1, arg2, arg3, arg4, arg5, arg6
    vsubl.u8	\arg5, \arg0, \arg3
    vsubl.u8	\arg6, \arg2, \arg1
    vshl.s16	\arg6, \arg6, #2
    vadd.s16	\arg5, \arg5, \arg6
    vrshrn.s16		\arg4, \arg5, #3
.endm


.macro	DIFF_LUMA_EQ4_P2P1P0 arg0, arg1, arg2, arg3, arg4, arg5, arg6, arg7
    vaddl.u8	q4, \arg1, \arg2
    vaddl.u8	q5, \arg3, \arg4
    vadd.u16	q5, q4, q5

    vaddl.u8	q4, \arg0, \arg1
    vshl.u16	q4, q4, #1
    vadd.u16	q4, q5, q4

    vrshrn.u16		\arg0, q5, #2
    vrshrn.u16		\arg7, q4, #3

    vshl.u16	q5, q5, #1
    vsubl.u8	q4, \arg5, \arg1
    vadd.u16	q5, q4,q5

    vaddl.u8	q4, \arg2, \arg5
    vaddw.u8	q4, q4, \arg2
    vaddw.u8	q4, q4, \arg3

    vrshrn.u16		d10,q5, #3
    vrshrn.u16		d8, q4, #2
    vbsl.u8		\arg6, d10, d8
.endm

.macro	DIFF_LUMA_EQ4_MASK arg0, arg1, arg2, arg3
    vmov	\arg3, \arg2
    vbsl.u8	\arg3, \arg0, \arg1
.endm

.macro	DIFF_CHROMA_EQ4_P0Q0 arg0, arg1, arg2, arg3, arg4, arg5, arg6, arg7, arg8
    vaddl.u8	\arg4, \arg0, \arg3
    vaddw.u8	\arg5, \arg4, \arg1
    vaddw.u8	\arg6, \arg4, \arg2
    vaddw.u8	\arg5, \arg5, \arg0
    vaddw.u8	\arg6, \arg6, \arg3
    vrshrn.u16		\arg7, \arg5, #2
    vrshrn.u16		\arg8, \arg6, #2
.endm

.macro	LORD_CHROMA_DATA_4 arg0, arg1, arg2, arg3, arg4, arg5, arg6, arg7, arg8
    vld4.u8	{\arg0[\arg8],\arg1[\arg8],\arg2[\arg8],\arg3[\arg8]}, [r0], r2
    vld4.u8	{\arg4[\arg8],\arg5[\arg8],\arg6[\arg8],\arg7[\arg8]}, [r1], r2
.endm

.macro	STORE_CHROMA_DATA_4 arg0, arg1, arg2, arg3, arg4, arg5, arg6, arg7, arg8
    vst4.u8	{\arg0[\arg8],\arg1[\arg8],\arg2[\arg8],\arg3[\arg8]}, [r0], r2
    vst4.u8	{\arg4[\arg8],\arg5[\arg8],\arg6[\arg8],\arg7[\arg8]}, [r1], r2
.endm

.macro	LORD_LUMA_DATA_3 arg0, arg1, arg2, arg3, arg4, arg5, arg6
    vld3.u8	{\arg0[\arg6],\arg1[\arg6],\arg2[\arg6]}, [r2], r1
    vld3.u8	{\arg3[\arg6],\arg4[\arg6],\arg5[\arg6]}, [r0], r1
.endm

.macro	STORE_LUMA_DATA_4 arg0, arg1, arg2, arg3, arg4, arg5
    vst4.u8	{\arg0[\arg4],\arg1[\arg4],\arg2[\arg4],\arg3[\arg4]}, [r0], r1
    vst4.u8	{\arg0[\arg5],\arg1[\arg5],\arg2[\arg5],\arg3[\arg5]}, [r2], r1
.endm

.macro	LORD_LUMA_DATA_4 arg0, arg1, arg2, arg3, arg4, arg5, arg6, arg7, arg8
    vld4.u8	{\arg0[\arg8],\arg1[\arg8],\arg2[\arg8],\arg3[\arg8]}, [r3], r1
    vld4.u8	{\arg4[\arg8],\arg5[\arg8],\arg6[\arg8],\arg7[\arg8]}, [r0], r1
.endm

.macro	STORE_LUMA_DATA_3 arg0, arg1, arg2, arg3, arg4, arg5, arg6
    vst3.u8	{\arg0[\arg6],\arg1[\arg6],\arg2[\arg6]}, [r3], r1
    vst3.u8	{\arg3[\arg6],\arg4[\arg6],\arg5[\arg6]}, [r0], r1
.endm

.macro	EXTRACT_DELTA_INTO_TWO_PART arg0, arg1
    vcge.s8	\arg1, \arg0, #0
    vand	\arg1, \arg0, \arg1
    vsub.s8	\arg0, \arg1, \arg0
.endm
#endif

WELS_ASM_FUNC_BEGIN DeblockLumaLt4V_neon
    vdup.u8	q11, r2
    vdup.u8	q9, r3

    add			r2, r1, r1, lsl #1
    sub			r2, r0, r2
    vld1.u8	{q0}, [r2], r1
    vld1.u8	{q3}, [r0], r1
    vld1.u8	{q1}, [r2], r1
    vld1.u8	{q4}, [r0], r1
    vld1.u8	{q2}, [r2]
    vld1.u8	{q5}, [r0]
    sub			r2, r2, r1

    ldr			r3, [sp, #0]
    vld1.s8	{d31}, [r3]
    vdup.s8	d28, d31[0]
    vdup.s8	d30, d31[1]
    vdup.s8	d29, d31[2]
    vdup.s8	d31, d31[3]
    vtrn.32	d28, d30
    vtrn.32	d29, d31
    vcge.s8	q10, q14, #0

    MASK_MATRIX	q1, q2, q3, q4, q11, q9, q15
    vand.u8	q10, q10, q15

    veor		q15, q15
    vsub.i8	q15,q15,q14

    DIFF_LUMA_LT4_P1_Q1	q0, q1, q2, q3, q9, q15, q14, q10, q6, q12
    vst1.u8	{q6}, [r2], r1

    DIFF_LUMA_LT4_P1_Q1	q5, q4, q3, q2, q9, q15, q14, q10, q7, q13

    vabs.s8	q12, q12
    vabs.s8	q13, q13
    vadd.u8	q14,q14,q12
    vadd.u8	q14,q14,q13
    veor		q15, q15
    vsub.i8	q15,q15,q14

    DIFF_LUMA_LT4_P0_Q0	d2, d4, d6, d8, d16, q12, q13
    DIFF_LUMA_LT4_P0_Q0	d3, d5, d7, d9, d17, q12, q13
    vmax.s8	q8, q8, q15
    vmin.s8	q8, q8, q14
    vand.s8	q8, q8, q10
    EXTRACT_DELTA_INTO_TWO_PART	q8, q9
    vqadd.u8	q2, q2, q9
    vqsub.u8	q2, q2, q8
    vst1.u8	{q2}, [r2], r1
    vqsub.u8	q3, q3, q9
    vqadd.u8	q3, q3, q8
    vst1.u8	{q3}, [r2]	, r1
    vst1.u8	{q7}, [r2]

WELS_ASM_FUNC_END


WELS_ASM_FUNC_BEGIN DeblockLumaEq4V_neon

    vdup.u8	q5, r2
    vdup.u8	q4, r3

    sub			r3, r0, r1, lsl #2
    vld1.u8	{q8},  [r3], r1
    vld1.u8	{q12}, [r0], r1
    vld1.u8	{q9},  [r3], r1
    vld1.u8	{q13}, [r0], r1
    vld1.u8	{q10}, [r3], r1
    vld1.u8	{q14}, [r0], r1
    vld1.u8	{q11}, [r3]
    vld1.u8	{q15}, [r0]
    sub			r3, r3, r1	, lsl #1

    MASK_MATRIX	q10, q11, q12, q13, q5, q4, q6

    mov			r2, r2, lsr #2
    add			r2, r2, #2
    vdup.u8	q5, r2
    vabd.u8	q0, q11, q12
    vclt.u8	q7, q0, q5

    vabd.u8	q1, q9, q11
    vclt.u8	q1, q1, q4
    vand.s8	q1, q1, q7

    vabd.u8	q2, q14,q12
    vclt.u8	q2, q2, q4
    vand.s8	q2, q2, q7
    vand.u8	q7, q7, q6

    vmov		q3, q1

    DIFF_LUMA_EQ4_P2P1P0		d16, d18, d20, d22, d24, d26, d2, d0
    DIFF_LUMA_EQ4_P2P1P0		d17, d19, d21, d23, d25, d27, d3, d1

    vand.u8	q3, q7, q3
    DIFF_LUMA_EQ4_MASK	q0, q9, q3, q4
    vst1.u8	{q4}, [r3], r1
    DIFF_LUMA_EQ4_MASK	q8,q10, q3, q4
    vst1.u8	{q4}, [r3], r1
    DIFF_LUMA_EQ4_MASK	q1,q11, q6, q4
    vst1.u8	{q4}, [r3], r1

    vmov		q0, q2
    DIFF_LUMA_EQ4_P2P1P0		d30, d28, d26, d24, d22, d20, d4, d6
    DIFF_LUMA_EQ4_P2P1P0		d31, d29, d27, d25, d23, d21, d5, d7

    vand.u8	q0, q7, q0
    DIFF_LUMA_EQ4_MASK	q2,  q12, q6, q4
    vst1.u8	{q4}, [r3], r1
    DIFF_LUMA_EQ4_MASK	q15, q13, q0, q4
    vst1.u8	{q4}, [r3], r1
    DIFF_LUMA_EQ4_MASK	q3,  q14, q0, q4
    vst1.u8	{q4}, [r3], r1

WELS_ASM_FUNC_END


    WELS_ASM_FUNC_BEGIN DeblockLumaLt4H_neon

    vdup.u8	q11, r2
    vdup.u8	q9, r3

    sub			r2, r0, #3
    LORD_LUMA_DATA_3		d0, d1, d2, d6, d7, d8, 0
    LORD_LUMA_DATA_3		d0, d1, d2, d6, d7, d8, 1
    LORD_LUMA_DATA_3		d0, d1, d2, d6, d7, d8, 2
    LORD_LUMA_DATA_3		d0, d1, d2, d6, d7, d8, 3
    LORD_LUMA_DATA_3		d0, d1, d2, d6, d7, d8, 4
    LORD_LUMA_DATA_3		d0, d1, d2, d6, d7, d8, 5
    LORD_LUMA_DATA_3		d0, d1, d2, d6, d7, d8, 6
    LORD_LUMA_DATA_3		d0, d1, d2, d6, d7, d8, 7

    LORD_LUMA_DATA_3		d3, d4, d5, d9, d10, d11, 0
    LORD_LUMA_DATA_3		d3, d4, d5, d9, d10, d11, 1
    LORD_LUMA_DATA_3		d3, d4, d5, d9, d10, d11, 2
    LORD_LUMA_DATA_3		d3, d4, d5, d9, d10, d11, 3
    LORD_LUMA_DATA_3		d3, d4, d5, d9, d10, d11, 4
    LORD_LUMA_DATA_3		d3, d4, d5, d9, d10, d11, 5
    LORD_LUMA_DATA_3		d3, d4, d5, d9, d10, d11, 6
    LORD_LUMA_DATA_3		d3, d4, d5, d9, d10, d11, 7

    vswp		d1, d2
    vswp		d3, d4
    vswp		d1, d4
    vswp		d7, d8
    vswp		d9, d10
    vswp		d7, d10

    sub			r0, r0, r1, lsl #4

    ldr			r3, [sp, #0]
    vld1.s8	{d31}, [r3]
    vdup.s8	d28, d31[0]
    vdup.s8	d30, d31[1]
    vdup.s8	d29, d31[2]
    vdup.s8	d31, d31[3]
    vtrn.32	d28, d30
    vtrn.32	d29, d31
    vcge.s8	q10, q14, #0

    MASK_MATRIX	q1, q2, q3, q4, q11, q9, q15
    vand.u8	q10, q10, q15

    veor		q15, q15
    vsub.i8	q15,q15,q14

    DIFF_LUMA_LT4_P1_Q1	q0, q1, q2, q3, q9, q15, q14, q10, q6, q12
    DIFF_LUMA_LT4_P1_Q1	q5, q4, q3, q2, q9, q15, q14, q10, q7, q13

    vabs.s8	q12, q12
    vabs.s8	q13, q13
    vadd.u8	q14,q14,q12
    vadd.u8	q14,q14,q13
    veor		q15, q15
    vsub.i8	q15,q15,q14

    DIFF_LUMA_LT4_P0_Q0	d2, d4, d6, d8, d16, q12, q13
    DIFF_LUMA_LT4_P0_Q0	d3, d5, d7, d9, d17, q12, q13
    vmax.s8	q8, q8, q15
    vmin.s8	q8, q8, q14
    vand.s8	q8, q8, q10
    EXTRACT_DELTA_INTO_TWO_PART	q8, q9
    vqadd.u8	q2, q2, q9
    vqsub.u8	q2, q2, q8

    vqsub.u8	q3, q3, q9
    vqadd.u8	q3, q3, q8

    sub		r0, #2
    add		r2, r0, r1
    lsl		r1, #1

    vmov		q1, q6
    vmov		q4, q7

    vswp		q2, q3
    vswp		d3, d6
    vswp		d5, d8

    STORE_LUMA_DATA_4		d2, d3, d4, d5, 0, 1
    STORE_LUMA_DATA_4		d2, d3, d4, d5, 2, 3
    STORE_LUMA_DATA_4		d2, d3, d4, d5, 4, 5
    STORE_LUMA_DATA_4		d2, d3, d4, d5, 6, 7

    STORE_LUMA_DATA_4		d6, d7, d8, d9, 0, 1
    STORE_LUMA_DATA_4		d6, d7, d8, d9, 2, 3
    STORE_LUMA_DATA_4		d6, d7, d8, d9, 4, 5
    STORE_LUMA_DATA_4		d6, d7, d8, d9, 6, 7

WELS_ASM_FUNC_END


WELS_ASM_FUNC_BEGIN DeblockLumaEq4H_neon
    vdup.u8	q5, r2
    vdup.u8	q4, r3

    sub			r3, r0, #4				//	pix -= 4
    LORD_LUMA_DATA_4		d16,d17,d18,d19,d24,d25,d26,d27,0
    LORD_LUMA_DATA_4		d16,d17,d18,d19,d24,d25,d26,d27,1
    LORD_LUMA_DATA_4		d16,d17,d18,d19,d24,d25,d26,d27,2
    LORD_LUMA_DATA_4		d16,d17,d18,d19,d24,d25,d26,d27,3
    LORD_LUMA_DATA_4		d16,d17,d18,d19,d24,d25,d26,d27,4
    LORD_LUMA_DATA_4		d16,d17,d18,d19,d24,d25,d26,d27,5
    LORD_LUMA_DATA_4		d16,d17,d18,d19,d24,d25,d26,d27,6
    LORD_LUMA_DATA_4		d16,d17,d18,d19,d24,d25,d26,d27,7

    LORD_LUMA_DATA_4		d20,d21,d22,d23,d28,d29,d30,d31,0
    LORD_LUMA_DATA_4		d20,d21,d22,d23,d28,d29,d30,d31,1
    LORD_LUMA_DATA_4		d20,d21,d22,d23,d28,d29,d30,d31,2
    LORD_LUMA_DATA_4		d20,d21,d22,d23,d28,d29,d30,d31,3
    LORD_LUMA_DATA_4		d20,d21,d22,d23,d28,d29,d30,d31,4
    LORD_LUMA_DATA_4		d20,d21,d22,d23,d28,d29,d30,d31,5
    LORD_LUMA_DATA_4		d20,d21,d22,d23,d28,d29,d30,d31,6
    LORD_LUMA_DATA_4		d20,d21,d22,d23,d28,d29,d30,d31,7

    vswp		q9, q10
    vswp		d17,d18
    vswp		d21,d22
    vswp		q13,q14
    vswp		d25,d26
    vswp		d29,d30
    sub			r0, r0, r1	, lsl #4

    MASK_MATRIX	q10, q11, q12, q13, q5, q4, q6

    mov			r2, r2, lsr #2
    add			r2, r2, #2
    vdup.u8	q5, r2
    vabd.u8	q0, q11, q12
    vclt.u8	q7, q0, q5

    vabd.u8	q1, q9, q11
    vclt.u8	q1, q1, q4
    vand.s8	q1, q1, q7

    vabd.u8	q2, q14,q12
    vclt.u8	q2, q2, q4
    vand.s8	q2, q2, q7
    vand.u8	q7, q7, q6

    vmov		q3, q1

    DIFF_LUMA_EQ4_P2P1P0		d16, d18, d20, d22, d24, d26, d2, d0
    DIFF_LUMA_EQ4_P2P1P0		d17, d19, d21, d23, d25, d27, d3, d1

    vand.u8	q3, q7, q3
    DIFF_LUMA_EQ4_MASK	q0, q9, q3, q4
    vmov		q9, q4
    vbsl.u8	q3, q8, q10
    DIFF_LUMA_EQ4_MASK	q1,q11, q6, q8

    vand.u8	q7, q7, q2

    DIFF_LUMA_EQ4_P2P1P0		d30, d28, d26, d24, d22, d20, d4, d0
    DIFF_LUMA_EQ4_P2P1P0		d31, d29, d27, d25, d23, d21, d5, d1

    vbsl.u8	q6, q2, q12
    DIFF_LUMA_EQ4_MASK	q15, q13, q7, q4

    vbsl.u8	q7, q0, q14

    vmov		q5, q6
    vmov		q2, q9
    vmov		q6, q4
    vmov		q4, q8

    vswp	d8, d6
    vswp	d5, d7
    vswp	d5, d8
    vswp	d14, d12
    vswp	d11, d13
    vswp	d11, d14

    sub		r3, r0, #3
    STORE_LUMA_DATA_3		d4,d5,d6,d10,d11,d12,0
    STORE_LUMA_DATA_3		d4,d5,d6,d10,d11,d12,1
    STORE_LUMA_DATA_3		d4,d5,d6,d10,d11,d12,2
    STORE_LUMA_DATA_3		d4,d5,d6,d10,d11,d12,3
    STORE_LUMA_DATA_3		d4,d5,d6,d10,d11,d12,4
    STORE_LUMA_DATA_3		d4,d5,d6,d10,d11,d12,5
    STORE_LUMA_DATA_3		d4,d5,d6,d10,d11,d12,6
    STORE_LUMA_DATA_3		d4,d5,d6,d10,d11,d12,7

    STORE_LUMA_DATA_3		d7,d8,d9,d13,d14,d15,0
    STORE_LUMA_DATA_3		d7,d8,d9,d13,d14,d15,1
    STORE_LUMA_DATA_3		d7,d8,d9,d13,d14,d15,2
    STORE_LUMA_DATA_3		d7,d8,d9,d13,d14,d15,3
    STORE_LUMA_DATA_3		d7,d8,d9,d13,d14,d15,4
    STORE_LUMA_DATA_3		d7,d8,d9,d13,d14,d15,5
    STORE_LUMA_DATA_3		d7,d8,d9,d13,d14,d15,6
    STORE_LUMA_DATA_3		d7,d8,d9,d13,d14,d15,7

WELS_ASM_FUNC_END


WELS_ASM_FUNC_BEGIN DeblockChromaLt4V_neon
    vdup.u8	q11, r3
    ldr			r3, [sp, #0]

    sub			r0, r0, r2	, lsl #1
    sub			r1, r1, r2, lsl #1
    vdup.u8	    q9, r3
    ldr			r3, [sp, #4]

    vld1.u8	{d0}, [r0], r2
    vld1.u8	{d1}, [r1], r2
    vld1.u8	{d2}, [r0], r2
    vld1.u8	{d3}, [r1], r2
    vld1.u8	{d4}, [r0], r2
    vld1.u8	{d5}, [r1], r2
    vld1.u8	{d6}, [r0]
    vld1.u8	{d7}, [r1]

    sub			r0, r0, r2, lsl #1
    sub			r1, r1, r2, lsl #1

    vld1.s8	{d15}, [r3]
    vmovl.u8	q6, d15
    vshl.u64	d13,d12,#8
    vorr		d12,d13
    vmov		d13, d12
    veor		q7, q7
    vsub.i8	q7,q7,q6

    MASK_MATRIX	q0, q1, q2, q3, q11, q9, q5

    DIFF_LUMA_LT4_P0_Q0	d0, d2, d4, d6, d8, q12, q13
    DIFF_LUMA_LT4_P0_Q0	d1, d3, d5, d7, d9, q12, q13
    vmax.s8	q4, q4, q7
    vmin.s8	q4, q4, q6

    vand.s8	q4, q4, q5
    vcge.s8	q6, q6, #0
    vand.s8	q4, q4, q6
    EXTRACT_DELTA_INTO_TWO_PART	q4, q5
    vqadd.u8	q1, q1, q5
    vqsub.u8	q1, q1, q4
    vst1.u8	{d2}, [r0], r2
    vst1.u8	{d3}, [r1], r2
    vqsub.u8	q2, q2, q5
    vqadd.u8	q2, q2, q4
    vst1.u8	{d4}, [r0]
    vst1.u8	{d5}, [r1]

WELS_ASM_FUNC_END


    WELS_ASM_FUNC_BEGIN DeblockChromaEq4V_neon

    vdup.u8	q11, r3
    ldr			r3, [sp, #0]

    sub			r0, r0, r2	, lsl #1
    sub			r1, r1, r2, lsl #1
    vdup.u8	q9, r3
    vld1.u8	{d0}, [r0], r2		//	q0::p1
    vld1.u8	{d1}, [r1], r2
    vld1.u8	{d2}, [r0], r2		//	q1::p0
    vld1.u8	{d3}, [r1], r2
    vld1.u8	{d4}, [r0], r2		//	q2::q0
    vld1.u8	{d5}, [r1], r2
    vld1.u8	{d6}, [r0]				//	q3::q1
    vld1.u8	{d7}, [r1]

    sub			r0, r0, r2, lsl #1	//	pix = [-1*src_stride]
    sub			r1, r1, r2, lsl #1

    MASK_MATRIX	q0, q1, q2, q3, q11, q9, q10

    vmov			q11, q10

    DIFF_CHROMA_EQ4_P0Q0		d0, d2, d4, d6, q4, q5, q6, d14, d0		// Cb::p0' q0'
    DIFF_CHROMA_EQ4_P0Q0		d1, d3, d5, d7, q12, q13, q14, d15, d1	// Cr::p0' q0'

    vbsl.u8	q10, q7, q1
    vst1.u8	{d20}, [r0], r2
    vst1.u8	{d21}, [r1], r2

    vbsl.u8	q11, q0, q2
    vst1.u8	{d22}, [r0]
    vst1.u8	{d23}, [r1]

WELS_ASM_FUNC_END

WELS_ASM_FUNC_BEGIN DeblockChromaLt4H_neon

    vdup.u8	q11, r3
    ldr			r3, [sp, #0]

    sub			r0, r0, #2
    vdup.u8	q9, r3
    ldr			r3, [sp, #4]
    sub			r1, r1, #2
    vld1.s8	{d15}, [r3]

    LORD_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 0
    LORD_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 1
    LORD_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 2
    LORD_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 3
    LORD_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 4
    LORD_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 5
    LORD_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 6
    LORD_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 7
    vswp		q1, q2
    vswp		d1, d2
    vswp		d6, d5

    vmovl.u8	q6, d15
    vshl.u64	d13,d12,#8
    vorr		d12,d13
    vmov		d13, d12
    veor		q7, q7
    vsub.i8	q7,q7,q6

    MASK_MATRIX	q0, q1, q2, q3, q11, q9, q5

    DIFF_LUMA_LT4_P0_Q0	d0, d2, d4, d6, d8, q12, q13
    DIFF_LUMA_LT4_P0_Q0	d1, d3, d5, d7, d9, q12, q13
    vmax.s8	q4, q4, q7
    vmin.s8	q4, q4, q6

    vand.s8	q4, q4, q5
    vcge.s8	q6, q6, #0
    vand.s8	q4, q4, q6
    EXTRACT_DELTA_INTO_TWO_PART	q4, q5
    vqadd.u8	q1, q1, q5
    vqsub.u8	q1, q1, q4
    vqsub.u8	q2, q2, q5
    vqadd.u8	q2, q2, q4

    sub			r0, r0, r2, lsl #3
    sub			r1, r1, r2, lsl #3
    vswp		d1, d2
    vswp		d6, d5
    vswp		q1, q2

    STORE_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 0
    STORE_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 1
    STORE_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 2
    STORE_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 3
    STORE_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 4
    STORE_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 5
    STORE_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 6
    STORE_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 7

WELS_ASM_FUNC_END

WELS_ASM_FUNC_BEGIN DeblockChromaEq4H_neon
    vdup.u8	q11, r3
    ldr			r3, [sp, #0]

    sub			r0, r0, #2
    sub			r1, r1, #2

    LORD_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 0
    LORD_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 1
    LORD_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 2
    LORD_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 3
    LORD_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 4
    LORD_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 5
    LORD_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 6
    LORD_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 7
    vswp		q1, q2
    vswp		d1, d2
    vswp		d6, d5

    vdup.u8	q9, r3
    MASK_MATRIX	q0, q1, q2, q3, q11, q9, q10
    vmov			q11, q10

    DIFF_CHROMA_EQ4_P0Q0		d0, d2, d4, d6, q8, q9, q12, d8, d10
    DIFF_CHROMA_EQ4_P0Q0		d1, d3, d5, d7, q13, q14, q15, d9, d11

    vbsl.u8	q10, q4, q1
    vbsl.u8	q11, q5, q2
    sub			r0, r0, r2, lsl #3	//	pix: 0th row	[-2]
    sub			r1, r1, r2, lsl #3

    vmov		q1, q10
    vmov		q2, q11
    vswp		d1, d2
    vswp		d6, d5
    vswp		q1, q2
    //	Cb:d0d1d2d3, Cr:d4d5d6d7
    STORE_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 0
    STORE_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 1
    STORE_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 2
    STORE_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 3
    STORE_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 4
    STORE_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 5
    STORE_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 6
    STORE_CHROMA_DATA_4	d0, d1, d2, d3, d4, d5, d6, d7, 7

WELS_ASM_FUNC_END


WELS_ASM_FUNC_BEGIN enc_avc_non_zero_count_neon

    vld1.64	{d0-d2}, [r0]

    vceq.s8	q0, q0, #0
    vceq.s8	d2, d2, #0
    vmvn	q0, q0
    vmvn	d2, d2
    vabs.s8	q0, q0
    vabs.s8	d2, d2

    vst1.64	{d0-d2}, [r0]
WELS_ASM_FUNC_END

#endif