generic-library/vpx
1
0
Fork 0
Code Issues Pull Requests Releases Wiki Activity

Merge "Refine vpx_convolve_copy_neon() and vpx_convolve_avg_neon()"

Browse Source
This commit is contained in:
Linfeng Zhang 2016-09-30 15:54:02 +00:00 committed by Gerrit Code Review
commit bde905cba1
3 changed files with 168 additions and 167 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

2
test/convolve_test.cc
View File

@ -662,7 +662,7 @@ TEST(ConvolveTest, FiltersWontSaturateWhenAddedPairwise) {
}
const int16_t kInvalidFilter[8] = { 0 };
static const WrapperFilterBlock2d8Func wrapper_filter_block2d_8[2] = {
const WrapperFilterBlock2d8Func wrapper_filter_block2d_8[2] = {
wrapper_filter_block2d_8_c, wrapper_filter_average_block2d_8_c
};

199
vpx_dsp/arm/vpx_convolve_avg_neon.c
View File

@ -13,132 +13,127 @@
#include "./vpx_dsp_rtcd.h"
#include "vpx/vpx_integer.h"
void vpx_convolve_avg_neon(const uint8_t *src, // r0
ptrdiff_t src_stride, // r1
uint8_t *dst, // r2
ptrdiff_t dst_stride, // r3
void vpx_convolve_avg_neon(const uint8_t *src, ptrdiff_t src_stride,
uint8_t *dst, ptrdiff_t dst_stride,
const int16_t *filter_x, int filter_x_stride,
const int16_t *filter_y, int filter_y_stride, int w,
int h) {
uint8_t *d;
uint8x8_t d0u8, d1u8, d2u8, d3u8;
uint32x2_t d0u32, d2u32;
uint8x16_t q0u8, q1u8, q2u8, q3u8, q8u8, q9u8, q10u8, q11u8;
(void)filter_x;
(void)filter_x_stride;
(void)filter_y;
(void)filter_y_stride;
d = dst;
if (w > 32) { // avg64
for (; h > 0; h -= 1) {
q0u8 = vld1q_u8(src);
q1u8 = vld1q_u8(src + 16);
q2u8 = vld1q_u8(src + 32);
q3u8 = vld1q_u8(src + 48);
if (w < 8) { // avg4
uint8x8_t s0, s1;
uint8x8_t dd0 = vdup_n_u8(0);
uint32x2x2_t s01;
do {
s0 = vld1_u8(src);
src += src_stride;
q8u8 = vld1q_u8(d);
q9u8 = vld1q_u8(d + 16);
q10u8 = vld1q_u8(d + 32);
q11u8 = vld1q_u8(d + 48);
d += dst_stride;
q0u8 = vrhaddq_u8(q0u8, q8u8);
q1u8 = vrhaddq_u8(q1u8, q9u8);
q2u8 = vrhaddq_u8(q2u8, q10u8);
q3u8 = vrhaddq_u8(q3u8, q11u8);
vst1q_u8(dst, q0u8);
vst1q_u8(dst + 16, q1u8);
vst1q_u8(dst + 32, q2u8);
vst1q_u8(dst + 48, q3u8);
dst += dst_stride;
}
} else if (w == 32) { // avg32
for (; h > 0; h -= 2) {
q0u8 = vld1q_u8(src);
q1u8 = vld1q_u8(src + 16);
s1 = vld1_u8(src);
src += src_stride;
q2u8 = vld1q_u8(src);
q3u8 = vld1q_u8(src + 16);
src += src_stride;
q8u8 = vld1q_u8(d);
q9u8 = vld1q_u8(d + 16);
d += dst_stride;
q10u8 = vld1q_u8(d);
q11u8 = vld1q_u8(d + 16);
d += dst_stride;
q0u8 = vrhaddq_u8(q0u8, q8u8);
q1u8 = vrhaddq_u8(q1u8, q9u8);
q2u8 = vrhaddq_u8(q2u8, q10u8);
q3u8 = vrhaddq_u8(q3u8, q11u8);
vst1q_u8(dst, q0u8);
vst1q_u8(dst + 16, q1u8);
s01 = vzip_u32(vreinterpret_u32_u8(s0), vreinterpret_u32_u8(s1));
dd0 = vreinterpret_u8_u32(
vld1_lane_u32((const uint32_t *)dst, vreinterpret_u32_u8(dd0), 0));
dd0 = vreinterpret_u8_u32(vld1_lane_u32(
(const uint32_t *)(dst + dst_stride), vreinterpret_u32_u8(dd0), 1));
dd0 = vrhadd_u8(vreinterpret_u8_u32(s01.val[0]), dd0);
vst1_lane_u32((uint32_t *)dst, vreinterpret_u32_u8(dd0), 0);
dst += dst_stride;
vst1q_u8(dst, q2u8);
vst1q_u8(dst + 16, q3u8);
vst1_lane_u32((uint32_t *)dst, vreinterpret_u32_u8(dd0), 1);
dst += dst_stride;
}
} else if (w > 8) { // avg16
for (; h > 0; h -= 2) {
q0u8 = vld1q_u8(src);
src += src_stride;
q1u8 = vld1q_u8(src);
src += src_stride;
q2u8 = vld1q_u8(d);
d += dst_stride;
q3u8 = vld1q_u8(d);
d += dst_stride;
q0u8 = vrhaddq_u8(q0u8, q2u8);
q1u8 = vrhaddq_u8(q1u8, q3u8);
vst1q_u8(dst, q0u8);
dst += dst_stride;
vst1q_u8(dst, q1u8);
dst += dst_stride;
}
h -= 2;
} while (h > 0);
} else if (w == 8) { // avg8
for (; h > 0; h -= 2) {
d0u8 = vld1_u8(src);
uint8x8_t s0, s1, d0, d1;
uint8x16_t s01, d01;
do {
s0 = vld1_u8(src);
src += src_stride;
d1u8 = vld1_u8(src);
s1 = vld1_u8(src);
src += src_stride;
d2u8 = vld1_u8(d);
d += dst_stride;
d3u8 = vld1_u8(d);
d += dst_stride;
d0 = vld1_u8(dst);
d1 = vld1_u8(dst + dst_stride);
q0u8 = vcombine_u8(d0u8, d1u8);
q1u8 = vcombine_u8(d2u8, d3u8);
q0u8 = vrhaddq_u8(q0u8, q1u8);
s01 = vcombine_u8(s0, s1);
d01 = vcombine_u8(d0, d1);
d01 = vrhaddq_u8(s01, d01);
vst1_u8(dst, vget_low_u8(q0u8));
vst1_u8(dst, vget_low_u8(d01));
dst += dst_stride;
vst1_u8(dst, vget_high_u8(q0u8));
vst1_u8(dst, vget_high_u8(d01));
dst += dst_stride;
}
} else { // avg4
for (; h > 0; h -= 2) {
d0u32 = vld1_lane_u32((const uint32_t *)src, d0u32, 0);
h -= 2;
} while (h > 0);
} else if (w < 32) { // avg16
uint8x16_t s0, s1, d0, d1;
do {
s0 = vld1q_u8(src);
src += src_stride;
d0u32 = vld1_lane_u32((const uint32_t *)src, d0u32, 1);
s1 = vld1q_u8(src);
src += src_stride;
d2u32 = vld1_lane_u32((const uint32_t *)d, d2u32, 0);
d += dst_stride;
d2u32 = vld1_lane_u32((const uint32_t *)d, d2u32, 1);
d += dst_stride;
d0 = vld1q_u8(dst);
d1 = vld1q_u8(dst + dst_stride);
d0u8 = vrhadd_u8(vreinterpret_u8_u32(d0u32), vreinterpret_u8_u32(d2u32));
d0 = vrhaddq_u8(s0, d0);
d1 = vrhaddq_u8(s1, d1);
d0u32 = vreinterpret_u32_u8(d0u8);
vst1_lane_u32((uint32_t *)dst, d0u32, 0);
vst1q_u8(dst, d0);
dst += dst_stride;
vst1_lane_u32((uint32_t *)dst, d0u32, 1);
vst1q_u8(dst, d1);
dst += dst_stride;
}
h -= 2;
} while (h > 0);
} else if (w == 32) { // avg32
uint8x16_t s0, s1, s2, s3, d0, d1, d2, d3;
do {
s0 = vld1q_u8(src);
s1 = vld1q_u8(src + 16);
src += src_stride;
s2 = vld1q_u8(src);
s3 = vld1q_u8(src + 16);
src += src_stride;
d0 = vld1q_u8(dst);
d1 = vld1q_u8(dst + 16);
d2 = vld1q_u8(dst + dst_stride);
d3 = vld1q_u8(dst + dst_stride + 16);
d0 = vrhaddq_u8(s0, d0);
d1 = vrhaddq_u8(s1, d1);
d2 = vrhaddq_u8(s2, d2);
d3 = vrhaddq_u8(s3, d3);
vst1q_u8(dst, d0);
vst1q_u8(dst + 16, d1);
dst += dst_stride;
vst1q_u8(dst, d2);
vst1q_u8(dst + 16, d3);
dst += dst_stride;
h -= 2;
} while (h > 0);
} else { // avg64
uint8x16_t s0, s1, s2, s3, d0, d1, d2, d3;
do {
s0 = vld1q_u8(src);
s1 = vld1q_u8(src + 16);
s2 = vld1q_u8(src + 32);
s3 = vld1q_u8(src + 48);
src += src_stride;
d0 = vld1q_u8(dst);
d1 = vld1q_u8(dst + 16);
d2 = vld1q_u8(dst + 32);
d3 = vld1q_u8(dst + 48);
d0 = vrhaddq_u8(s0, d0);
d1 = vrhaddq_u8(s1, d1);
d2 = vrhaddq_u8(s2, d2);
d3 = vrhaddq_u8(s3, d3);
vst1q_u8(dst, d0);
vst1q_u8(dst + 16, d1);
vst1q_u8(dst + 32, d2);
vst1q_u8(dst + 48, d3);
dst += dst_stride;
} while (--h);
}
return;
}

134
vpx_dsp/arm/vpx_convolve_copy_neon.c
View File

@ -13,80 +13,86 @@
#include "./vpx_dsp_rtcd.h"
#include "vpx/vpx_integer.h"
void vpx_convolve_copy_neon(const uint8_t *src, // r0
ptrdiff_t src_stride, // r1
uint8_t *dst, // r2
ptrdiff_t dst_stride, // r3
void vpx_convolve_copy_neon(const uint8_t *src, ptrdiff_t src_stride,
uint8_t *dst, ptrdiff_t dst_stride,
const int16_t *filter_x, int filter_x_stride,
const int16_t *filter_y, int filter_y_stride, int w,
int h) {
uint8x8_t d0u8, d2u8;
uint8x16_t q0u8, q1u8, q2u8, q3u8;
(void)filter_x;
(void)filter_x_stride;
(void)filter_y;
(void)filter_y_stride;
if (w > 32) { // copy64
for (; h > 0; h--) {
q0u8 = vld1q_u8(src);
q1u8 = vld1q_u8(src + 16);
q2u8 = vld1q_u8(src + 32);
q3u8 = vld1q_u8(src + 48);
src += src_stride;
vst1q_u8(dst, q0u8);
vst1q_u8(dst + 16, q1u8);
vst1q_u8(dst + 32, q2u8);
vst1q_u8(dst + 48, q3u8);
dst += dst_stride;
}
} else if (w == 32) { // copy32
for (; h > 0; h -= 2) {
q0u8 = vld1q_u8(src);
q1u8 = vld1q_u8(src + 16);
src += src_stride;
q2u8 = vld1q_u8(src);
q3u8 = vld1q_u8(src + 16);
src += src_stride;
vst1q_u8(dst, q0u8);
vst1q_u8(dst + 16, q1u8);
dst += dst_stride;
vst1q_u8(dst, q2u8);
vst1q_u8(dst + 16, q3u8);
dst += dst_stride;
}
} else if (w > 8) { // copy16
for (; h > 0; h -= 2) {
q0u8 = vld1q_u8(src);
src += src_stride;
q1u8 = vld1q_u8(src);
src += src_stride;
vst1q_u8(dst, q0u8);
dst += dst_stride;
vst1q_u8(dst, q1u8);
dst += dst_stride;
}
} else if (w == 8) { // copy8
for (; h > 0; h -= 2) {
d0u8 = vld1_u8(src);
src += src_stride;
d2u8 = vld1_u8(src);
src += src_stride;
vst1_u8(dst, d0u8);
dst += dst_stride;
vst1_u8(dst, d2u8);
dst += dst_stride;
}
} else { // copy4
for (; h > 0; h--) {
if (w < 8) { // copy4
do {
*(uint32_t *)dst = *(const uint32_t *)src;
src += src_stride;
dst += dst_stride;
}
*(uint32_t *)dst = *(const uint32_t *)src;
src += src_stride;
dst += dst_stride;
h -= 2;
} while (h > 0);
} else if (w == 8) { // copy8
uint8x8_t s0, s1;
do {
s0 = vld1_u8(src);
src += src_stride;
s1 = vld1_u8(src);
src += src_stride;
vst1_u8(dst, s0);
dst += dst_stride;
vst1_u8(dst, s1);
dst += dst_stride;
h -= 2;
} while (h > 0);
} else if (w < 32) { // copy16
uint8x16_t s0, s1;
do {
s0 = vld1q_u8(src);
src += src_stride;
s1 = vld1q_u8(src);
src += src_stride;
vst1q_u8(dst, s0);
dst += dst_stride;
vst1q_u8(dst, s1);
dst += dst_stride;
h -= 2;
} while (h > 0);
} else if (w == 32) { // copy32
uint8x16_t s0, s1, s2, s3;
do {
s0 = vld1q_u8(src);
s1 = vld1q_u8(src + 16);
src += src_stride;
s2 = vld1q_u8(src);
s3 = vld1q_u8(src + 16);
src += src_stride;
vst1q_u8(dst, s0);
vst1q_u8(dst + 16, s1);
dst += dst_stride;
vst1q_u8(dst, s2);
vst1q_u8(dst + 16, s3);
dst += dst_stride;
h -= 2;
} while (h > 0);
} else { // copy64
uint8x16_t s0, s1, s2, s3;
do {
s0 = vld1q_u8(src);
s1 = vld1q_u8(src + 16);
s2 = vld1q_u8(src + 32);
s3 = vld1q_u8(src + 48);
src += src_stride;
vst1q_u8(dst, s0);
vst1q_u8(dst + 16, s1);
vst1q_u8(dst + 32, s2);
vst1q_u8(dst + 48, s3);
dst += dst_stride;
} while (--h);
}
return;
}