关于experimental分支的fragments和dedup特性在android上的几个bug about erofs-utils

[asuka-mio]

拿gdb连上看了下，也不是死循环，是一个while循环要跑二百万次（以我的测试样本）
https://github.com/hsiangkao/erofs-utils/blob/f3f9a2ce313727a16dd44d5f6cb37882247bdeea/lib/dedupe.c#L79

能否考虑做下simd优化处理

[hsiangkao]

hi！刚看到消息，能否在邮件列表报告问题。。这个github我很少翻issue。。

[hsiangkao]

拿gdb连上看了下，也不是死循环，是一个while循环要跑二百万次（以我的测试样本）

https://github.com/hsiangkao/erofs-utils/blob/f3f9a2ce313727a16dd44d5f6cb37882247bdeea/lib/dedupe.c#L79

能否考虑做下simd优化处理

dedupe目前是比较费cpu的，后面会考虑多线程处理。但由于历史数据不全，压缩率会有损失。
另外fragment去重已经做了进一步优化。

[asuka-mio]

拿gdb连上看了下，也不是死循环，是一个while循环要跑二百万次（以我的测试样本）
https://github.com/hsiangkao/erofs-utils/blob/f3f9a2ce313727a16dd44d5f6cb37882247bdeea/lib/dedupe.c#L79

能否考虑做下simd优化处理

dedupe目前是比较费cpu的，后面会考虑多线程处理。但由于历史数据不全，压缩率会有损失。 另外fragment去重已经做了进一步优化。

嗯我的意思就是这块不知道编译器会不会unroll-loops 或许先用memcmp进行block by block 的对比比较好
AcmeUI/android_external_erofs-utils@2688eff

[asuka-mio]

毕竟memcmp在大多数c库下都是simd优化的

[hsiangkao]

毕竟memcmp在大多数c库下都是simd优化的

这个位置其实是可以使用类似memcmp的api的，但问题在于memcmp目前无法返回有多少字节匹配，所以不能满足要求。自己写一个或许快一点（比如你说的simd），但目前个人没时间。。

[hsiangkao]

I will close the issue (if you'd like to improve, patches are always welcome ;)