adkosm / postgresqlsh

LSH on Postgres

Hi there 👋

My name is Alexey Kosmachev. I'm a software engineer interested in distributed systems, software architecture and DevOps\MLOps.

I am also concerned about education sphere and I do my best to share my knowledge with young specialists in the computer science.

postgresqlsh's Issues

Научиться генерировать нормальное распределение на C

Нужно научиться по заданному запросу генерировать все параметры, необходимые для hash функции

Реализовать вычисление hash-функции на С

Создавать таблицы из расширения

Нужно научиться создавать таблицы для хранения параметров хеш-функций для таблицы

Научиться создавать функции из С

Нужно создать функции с интерфейсом расширения

Предположительно:
create_lsh('table', 'column', radius);
ann('table', 'column', vector);
delete_lsh('table', 'column');

Научиться создавать индексы из расширения

По параметрам заданным в таблице ( #3 ) нужно научиться строить необходимые индексы по таблице.

Сравнить производительность с аналогами (benchmark)

Сгенерировать выборку и на ней сравнить алгоритм с

1. Full scan таблицы - самый простой baseline
2. smlar. Данный алгоритм решает похожую задачу, но он строит обобщенное дерево на расстоянии между векторами, что для большого количества данных и большой размерности векторов должно проигрывать LSH

Поддержать различные нормы

Научиться использовать различные нормы для LSH

Из основный идей - L_p нормы
Также можно рассмотреть косинусное расстояние и так далее

Делать запросы к нашему индексу

После построения таблиц и индеков (#3 #5) нужно с их помощью научиться делать нужные выборки из базы, фильтровать и выдавать пользователю результат