[Question]: simcse中的cosine similarity计算 about paddlenlp

[gongel]

你好，请贴下代码。

[ZTurboX]

你好，请贴下代码。

`query_cls_embedding = self.get_pooled_embedding(
query_input_ids, query_token_type_ids, query_position_ids, query_attention_mask
)

    title_cls_embedding = self.get_pooled_embedding(
        title_input_ids, title_token_type_ids, title_position_ids, title_attention_mask
    )

    cosine_sim = paddle.matmul(query_cls_embedding, title_cls_embedding, transpose_y=True)

    # Subtract margin from all positive samples cosine_sim()
    margin_diag = paddle.full(shape=[query_cls_embedding.shape[0]], fill_value=self.margin, dtype=cosine_sim.dtype)

    cosine_sim = cosine_sim - paddle.diag(margin_diag)

    # Scale cosine to ease training converge
    cosine_sim *= self.scale

    labels = paddle.arange(0, query_cls_embedding.shape[0], dtype="int64")
    labels = paddle.reshape(labels, shape=[-1, 1])`

[w5688414]

也不是不可以，主要是query和title的向量一般已经normalize了，不需要除以分母