它是 LLM 大语言模型不是向量模型不是专门为语义向量训练的向量质量远不如 Sentence-BERT、BGE、m3e 这类专业模型。中文支持极差LlamaEmbedder 原生对中文短文本、口语化问句几乎不优化。输出的向量没有归一化、没有对齐语义导致余弦相似度乱跳同义句分数低无关句分数高速度慢、占用高对比专业向量模型完全不适合做匹配。二、.net 真正准的语义向量方案中文最强有两种向量模型方案方案 1BGE 向量模型国内最准方案 2m3e 向量模型轻量、超快、中文专门训练三、如何使用BGE 向量模型做向量语义分析下载这个bge-small-zh 中文向量模型Xenova/bge-small-zh-v1.5 · HF Mirror或单独下载vocab.txtmodel.onnxhttps://hf-mirror.com/Xenova/bge-small-zh-v1.5/resolve/main/vocab.txthttps://hf-mirror.com/Xenova/bge-small-zh-v1.5/resolve/main/onnx/model.onnx然后可以封装成以下代码需要通过nuget引用下载Microsoft.ML.OnnxRuntime和Microsoft.ML.Tokenizerspublic class OnnxBgeEmbeddingService : IDisposable { private readonly InferenceSession _session; private readonly BertTokenizer _tokenizer; // 使用 BertTokenizer // 模型输入名称动态获取或硬编码 private readonly string _inputNameIds; private readonly string _inputNameMask; private readonly string _inputNameTokenType; // 新增token_type_ids 名称 private readonly string _outputName; // BGE 模型配置 private const int MaxLength 512; private const int PadTokenId 0; private const int TokenTypeId 0; // BGE/BERT 单句输入通常全为 0 public OnnxBgeEmbeddingService(string modelPath, string vocabPath) { // 1. 初始化 ONNX 会话 var sessionOptions new SessionOptions(); sessionOptions.InterOpNumThreads 4; sessionOptions.IntraOpNumThreads 4; _session new InferenceSession(modelPath, sessionOptions); // 2. 初始化分词器 _tokenizer BertTokenizer.Create(vocabPath); // 3. 获取模型输入输出名称 var inputKeys _session.InputMetadata.Keys.ToList(); _inputNameIds inputKeys.FirstOrDefault(k k.Contains(input_ids)) ?? input_ids; _inputNameMask inputKeys.FirstOrDefault(k k.Contains(attention_mask)) ?? attention_mask; // 关键修复查找 token_type_ids 或 token_type_ids 类似的键 _inputNameTokenType inputKeys.FirstOrDefault(k k.Contains(token_type)) ?? token_type_ids; if (_session.OutputMetadata.Count 0) throw new InvalidOperationException(Model has no outputs.); _outputName _session.OutputMetadata.Keys.First(); } public float[] GenerateEmbedding(string text) { if (string.IsNullOrWhiteSpace(text)) throw new ArgumentException(Text cannot be null or empty); // 1. 分词并预处理 (截断 填充) var (inputIds, attentionMask, tokenTypeIds) EncodeAndPreprocess(text); // 2. 构建输入张量 // 注意大多数 BGE ONNX 模型接受 int64 (long)部分优化模型接受 int32 (int) // 如果报错 Type Mismatch请将 DenseTensorlong 改为 DenseTensorint var inputIdsTensor new DenseTensorlong(inputIds, new[] { 1, inputIds.Length }); var attentionMaskTensor new DenseTensorlong(attentionMask, new[] { 1, attentionMask.Length }); var tokenTypeIdsTensor new DenseTensorlong(tokenTypeIds, new[] { 1, tokenTypeIds.Length }); var inputs new ListNamedOnnxValue { NamedOnnxValue.CreateFromTensor(_inputNameIds, inputIdsTensor), NamedOnnxValue.CreateFromTensor(_inputNameMask, attentionMaskTensor), NamedOnnxValue.CreateFromTensor(_inputNameTokenType, tokenTypeIdsTensor) // 关键修复添加此输入 }; // 3. 执行推理 using var results _session.Run(inputs); // 4. 提取结果 var rawOutput results.First().AsTensorfloat(); // 关键修复正确获取维度 // rawOutput 形状通常为 [1, seq_len, hidden_size] // Dimensions 是一个 int[] 数组例如 [1, 512, 384] if (rawOutput.Rank ! 3) throw new InvalidOperationException($Expected 3D output, got {rawOutput.Rank}D); int seqLen rawOutput.Dimensions.Length; // 序列长度 int hiddenSize rawOutput.Dimensions.Length; // 向量维度 float[] embedding new float[hiddenSize]; // 5. 平均池化 (Mean Pooling) int validTokenCount 0; for (int i 0; i seqLen; i) { // 只有当 attention mask 为 1 时才参与计算 if (attentionMask[i] 1) { for (int j 0; j hiddenSize; j) { // 累加每个维度的值 embedding[j] rawOutput[0, i, j]; } validTokenCount; } } // 求平均 if (validTokenCount 0) { for (int i 0; i hiddenSize; i) { embedding[i] / validTokenCount; } } // 6. L2 归一化 Normalize(embedding); return embedding; } /// summary /// 编码并预处理截断、填充、生成 Mask 和 Token Type IDs /// /summary private (long[] InputIds, long[] AttentionMask, long[] TokenTypeIds) EncodeAndPreprocess(string text) { // 使用 BertTokenizer 编码 // EncodeToIds 返回 ReadOnlyMemoryint int[] originalIds _tokenizer.EncodeToIds(text).ToArray(); int currentLen originalIds.Length; // 1. 截断 (Truncation) if (currentLen MaxLength) { Array.Resize(ref originalIds, MaxLength); currentLen MaxLength; } // 2. 填充 (Padding) if (currentLen MaxLength) { int oldLen originalIds.Length; Array.Resize(ref originalIds, MaxLength); // 将新增部分填充为 PadTokenId (0) for (int i oldLen; i MaxLength; i) { originalIds[i] PadTokenId; } } // 3. 生成 Attention Mask 和 Token Type IDs long[] attentionMask new long[MaxLength]; long[] tokenTypeIds new long[MaxLength]; for (int i 0; i MaxLength; i) { // Mask: 非 Padding 位为 1Padding 位为 0 attentionMask[i] (originalIds[i] ! PadTokenId) ? 1 : 0; // Token Type IDs: BGE 单句任务通常全为 0 tokenTypeIds[i] TokenTypeId; } // 将 int[] 转换为 long[] 以匹配 ONNX 输入要求 long[] finalInputIds Array.ConvertAll(originalIds, x (long)x); return (finalInputIds, attentionMask, tokenTypeIds); } private void Normalize(float[] vector) { float sum 0; foreach (var v in vector) { sum v * v; } float norm (float)Math.Sqrt(sum); if (norm 0) { for (int i 0; i vector.Length; i) { vector[i] / norm; } } } public void Dispose() { _session?.Dispose(); } }以下是调用var onnxBgeEmbeddingService new OnnxBgeEmbeddingService(Models/model.onnx, Models/vocab.txt) onnxBgeEmbeddingService .GenerateEmbedding(微服务是什么)以下就是用向量语义分析检索出来的AI对话结果
