fix: handle duplicate messages and prevent re-addition

- Prevent concurrent duplicate additions in AddHistory
- Skip last history item when user retries same prompt
- Use rune-based truncation to avoid UTF-8 corruption in logs

Author: liut

pkg/models/aigc/history.go

@@ -122,9 +122,10 @@ func (z *HistoryItem) previewText(n int) string {
 	if text == "" {
 		text = z.Text
 	}
-	// 截取前 n 个字
-	if len(text) > n {
-		return text[:n] + "..."
+	// 按 rune（字符）截取前 n 个字，避免截断 UTF-8 多字节字符
+	runes := []rune(text)
+	if len(runes) > n {
+		return string(runes[:n]) + "..."
 	}
 	return text
 }

pkg/services/llm/types.go

@@ -156,8 +156,10 @@ func (z *Message) previewText(n int) string {
 	}
 
 	full := prefix + text
-	if len(full) > n {
-		return full[:n] + "..."
+	// 按 rune（字符）截取，避免截断 UTF-8 多字节字符
+	runes := []rune(full)
+	if len(runes) > n {
+		return string(runes[:n]) + "..."
 	}
 	return full
 }

pkg/services/stores/conversation.go

@@ -76,19 +76,23 @@ func (s *conversation) GetOID() oid.OID {
 func (s *conversation) AddHistory(ctx context.Context, item *aigc.HistoryItem) error {
 	key := s.getKey()
 
-	// 去重检查：获取最后一条消息，如果内容相同则跳过
+	// 检查最后一条历史，如果 User 相同，则删除旧记录（保留最新答案）
 	lastMsg, err := s.getLastUserMessage(ctx)
-	if err == nil && lastMsg != nil {
-		if s.isDuplicate(lastMsg, item) {
-			logger().Debugw("duplicate message skipped", "key", key)
-			return nil
+	if err == nil && lastMsg != nil && lastMsg.ChatItem != nil && item.ChatItem != nil {
+		if lastMsg.ChatItem.User == item.ChatItem.User {
+			logger().Debugw("replace last history with same user", "key", key, "user", item.ChatItem.User)
+			// 删除最后一条
+			if err := s.rc.RPop(ctx, key).Err(); err != nil {
+				logger().Infow("rpop last history fail", "key", key, "err", err)
+			}
 		}
 	}
 
 	b, err := item.MarshalBinary()
 	if err != nil {
 		return err
 	}
+
 	res := s.rc.RPush(ctx, key, b)
 	err = res.Err()
 	if err == nil {
@@ -110,7 +114,6 @@ func (s *conversation) AddHistory(ctx context.Context, item *aigc.HistoryItem) e
 // getLastUserMessage 获取列表中最后一条消息
 func (s *conversation) getLastUserMessage(ctx context.Context) (*aigc.HistoryItem, error) {
 	key := s.getKey()
-	// LLINDEX key -1 获取最后一条
 	b, err := s.rc.LIndex(ctx, key, -1).Bytes()
 	if err != nil {
 		return nil, err
@@ -122,16 +125,6 @@ func (s *conversation) getLastUserMessage(ctx context.Context) (*aigc.HistoryIte
 	return &item, nil
 }
 
-// isDuplicate 检查新消息是否与最后一条消息重复
-func (s *conversation) isDuplicate(last, new *aigc.HistoryItem) bool {
-	// 优先比较 ChatItem.User
-	if last.ChatItem != nil && new.ChatItem != nil {
-		return last.ChatItem.User == new.ChatItem.User
-	}
-	// 备用比较 Text
-	return last.Text == new.Text
-}
-
 func (s *conversation) ListHistory(ctx context.Context) (data aigc.HistoryItems, err error) {
 	key := s.getKey()
 	ss := s.rc.LRange(ctx, key, 0, -1)

pkg/web/api/handle_convo.go

@@ -120,20 +120,29 @@ func (a *api) prepareChatRequest(ctx context.Context, param *ChatRequest) *chatR
 	if err == nil && len(data) > 0 {
 		logger().Infow("found history", "size", len(data), "hist", aigc.HiLogged(data))
 		data = data.RecentlyWithTokens(historyLimitToken)
+
 		for i, hi := range data {
 			if hi.ChatItem != nil {
+				isLast := i == len(data)-1
+				isRetry := hi.ChatItem.User == param.Prompt
+
+				// 最后一条特殊处理：如果是重试或 Regenerate，完全跳过这一条历史
+				if isLast && (isRetry || param.Regenerate) {
+					logger().Debugw("skip last history", "retry", isRetry, "regenerate", param.Regenerate)
+					break
+				}
+
+				// 添加 User
 				if len(hi.ChatItem.User) > 0 {
 					messages = append(messages, llm.Message{
 						Role: llm.RoleUser, Content: hi.ChatItem.User})
 				}
+
+				// 添加 Assistant
 				if len(hi.ChatItem.Assistant) > 0 {
 					messages = append(messages, llm.Message{
 						Role: llm.RoleAssistant, Content: hi.ChatItem.Assistant})
 				}
-				// skip the last one
-				if i == len(data)-1 && param.Regenerate {
-					break
-				}
 			}
 		}
 	}
@@ -534,6 +543,7 @@ func convertToolCallsForJSON(tcs []llm.ToolCall) []map[string]any {
 	return result
 }
 
+
 // chatExecutor 定义聊天执行函数类型，支持流式/非流式
 type chatExecutor func(ctx context.Context, messages []llm.Message, tools []llm.ToolDefinition) (string, []llm.ToolCall, *llm.Usage, error)