Spaces:
Sleeping
Sleeping
File size: 2,680 Bytes
519b145 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 |
# Vấn đề: HF Spaces không nhận được request từ project local
## Phân tích
Từ logs HF Spaces:
- HF Spaces đang load **local model** (Qwen/Qwen2.5-7B-Instruct)
- HF Spaces **KHÔNG** nhận được request từ project local
- Khi project local gọi API, response vẫn là **template-based**
## Nguyên nhân có thể
1. **LLM không được gọi khi có documents:**
- RAG pipeline có `use_llm=True` nhưng LLM generation có thể fail
- Fallback về template khi LLM fail
2. **LLM generation fail:**
- API timeout
- API trả về None
- Error trong quá trình generate
3. **Server local không load đúng env:**
- Server khởi động trước khi `.env` được update
- Cần restart server
## Giải pháp
### 1. Đảm bảo server load đúng env
```bash
# Stop server
pkill -f "manage.py runserver"
# Start lại với env mới
cd backend && source venv/bin/activate && cd hue_portal
python3 manage.py runserver 0.0.0.0:8000
```
### 2. Kiểm tra logs khi test
Khi gửi request với documents, xem logs có:
- `[RAG] Using LLM provider: api`
- `[LLM] 🔗 Calling API: ...`
- `[LLM] 📥 Response status: 200`
Nếu không thấy logs này, có nghĩa là:
- LLM không được gọi
- Hoặc LLM generation fail trước khi gọi API
### 3. Test trực tiếp API mode
```bash
cd backend && source venv/bin/activate
python3 -c "
import os
os.environ['LLM_PROVIDER'] = 'api'
os.environ['HF_API_BASE_URL'] = 'https://davidtran999-hue-portal-backend.hf.space/api'
import sys
sys.path.insert(0, 'hue_portal')
from chatbot.llm_integration import LLMGenerator, LLM_PROVIDER_API
llm = LLMGenerator(provider=LLM_PROVIDER_API)
result = llm._generate_api('Test prompt with documents')
print(f'Result: {result}')
"
```
## Debug steps
1. **Kiểm tra env variables:**
```bash
cd backend && cat .env | grep LLM
```
2. **Restart server:**
```bash
pkill -f "manage.py runserver"
cd backend && source venv/bin/activate && cd hue_portal
python3 manage.py runserver 0.0.0.0:8000
```
3. **Test với câu hỏi có documents:**
```bash
curl -X POST http://localhost:8000/api/chatbot/chat/ \
-H "Content-Type: application/json" \
-d '{"message": "Mức phạt vượt đèn đỏ là bao nhiêu?", "reset_session": false}'
```
4. **Xem server logs:**
- Tìm `[RAG]` logs
- Tìm `[LLM]` logs
- Tìm error messages
## Lưu ý
- HF Spaces logs cho thấy nó đang dùng **local model**, không phải API mode
- Điều này có nghĩa là HF Spaces đang chạy độc lập, không nhận request từ project local
- Project local cần gọi HF Spaces API để nhận response từ model trên HF Spaces
|