Update app.py

app.py

@@ -20,12 +20,12 @@ import json
 
 import base64
 
-def get_image_base64(image_path):
-    with open(image_path, "rb") as img_file:
-        return base64.b64encode(img_file.read()).decode()
+def get_svg_content(svg_path):
+    with open(svg_path, "r", encoding="utf-8") as f:
+        return f.read()
 
 # 파일 상단에서 한 번만 로드
-plobin_logo_base64 = get_image_base64("img/plobin.png")
+plobin_logo_svg = get_svg_content("img/plobin.svg")
 
 # 환경 변수 로드
 load_dotenv()
@@ -52,13 +52,25 @@ st.set_page_config(
     initial_sidebar_state="expanded"
 )
 
+# 사이드바 기존
+            #667eea 0%, 
+            #764ba2 100%);
+
+# 사이드바 1안
+            #5ECFFF 0%, 
+            #B8FF6E 100%);
+
+# 사이드바 2안
+            #258CFF 0%, 
+            #0A1E6A 100%);
+
 # Custom CSS
 st.markdown("""
 <style>
     [data-testid="stSidebar"] {
         background: linear-gradient(180deg, 
-            #667eea 0%, 
-            #764ba2 100%);
+            #90B9E8 0%, 
+            #B3BEC9 100%);
         box-shadow: 4px 0 30px rgba(0,0,0,0.2);
         width: 290px !important;
     }
@@ -340,7 +352,7 @@ st.markdown("""
     
     /* 채팅 타이틀 스타일 (애니메이션 제거) */
     .chat-title {
-        color: white !important;
+        color: black !important;
         font-weight: 900 !important;
         font-size: 1.75rem !important;
         margin-bottom: 1rem !important;
@@ -439,8 +451,8 @@ def extract_text_from_pdf(pdf_file) -> Tuple[List[str], List[Dict], bytes, Dict]
     pages_text = {}
     
     # ==================== 수정된 청크 설정 ====================
-    CHUNK_SIZE = 300     # 300에서 800으로 증가
-    OVERLAP_SIZE = 60   # 60에서 150으로 증가
+    CHUNK_SIZE = 800     # 300에서 800으로 증가
+    OVERLAP_SIZE = 150   # 60에서 150으로 증가
     # ========================================================
     
     for page_num in range(len(doc)):
@@ -539,35 +551,58 @@ def create_vector_db(chunks: List[str], metadata_list: List[Dict]):
     return collection, embedder
 
 
-def extract_keywords(text: str, top_n: int = 5) -> List[str]:
-    """키워드 추출"""
+# ==================== 의미 기반 키워드 추출 (하드코딩 제거) ====================
+def extract_keywords_semantic(text: str, embedder, top_n: int = 5) -> List[str]:
+    """
+    의미 기반 키워드 추출 - 불용어 리스트 불필요
+    
+    원리:
+    1. 숫자 포함 단어는 무조건 중요하게 취급
+    2. 원본 텍스트의 의미와 각 단어의 의미 유사도 계산
+    3. 유사도 × 빈도수로 점수 산정
+    4. 점수순으로 상위 키워드 추출
+    """
+    # 1. 숫자 포함 단어는 무조건 포함 (금액, 날짜, 수량 등)
     words_with_numbers = re.findall(r'[가-힣]*\d+[가-힣]*', text)
-    words = re.findall(r'[가-힣]{2,}', text)
-    
-    stopwords = {
-        '것', '등', '및', '그', '이', '저', '수', '때', '중', '내', '년', '월', '일',
-        '경우', '대한', '통해', '위해', '관련', '있는', '하는', '되는', '이런', '저런',
-        '어떤', '무슨', '어느', '누구', '언제', '어디', '무엇', '어떻게', '왜',
-        '알려', '설명', '말해', '대해', '관하여', '있나요', '인가요', '무엇인가요',
-        '얼마', '입니까', '합니까'
-    }
     
-    important_keywords = {
-        '금액', '가격', '비용', '예산', '설계', '사업', '과업', '계약',
-        '공사', '용역', '제안', '입찰', '낙찰', '견적', '단가'
-    }
+    # 2. 명사구 추출 (2글자 이상)
+    candidate_words = re.findall(r'[가-힣]{2,}', text)
     
-    filtered_words = [w for w in words if w not in stopwords and len(w) >= 2]
-    word_freq = Counter(filtered_words)
+    if not candidate_words:
+        return words_with_numbers[:top_n]
     
-    for word in word_freq:
-        if word in important_keywords:
-            word_freq[word] += 5
+    word_freq = Counter(candidate_words)
     
+    # 3. 원본 텍스트와 각 단어의 의미 유사도 계산
+    text_embedding = embedder.encode([text], convert_to_numpy=True)[0]
+    word_embeddings = embedder.encode(list(word_freq.keys()), convert_to_numpy=True)
+    
+    # 코사인 유사도 계산
+    similarities = util.cos_sim(text_embedding, word_embeddings)[0].numpy()
+    
+    # 4. 점수 = 의미유사도 × 빈도수 (빈도는 로그 스케일)
+    scored_words = []
+    for idx, (word, freq) in enumerate(word_freq.items()):
+        # 의미 유사도 70% + 빈도 30%
+        semantic_score = similarities[idx]
+        frequency_score = np.log1p(freq) / 10.0  # 빈도에 로그 적용 후 정규화
+        
+        combined_score = 0.7 * semantic_score + 0.3 * frequency_score
+        scored_words.append((word, combined_score))
+    
+    # 5. 점수순 정렬
+    scored_words.sort(key=lambda x: x[1], reverse=True)
+    
+    # 6. 결과 조합: 숫자 포함 단어 우선 + 의미 점수 높은 단어
     result = []
-    result.extend([w for w in words_with_numbers if w])
     
-    for word, _ in word_freq.most_common(top_n * 2):
+    # 숫자 포함 단어 먼저 추가 (최대 3개)
+    for word in words_with_numbers[:3]:
+        if word and word not in result:
+            result.append(word)
+    
+    # 나머지를 의미 점수로 채움
+    for word, score in scored_words:
         if word not in result:
             result.append(word)
         if len(result) >= top_n:
@@ -576,9 +611,9 @@ def extract_keywords(text: str, top_n: int = 5) -> List[str]:
     return result[:top_n]
 
 
-# ==================== 새로운 하이브리드 검색 함수 ====================
+# ==================== 하이브리드 검색 함수 (의미 기반 키워드 사용) ====================
 def hybrid_search(query: str, collection, embedder, top_k: int = 3) -> Dict:
-    """하이브리드 검색: 벡터 유사도 + 키워드 매칭"""
+    """하이브리드 검색: 벡터 유사도 + 의미 기반 키워드 매칭"""
     # 1. 벡터 검색
     query_embedding = embedder.encode([query], convert_to_numpy=True)[0]
     vector_results = collection.query(
@@ -587,8 +622,8 @@ def hybrid_search(query: str, collection, embedder, top_k: int = 3) -> Dict:
         include=["documents", "metadatas", "distances"]
     )
     
-    # 2. 키워드 추출
-    keywords = extract_keywords(query, top_n=5)
+    # 2. 의미 기반 키워드 추출 (하드코딩 제거)
+    keywords = extract_keywords_semantic(query, embedder, top_n=5)
     
     # 3. 하이브리드 점수 계산
     hybrid_results = []
@@ -617,7 +652,7 @@ def hybrid_search(query: str, collection, embedder, top_k: int = 3) -> Dict:
             'keyword_score': keyword_score
         })
     
-    # 4. 점수순 정렬 후 상위 5개
+    # 4. 점수순 정렬 후 상위 k개
     hybrid_results.sort(key=lambda x: x['hybrid_score'], reverse=True)
     top_results = hybrid_results[:top_k]
     
@@ -746,7 +781,7 @@ def generate_answer(query: str, search_results: Dict, api_key: str) -> str:
 2. **언어 혼용 및 비문 대응**: 사용자의 문장은 한국어와 영어가 섞이거나 문법 오류가 있을 수 있으므로 의도를 추론하여 정확히 이해하라.
 3. **모호한 질문 자동 보정**: 사용자의 질문이 불완전하거나 모호해도 질문 의도를 추론하여 적절하게 재구성하라.
 **문서 기반 응답 원칙 (절대 추측 금지):**
-1. 제공된 문서를 **매우 꼼꼼히** 읽고 정확한 정보를 찾으세요
+1. 제공된 문서를 **매우 �꼼히** 읽고 정확한 정보를 찾으세요
 2. **반드시 문서에서 근거를 찾아 답변**하고, 문서에 없는 내용은 임의로 추측하지 말고 **"문서에서 관련 정보를 찾을 수 없습니다"**라고 명시하라
 3. **문서와 전혀 무관한 질문**(예: 점심 추천, 날씨, 일상 대화 등)은 **"죄송하지만, 제공된 문서에는 해당 질문과 관련된 정보가 포함되어 있지 않습니다."**라고만 답변하고 추가 설명 없이 종료하라
 4. 문서에 정보가 있는데도 "없다"고 하지 마세요
@@ -938,16 +973,22 @@ def main():
     
     # Header 문서 처리 전에만 보임 
     if not st.session_state.processed:
-        st.markdown(f"""
-        <div class="plobin-header">
-            <img src="data:image/png;base64,{plobin_logo_base64}" class="plobin-logo" alt="PLOBIN" style="height: 60px; margin-bottom: 10px;">
-            <div class="plobin-subtitle">문서 속 답을 찾아주는 AI 비서</div>
-        </div>
-        """, unsafe_allow_html=True)
+        # 로고 가운데 정렬
+        col1, col2, col3 = st.columns([1, 1, 1])
+        with col2:
+            st.image("img/plobin.svg", use_container_width=True)
+            st.text(' ')
+        
+        # 서브타이틀
+        # st.markdown("""
+        #     <div style="text-align: center; margin-top: 10px;">
+        #         문서 속 답을 찾아주는 AI 비서
+        #     </div>
+        # """, unsafe_allow_html=True)
 
     # ========== 사이드바 ==========
     with st.sidebar:
-        st.image("img/plobin.png", width=120)  # 픽셀 값으로 직접 지정
+        st.image("img/plobin-left-only.png", width=30)  # 픽셀 값으로 직접 지정
         # st.title("🔮 PLOBIN")
         
         uploaded_file = st.file_uploader(
@@ -993,28 +1034,11 @@ def main():
                     except Exception as e:
                         st.error(f"오류: {str(e)}")
         
-        # ==================== 수정: 청크 표시 제거 ====================
         # 문서 정보 표시 (청크 정보 제외)
         if st.session_state.processed:
             st.markdown("#### 📊 문서 정보")
             st.info(f"📄 **{st.session_state.doc_metadata['filename']}**")
             st.info(f"📑 페이지: {st.session_state.doc_metadata['pages']}")
-            # 청크 표시 제거됨
-        # ============================================================
-        
-        # st.divider()
-        
-        # 초기화 버튼
-        # if st.button("🔄 새 문서 업로드", use_container_width=True):
-        #     st.session_state.processed = False
-        #     st.session_state.vector_db = None
-        #     st.session_state.embedder = None
-        #     st.session_state.chat_history = []
-        #     st.session_state.current_highlights = []
-        #     st.session_state.pdf_bytes = None
-        #     st.session_state.pdf_pages_text = {}
-        #     st.session_state.zoom_level = 2.0
-        #     st.rerun()
     
     # ===== 아직 문서가 처리되지 않은 경우
     if not st.session_state.processed:
@@ -1175,7 +1199,7 @@ def main():
                 
                 with st.spinner("🔮 PLOBIN이 검색중입니다..."):
                     try:
-                        # 1. 하이브리드 검색 (벡터 + 키워드) - 상위 3개
+                        # 1. 하이브리드 검색 (벡터 + 의미 기반 키워드) - 상위 3개
                         search_results = hybrid_search(
                             query,
                             st.session_state.vector_db,