prompt 없애는게 낫다

app.py

@@ -11,14 +11,18 @@ generator = pipeline(
     device="cuda:0" if torch.cuda.is_available() else 'cpu'
 )
 
-def query(message, chat_history, max_turn=4):
-    prompt = [
-        "<usr> 넌 한국어 챗봇 고라니야. 너는 내가 묻는 질문에 답하고 지시사항에 맞는 대답을 해야해.",
-        "<bot> 네, 저는 한국어 챗봇 고라니입니다. 궁금한 것을 물어보세요. "
-    ]
+def query(message, chat_history, max_turn=2):
+    # prompt = [
+    #     "<usr> 넌 한국어 챗봇 고라니야. 너는 내가 묻는 질문에 답하고 지시사항에 맞는 대답을 해야해.",
+    #     "<bot> 네, 저는 한국어 챗봇 고라니입니다. 궁금한 것을 물어보세요. "
+    # ]
+    prompt = []
     if len(chat_history) > max_turn:
         chat_history = chat_history[-max_turn:]
-    for user, bot in chat_history:
+    for i, (user, bot) in enumerate(chat_history):
+        # if i == 0:
+        #     prompt.append(f"<usr> 반가워 너는 한국어 챗봇이고 이름은 고라니야. {user}")
+        # else:
         prompt.append(f"<usr> {user}")
         prompt.append(f"<bot> {bot}")
     prompt.append(f"<usr> {message}")
@@ -29,7 +33,7 @@ def query(message, chat_history, max_turn=4):
         do_sample=True,
         top_p=0.9,
         early_stopping=True,
-        max_length=256,
+        max_new_tokens=256,
     )[0]['generated_text']
 
     print(output)
@@ -38,7 +42,7 @@ def query(message, chat_history, max_turn=4):
     return response.strip()
 
 with gr.Blocks() as demo:
-    chatbot = gr.Chatbot()
+    chatbot = gr.Chatbot().style(height=700)
     msg = gr.Textbox()
     clear = gr.Button("Clear")