Merge pull request #120 from gomate-community/pipeline

feature@optimze deep research

Author: yanqiangmiffy

examples/generator/gemini_chat.py

@@ -0,0 +1,22 @@
+# https://ai.google.dev/gemini-api/docs/openai?hl=zh_cn
+# https://aistudio.google.com/app/apikey
+from openai import OpenAI
+
+client = OpenAI(
+    api_key="xxx",
+    base_url="https://generativelanguage.googleapis.com/v1beta/openai/"
+)
+
+response = client.chat.completions.create(
+    model="gemini-2.0-flash",
+    n=1,
+    messages=[
+        {"role": "system", "content": "You are a helpful assistant."},
+        {
+            "role": "user",
+            "content": "请帮我解释强化学习算法PPO"
+        }
+    ]
+)
+
+print(response.choices[0].message)

trustrag/modules/deepsearch/.env

@@ -11,7 +11,7 @@ DEFAULT_SERVICE="OPENAI"
 # OpenAI
 # -----------------------------------------------------------------------------
 # Required unless you're only using DeepSeek or another OpenAI-compliant API.
-OPENAI_API_KEY="sk-xx"
+OPENAI_API_KEY="sk-"
 OPENAI_MODEL="gpt-4o-mini"
 
 # -----------------------------------------------------------------------------
@@ -49,4 +49,4 @@ FIRECRAWL_API_KEY="your_firecrawl_api_key_here"
 # -----------------------------------------------------------------------------
 # SearXNG
 # -----------------------------------------------------------------------------
-SEARXNG_URL="http://localhost:8080/search"
+SEARXNG_URL="http://192.168.1.5:8080/search"

trustrag/modules/deepsearch/action.py

@@ -34,6 +34,7 @@ async def generate_serp_queries(
         learnings: Optional[List[str]] = None,
 ) -> List[SerpQuery]:
     """Generate SERP queries based on user input and previous learnings."""
+    print("正在进行研究主题的意图理解...")
 
     prompt = f"""根据用户的以下提示，生成一系列SERP查询来研究该主题。
     返回一个JSON对象，其中包含一个'queries'数组字段，包含{num_queries}个查询（如果原始提示已经很明确，则可以少于这个数量）。
@@ -81,13 +82,24 @@ async def process_serp_result(
     # Create the contents string separately
     contents_str = "".join(f"<content>\n{content}\n</content>" for content in contents)
 
+    # prompt = (
+    #     f"根据以下对查询<query>{query}</query>的网页搜索内容，"
+    #     f"生成从内容中得到的学习要点列表。返回一个JSON对象，包含'learnings'和'followUpQuestions'键(key)，"
+    #     f"值(value)为字符串数组。包括最多{num_learnings}个学习要点和{num_follow_up_questions}个后续问题。"
+    #     f"学习要点应该独特、简洁且信息丰富，包括实体、指标、数字和日期。\n\n"
+    #     f"<contents>{contents_str}</contents>"
+    #     f"请确保生成的学习要点和后续问题与用户原始查询({query})的语言保持一致。"
+    # )
+
     prompt = (
-        f"根据以下对查询<query>{query}</query>的SERP搜索内容，"
-        f"生成从内容中得到的学习要点列表。返回一个JSON对象，包含'learnings'和'followUpQuestions'键(key)，"
-        f"值(value)为字符串数组。包括最多{num_learnings}个学习要点和{num_follow_up_questions}个后续问题。"
-        f"学习要点应该独特、简洁且信息丰富，包括实体、指标、数字和日期。\n\n"
+        f"基于以下来自搜索引擎结果页面(SERP)对查询<query>{query}</query>的内容，"
+        f"生成一个内容要点列表。返回一个JSON对象，包含'learnings'和'followUpQuestions'两个键，"
+        f"learnings'代表从内容中提取的关键知识要点列表[xx,xxx]，应该是独特、简洁且信息丰富的，包含实体名称、指标、数字和日期等。"
+        f"'followUpQuestions'代表根据内容生成的推荐问题列表[xxx,xxx]，用于引导更深入的探索。"
+        f"JSON对象格式一定要正确，不要输出额外内容，不要漏掉键"
+        f"值为字符串数组。包括最多{num_learnings}个要点和{num_follow_up_questions}个后续问题。"
+        f"这些要点应该是独特的、简洁的、信息密集的，包含实体、指标、数字和日期。\n\n"
         f"<contents>{contents_str}</contents>"
-        f"请确保生成的学习要点和后续问题与用户原始查询({query})的语言保持一致。"
     )
 
     response = await get_client_response(
@@ -99,7 +111,7 @@ async def process_serp_result(
         ],
         response_format={"type": "json_object"},
     )
-
+    loguru.logger.info(response)
     try:
         return {
             "learnings": response.get("learnings", [])[:num_learnings],
@@ -188,17 +200,18 @@ async def deep_research(
         num_queries=breadth,
         learnings=learnings,
     )
-
+    print("意图理解完成:",serp_queries)
     # Create a semaphore to limit concurrent requests
     semaphore = asyncio.Semaphore(concurrency)
 
     async def process_query(serp_query: SerpQuery) -> ResearchResult:
         async with semaphore:
             try:
                 # Search for content
+                loguru.logger.info("正在处理子查询:" + serp_query.query)
                 result = await search_service.search(serp_query.query, limit=2)
-                loguru.logger.info("process_query:")
-                loguru.logger.info(result)
+                # loguru.logger.info(result)
+
                 # Collect new URLs
                 new_urls = [
                     item.get("url") for item in result["data"] if item.get("url")

trustrag/modules/deepsearch/finder/manager.py

@@ -65,7 +65,7 @@ async def search_and_scrape(
             semaphore = asyncio.Semaphore(max_concurrent_scrapes)
 
             async def scrape_with_semaphore(url):
-                loguru.logger.info("Scraping %s"+url)
+                loguru.logger.info("Scraping url==>:"+url)
                 async with semaphore:
                     return await self.scrape(url, **kwargs)
 

trustrag/modules/deepsearch/finder/scraper.py

@@ -69,7 +69,6 @@ async def teardown(self):
 
     async def scrape(self, url: str, **kwargs) -> ScrapedContent:
         """Scrape a URL using Playwright and return standardized content."""
-        loguru.logger.info(f"{url} scraped")
         if not self.browser:
             await self.setup()
 
@@ -98,7 +97,7 @@ async def scrape(self, url: str, **kwargs) -> ScrapedContent:
 
             # Close the page
             await page.close()
-
+            loguru.logger.info(f"{url} scraped")
             return ScrapedContent(
                 url=url,
                 html=html,
@@ -109,7 +108,6 @@ async def scrape(self, url: str, **kwargs) -> ScrapedContent:
                     "headers": response.headers if response else {},
                 },
             )
-
         except Exception as e:
             loguru.logger.error(f"Error scraping {url}: {str(e)}")
             return ScrapedContent(
@@ -162,7 +160,8 @@ async def main():
         # 要爬取的网址
         target_url = "https://blog.sciencenet.cn/blog-2089193-1469701.html"
         target_url = "https://blog.csdn.net/2401_85375151/article/details/144805338"
-        target_url = "https://zhuanlan.zhihu.com/p/19647641182"
+        target_url = "https://blog.csdn.net/csdnnews/article/details/146084709?spm=1000.2115.3001.5926"
+        # target_url = "https://zhuanlan.zhihu.com/p/19647641182"
         # 爬取内容
         result = await scraper.scrape(target_url)
 

trustrag/modules/deepsearch/output.md

@@ -1,64 +1,67 @@
-# 大模型强化学习技术的最终报告
+# 大模型强化学习算法综述
 
-## 一、引言
+## 引言
 
-在人工智能飞速发展的今天，大语言模型（LLM）与强化学习（RL）技术的融合正在引领一场深刻的变革。尤其在复杂任务环境中，这种结合不仅推动了自然语言理解和视觉信息处理的进步，也提高了模型的学习效率和决策准确性。本报告将详细探讨大模型强化学习技术的最新进展及其在各个领域的应用。
+近年来，机器学习领域取得了显著进展，尤其是在大语言模型（LLM）和强化学习（RL）的结合方面。这种结合开启了新的研究方向，改善了强化学习的性能和效率。本文旨在综述大模型在强化学习算法中的应用，分析其最新进展并展望未来发展方向。
 
-## 二、大模型与强化学习的结合
+## 大模型在辅助强化学习中的角色
 
-### 2.1 多模态信息处理能力
+大模型在辅助强化学习（LLM-enhanced RL）中扮演了四种主要角色，这不仅优化了强化学习算法的应用效果，还增强了其在复杂环境中的决策能力。主要角色包括：
 
-大语言模型通过其强大的多模态信息处理能力，显著提升了强化学习在复杂任务中的学习效率。尤其是在自然语言与视觉信息的理解和处理上，大模型展现出了优越性。这种结合使得模型能够更流畅地处理多样的信息输入，从而提高决策制定质量。
+1. **智能体设计**: 大模型能够生成更复杂的策略，优化智能体在多任务学习中的表现。
+2. **环境建模**: 通过模拟环境，大模型可以帮助强化学习智能体进行有效探索。
+3. **数据生成与增强**: 大模型可生成高质量的训练数据，提升样本利用率，降低对大量标注数据的依赖。
+4. **策略优化**: 大模型的通用性使其能够与多种强化学习算法结合，增强策略优化过程。
 
-### 2.2 自适应调节系统
+## 近期进展：讯飞星火模型
 
-在2024年，研究人员成功实现了基于强化学习的自适应调节系统，从而提升了大模型的学习效率和决策准确性。通过这种系统，模型能够实时调整其策略以适应动态的环境，减少了因环境变化引起的性能下降。
+2024年10月，讯飞星火模型发布了4.0 Turbo版本，标志着其在自然语言处理领域的重要突破。这一版本的模型在核心能力上提升了50%，完成了对GPT-4 Turbo的全面超越。这一成就显示了大模型在实现复杂任务时的潜力，尤其是在如下方面：
 
-## 三、新算法的重大发现
+- **数学能力**: 在国际14项主流测试集中，星火大模型获得9项第一，证明了其强大的数学推理能力。
+- **代码生成**: 其在代码生成任务中的表现卓越，能够自动产生优化的代码解决方案，推动了软件开发的自动化。
 
-2023年，Google DeepMind公布了一项结合自监督学习与强化学习的新算法，大幅提高了大规模模型在自然语言处理任务中的表现。这一突破为大语言模型的应用提供了新的可能，尤其是在需要处理复杂语言现象的场景中，展现了显著的优势。
+## 强化学习与逆强化学习的进展
 
-从最新的研究中可以看到，使用深度强化学习算法在复杂游戏环境中可以获得比传统算法高出20%的胜率。这一结果表明，在对抗性任务中，大模型强化学习的表现远超常规手段。
+强化学习与逆强化学习的研究不断演进，已成为全球范围内的热点领域。近年来的研究集中在如何结合大模型的优势，探索新的算法和理论。例如，逆强化学习为理解和解析人类行为提供了强有力的工具，使得研究者能够学习和模仿人类的决策过程。随着对大模型性能的深入研究，未来在逆强化学习领域可能会出现更多交叉应用的实例。
 
-## 四、实际应用与挑战
+## 增强LLM的技术路线
 
-### 4.1 医疗影像分析
+为提升大模型在强化学习中的应用效果，研究者提出了多种技术路线，其中主要包括：
+- **基于奖励模型的强化学习（RLHF）**: 该方法通过构建奖励模型来指导智能体学习，保证其在训练过程中获得良好的反馈。
+- **反向奖励模型（RLAIF）**: 这种方法通过逆向推导奖励信号，增强了对人类偏好的捕捉能力，为强化学习提供了新的视角。
 
-在医疗领域，大模型强化学习技术的应用已经取得了显著进展。例如，在肿瘤检测中，相关研究表明，该技术的准确率达到了90%以上，标志着人工智能在医疗影像分析中的潜力。
+这种技术的结合促进了更高效的学习机制，使得智能体能够在复杂环境中做出更优的决策。
 
-此外，强化学习也被用于生成个性化治疗方案，通过模拟不同治疗路径，帮助医生为肿瘤患者制定更有效的治疗策略。同时，一些医疗机构利用强化学习模型来优化药物剂量调整方案，从而在治疗糖尿病患者中提高了治疗效果，患者的血糖水平下降了15%。
+## 研究综述及其影响
 
-### 4.2 计算资源成本
+近期的调研显示，已有130余篇关于大语言模型及视觉-语言模型在辅助强化学习中的研究成果，这些研究的合成形成了一篇综述文章并已上传至arXiv。这些研究强调了大模型在不同任务和环境中的适应性，并提出多种应用实例，展示了其广泛的实用潜力。
 
-尽管大模型强化学习技术带来了显著的进步，但在实际应用中，模型训练的计算资源成本极高。预计到2025年，这一成本可能达到数百万美元，涵盖硬件、维护和技术支持等多方面的支出。这一问题对如何合理分配资源和优化训练过程提出了挑战。
+## 当前的研究重点
 
-### 4.3 数据依赖性
+目前，研究主要集中在大模型的平台应用与开发，特别是星火大模型如何在实际任务中实现应用。这些研究不仅关注模型的设计与优化，还探讨如何将模型与强化学习算法有效整合，从而提升其在现实世界应用中的效果。
 
-大模型强化学习在复杂任务中的数据依赖性非常强，通常需要大量高质量的数据集。这就要求在数据收集和预处理时确保数据的多样性和准确性，以提高模型的训练效果。然而，现实中获取足够的高质量数据往往困难重重。
+## 直接偏好优化（DPO）方法
 
-## 五、应对模型泛化能力不足的信息
+近年来，直接偏好优化（DPO）方法的发展为强化学习提供了新的思路。DPO方法允许研究者在没有显式奖励模型的情况下，使用人类偏好数据直接对齐模型行为。这种方法简化了强化学习的训练过程，同时提升了模型的可用性和实用性。
 
-尽管大模型强化学习在训练和测试阶段表现良好，但在实际应用中，模型可能会遭遇预期之外的失败，主要由于其泛化能力不足。为了提高模型在真实环境中的鲁棒性，采用领域适应和迁移学习等策略成为了研究者们的重点关注。此外，针对模型在不同场景下的适应能力，研究者们提出了多种解决方案，以增强模型的灵活性和适用性。
+### DPO的优势
+- **减少标注需求**: 通过直接利用人类偏好，DPO降低了对大量标注数据的依赖，提升了训练效率。
+- **增强模型可解释性**: 由于DPO直接对齐人类偏好，模型的行为变得更加可预测和可解释。
 
-## 六、长期决策能力的提升
+## 结论与展望
 
-通过结合大语言模型，强化学习的长期决策能力得到了显著提升。特别是在离线强化学习中，采用Decision Transformer，展现了出色的决策模式和效率。这一进展为在多变环境中制定长远策略提供了新的思路。
-
-## 七、结论
-
-大模型强化学习技术正处于飞速发展的阶段，其在各个领域的应用潜力巨大。然而，面对计算成本、数据依赖性和模型泛化能力不足等挑战，研究者们需不断探索新的解决方案，通过改进模型和算法设计，推动该领域的未来发展。借助不断创新的技术手段，大模型强化学习必将为复杂任务的解决提供更为精准和高效的工具。
-
-## 八、未来展望
-
-随着技术的进步和研究的深入，未来大模型强化学习将继续展现其在各个领域的广泛应用潜力。预计在不久的将来，我们将看到更多新算法与现有技术的融合，为复杂问题的解决提供有力支持。同时，如何合理配置资源、收集高质量数据并提升模型的鲁棒性，将是行业内研究者们亟需克服的挑战。
+大模型在强化学习中的应用展现了巨大的潜力，并引领了新的研究方向。随着技术的发展和数据的积累，未来我们可以预见以下趋势：
+- **更深层的算法融合**: 大模型与强化学习策略的深层次结合将推动新的算法诞生。
+- **多任务学习的普遍适用性**: 通过提升样本利用率，大模型的多任务学习能力将得到进一步强化。
+- **应用场景的不断拓展**: 包括医疗、金融、自动驾驶等领域中，大模型强化学习的应用将越来越普遍。
 
+通过继续在这一领域的深入研究，我们有望实现更加智能和高效的强化学习系统，推动技术的前进与社会的发展。
 
 ## 来源
 
-- https://tyjh.tc.edu.tw/
-- https://cloud.tencent.com/developer/article/2408409
-- https://www.sohu.com/a/431330147_114877
-- https://zhuanlan.zhihu.com/p/24149686512
 - https://blog.csdn.net/2401_85375151/article/details/144805338
+- https://zhuanlan.zhihu.com/p/19647641182
+- https://xinghuo.xfyun.cn/
 - https://www.facebook.com/p/臺中市立大雅國民中學-100057845521494/?locale=zh_TW
-- https://blog.csdn.net/2401_85343303/article/details/145762041
+- https://blog.sciencenet.cn/blog-2089193-1469625.html
+- https://tyjh.tc.edu.tw/