当前位置:首页 > 文章列表 > 文章 > 前端 > 如何用100行代码构建自己的搜索聚合工具

如何用100行代码构建自己的搜索聚合工具

2026-08-20 17:47:31 0浏览 收藏

做学术研究、技术调研时,你还在 arxiv、crossref、pubmed 之间来回切吗?同一个关键词复制粘贴 3 遍。本文教你用 SeekAll SDK + 100 行代码搭一个属于自己的搜索聚合工具,规则自己写,数据本机跑,服务端零接触。

痛点:信息散落在多个孤岛

做学术研究或技术调研时,我经常遇到这样的场景:

如何用100行代码构建自己的搜索聚合工具

  • 搜一个论文关键词,要去 arxiv 看预印本、crossref 看 DOI 元数据、pubmed 看生物医学
  • 搜一个技术栈,要去 GitHub 看仓库、Hacker News 看讨论、Stack Overflow 看问答
  • 同一个关键词,要在 3-5 个网站之间复制粘贴,结果还散落在不同标签页

市面上的"xxx 聚合搜索"网站要么是套壳搜索引擎、要么塞满了广告、要么数据源单一。更关键的是——你的搜索词会经过别人的服务器,隐私和合规都是黑盒。

我想要的是一个:

  1. 规则可自定义:我想搜什么源,自己写规则
  2. 数据本机跑:搜索词不经过任何中间服务器
  3. 工具中性:平台本身不提供任何默认数据源,避免合规风险

于是我做了 SeekAll——一个规则引擎 SDK + 规则市场 + BaaS,默认 0 规则,所有规则在用户本机跑。

3 行代码跑起来

npm i @seekall/sdk @seekall/rule-arxiv @seekall/rule-crossref
import { createEngine } from "@seekall/sdk";
import arxiv from "@seekall/rule-arxiv";
import crossref from "@seekall/rule-crossref";

const engine = createEngine({ rules: [arxiv, crossref] });
const hits = await engine.search("transformer attention mechanism");
hits.forEach((h) => console.log(`${h.title}n ${h.url}n`));

逻辑其实很直接:createEngine 用来接收一组规则,engine.search 会把这些规则并发跑一遍,最后统一返回标准化的 Hit[] 结果。整个搜索词的处理过程,都只发生在你本机的 Node 进程里,SeekAll 的服务端对你的搜索内容是零接触的。

手把手:写一个 GitHub Trending 规则(10 行代码)

SeekAll 的核心是"规则"。一个规则就是一个实现了 Rule 接口的对象,最核心的方法是 search:接收关键词 + 上下文,返回 Hit[]

我们以 GitHub Trending 为例,写一个 10 行代码的规则:

import type { Rule, Hit, RuleContext } from "@seekall/sdk";

export const githubTrendingRule: Rule = {
name: "@my-org/rule-github-trending",
version: "0.1.0",
riskLevel: "L1", // L0 学术纯净 / L1 通用开源 / L2 社区评审 / L3-L4 高风险

async search(keyword: string, ctx: RuleContext): Promise {
const url = `https://api.github.com/search/repositories?q=${encodeURIComponent(keyword)}&sort=stars&order=desc`;
const r = await ctx.fetch(url, {
headers: {
Accept: "application/vnd.github.v3+json",
"User-Agent": "SeekAll/0.5",
},
});
const data = await r.json();
return (data.items || []).slice(0, 10).map((item: any) => ({
title: item.full_name,
url: item.html_url,
snippet: item.description,
meta: { stars: item.stargazers_count, language: item.language },
}));
},
};

这就是一个完整的规则。核心要点:

  1. name:规则的唯一标识,npm 包名格式
  2. riskLevel:风险评级,SeekAll 用 5 级评级(L0-L4),L0 是 arxiv/crossref 这种学术纯净源,L1 是 GitHub 这种通用开源,L3/L4 是高风险源(仅 admin 可见,永不公开)
  3. search:异步函数,接收关键词 + 上下文,返回 Hit[]
  4. ctx.fetch:规则用 SDK 提供的 ctx.fetch 而非直接 fetch,这样 SDK 能统一做并发控制、超时、缓存

为什么用 ctx.fetch 而不是 fetch 因为 SeekAll 的性能是 tier-based 的:

Tier并发超时缓存free310s无trial (¥1/7天)58s无monthly (¥18/30天)105s5minlifetime (¥68/100年)203s5min

ctx.fetch 会根据你的 license tier 自动限流 + 缓存,规则代码本身不需要关心这些。

发布规则到 npm + 提交到 SeekAll 市场

写完规则后,两步让它被其他人用:

1. 发布到 npm

# 在规则包目录
pnpm build
npm publish --access public

规则就是一个普通的 npm 包,任何人 npm i @your-org/rule-xxx 就能装。

2. 提交到 SeekAll 规则市场

SeekAll 有一个规则市场(https://seekall.winmelon.cn/rules),用户可以在市场上浏览 + 订阅规则。提交流程:

  1. 在 SeekAll 注册账号
  2. 在规则市场点"提交规则"
  3. 填写规则名、npm 包名、风险评级、描述
  4. 等待社区评审(L0-L2)或 admin 终审(L3-L4)
  5. 通过后规则出现在市场列表,其他用户可以订阅

重要:SeekAll 的规则市场并不托管规则代码,它承担的只是列表展示和订阅分发。真正的规则代码放在 npm 上,用户安装时也是直接从 npm 拉取。换句话说,SeekAll 服务端不会直接接触这些资源内容,这样一来,工具本身就能保持中立。

5 级风险评级:工具中性的设计哲学

SeekAll 最核心的设计是 5 级风险评级

级别说明可见性示例L0学术纯净公开arxiv, crossref, pubmedL1通用开源公开GitHub, Hacker News, Stack OverflowL2社区评审公开(需评审通过)特定社区 APIL3高风险仅 admin 可见灰色地带资源站L4极高风险仅 admin 可见永不公开

为什么这样设计? 因为工具本身是中性的,但数据源不是。一把刀可以切菜也可以伤人,SeekAll 选择做"刀"而不是做"菜刀店"——我们提供引擎,你来决定搜什么。

  • L0-L2 规则公开,任何人可以装
  • L3-L4 规则永远不对非 admin 可见,即使付费也不行
  • 服务端不调资源站(apps/api/src/modules/rule/ 里没有 axios/fetch/http),所有请求在用户本机发出

这意味着 SeekAll 作为一个平台,不接触任何资源内容。合规边界清晰。

性能差异化:免费够用,付费加速

SeekAll 是商业模式的项目,不是纯开源。SDK 核心 AGPL-3.0 开源,但性能差异化需要 license:

  • free:3 并发 + 10s 超时,适合轻度使用
  • trial ¥1/7天:5 并发 + 8s 超时,体验完整功能
  • monthly ¥18/30天:10 并发 + 5s 超时 + 5min 缓存,重度使用
  • lifetime ¥68/100年:20 并发 + 3s 超时 + 5min 缓存,一次买断

License 通过 WM 发卡网卖(卡密 + webhook 激活),不集成支付 SDK。

为什么不完全免费? 因为规则市场的运营(评审、takedown、DMCA 处理)需要成本。付费门槛也能过滤掉一部分滥用。

总结:100 行代码,属于自己的搜索聚合工具

完整代码回顾:

// 1. 引入 SDK + 规则
import { createEngine } from "@seekall/sdk";
import arxiv from "@seekall/rule-arxiv";
import crossref from "@seekall/rule-crossref";
import { githubTrendingRule } from "./my-rules/github-trending"; // 你自己写的

// 2. 创建引擎
const engine = createEngine({
rules: [arxiv, crossref, githubTrendingRule],
});

// 3. 搜索
const hits = await engine.search("transformer attention mechanism");

// 4. 处理结果
hits.forEach((h) => {
console.log(`[${h.source}] ${h.title}`);
console.log(` ${h.url}`);
console.log(` ${h.snippet?.slice(0, 100)}`);
console.log();
});

算上你自己写的 GitHub Trending 规则(10 行),总共也就 30 行核心代码。加上错误处理、结果去重、输出格式化,100 行足够搭一个属于自己的搜索聚合工具。

和"xxx 聚合搜索"网站的区别

聚合搜索网站SeekAll搜索词经过谁网站服务器只在你本机数据源网站内置,你选不了你自己写规则,想搜什么搜什么合规网站承担工具中性,平台零接触可扩展等网站更新npm 发包,社区贡献

CTA

  • GitHub:https://github.com/donggua12339/seekall 欢迎 star
  • 文档站:https://seekall.winmelon.cn/sdk
  • 规则市场:https://seekall.winmelon.cn/rules
  • ¥1 试用:7 天体验完整功能,通过 WM 发卡网购买

如果你也在做学术研究、技术调研,厌倦了在多个网站之间来回切,想搭一个属于自己的搜索聚合工具,SeekAll 是目前最中性的选择。规则自己写,数据本机跑,服务端零接触。

本文是 SeekAll 系列教程的第一篇。下一篇会讲"为什么我不做搜索网站,只做 SDK"——聊聊工具中性的设计哲学。

TypeScript基础类型TypeScript基础类型
上一篇
TypeScript基础类型
从GC到零成本:Rust内存安全如何重塑Java后端思维!
下一篇
从GC到零成本:Rust内存安全如何重塑Java后端思维!
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • ljg-skills -
    ljg-skills
    ljg-skills 是李继刚开源的 AI 技能与提示词集合,面向大模型使用者整理了一批可复用的 prompt、角色设定和任务技能模板,适合用于学习提示词设计、搭建个人 AI 工作流和沉淀团队常用智能体能力。
    5038次使用
  • MELO音乐 - AI 音乐生成平台,支持多模态创作能力
    MELO音乐
    MELO音乐是一站式AI视频与音乐制作助手,对标suno, udio的高品质体验。提供伴奏生成、原创写词、无损导出、哼唱识曲、混音变声等全套音频与短视频编辑工具。无论是流行Kpop、电音说唱、民谣古风、摇滚儿歌还是商用轻音乐,MELO为你免费谱曲,轻松做同款!
    4574次使用
  • UniScribe - AI 免费在线音视频转文字平台
    UniScribe
    UniScribe 是一款 AI 音视频转文字与内容整理工具,支持上传音频、视频文件或粘贴 YouTube 链接,自动生成转写文本、摘要、思维导图和关键问题,并支持多格式导出,适合会议记录、课程学习、访谈整理和内容创作复盘。
    4522次使用
  • 剧云 - 免费 AI 智能中文剧本创作平台
    剧云
    剧云是专业中文剧本创作平台,安全稳定运行十余年,集成AI编剧、剧本医生审核、人物小传、剧情关系图、大纲编写、多人协作、Word导入导出、版权管控功能,数据安全防护,轻松高效创作剧本。
    4780次使用
  • 万象有声 - AI 一站式有声内容创作平台
    万象有声
    万象有声,一个专为有声创作者打造的新一代智能有声内容创作平台。平台提供专业的智能拆章、智能画本编辑、AI配音、AI生成音效、后期制作、智能对轨、智能审听等有声创作全流程工具,可以帮助创作者高效、低成本创作出引人入胜的有声作品。立即体验,让有声书制作更简单!
    4731次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议隐私政策
返回登录
  • 重置密码