500行代码打造AI搜索引擎!登顶GitHub热榜

来自:互联网
时间:2024-01-29
阅读:

只用500行代码搭出来的AI搜索引擎,登顶GitHub趋势榜。

作者:贾扬清的LeptonAI团队。

500行代码打造AI搜索引擎!登顶GitHub热榜

Lepton Search耗时一个周末打造,仅作为Demo演示而不是正式产品,只为向开发者展示“天下没有难构建的AI应用”。

500行代码打造AI搜索引擎!登顶GitHub热榜
△能理解中文但用英文回答

贾扬清事后感慨到:

这件事并没有那么复杂——我们刚开始时确实以为会更难。

500行代码打造AI搜索引擎!登顶GitHub热榜

另外,围绕这个Demo还发生了一些争议。

AI搜索引擎Perplexity创始人认为其参考了自己产品的UI界面,转发评论了一番。

500行代码打造AI搜索引擎!登顶GitHub热榜

贾扬清也做出回应,称无意进入这个市场,更多的是Demo展示以及宣传自家LeptonAI云服务,并且一开始就准备开源。

500行代码打造AI搜索引擎!登顶GitHub热榜

总之,两位大佬“友好”地一番交锋之后,Lepton Search修好bug后立即开源并且迅速获得社区认可。

目前,已有偏学术的开源AI搜索引擎SciPhi使用贾扬清的代码完成升级。

500行代码打造AI搜索引擎!登顶GitHub热榜

500行代码的AI搜索引擎

要注意,AI搜索引擎整体上依然是一个复杂的项目。

Lepton Search之所以500行代码就能实现,正如贾扬清想要展示的,是因为今天的应用开发已经高度模块化:

-大模型,调用了在自家云上部署的开源Mixtral-8x7b模型。

-搜索引擎,目前用了必应搜索的API。

-数据存储,用自家Lepton KV作为无服务器存储。

500行代码打造AI搜索引擎!登顶GitHub热榜

这500行代码其实只做到以下几点,就完成一个产品的雏形了:

对大模型和搜索引擎的接口支持

前端UI界面

可缓存和可分享的搜索结果

500行代码打造AI搜索引擎!登顶GitHub热榜

除此之外,贾扬清还分享了开发过程中学到的一些经验:

-搜索质量确实非常重要,好的结果片段才能产生好的摘要。

-一点AI幻觉其实有助于填补片段中未涉及的“常识”。

-开源模型在文本摘要任务上已经做的非常好。

500行代码打造AI搜索引擎!登顶GitHub热榜

在后续与网友讨论过程中,贾扬清还认为“AI对话式搜索不会取代传统搜索”,还需要依赖传统搜索引擎的结果。

500行代码打造AI搜索引擎!登顶GitHub热榜

事实上,AI搜索目前正是行业的一个大热门方向。

代表公司正是前面提到的Perplexity,刚刚拿到7360万美元的A轮融资,估值超过5亿美元。

投资者中有英伟达、亚马逊,甚至谷歌AI大佬Jeff Dean和前YouTube CEO也不避嫌,以个人名义参与投资。

并且Perplexity已和部分浏览器厂商如Arc展开合作,成为默认搜索引擎的选项之一。

500行代码打造AI搜索引擎!登顶GitHub热榜
△Perplexity网页版

更小一些的创业项目方面,比如面向程序员的devv_,面向学术的Consensus也各自受到垂直用户群体的认可。

500行代码打造AI搜索引擎!登顶GitHub热榜

国内大厂也是AI搜索的积极参与者,百度除了以文心一言插件的形式集成了AI搜索之外,还推出了独立的简单搜索App试水。

500行代码打造AI搜索引擎!登顶GitHub热榜

360也推出360AI搜索独立APP版,安卓版刚刚上线还是热乎的,连评分数量都还没够展示门槛。

500行代码打造AI搜索引擎!登顶GitHub热榜

昆仑万维的天工AI搜索则已推出了将近半年,其首页推荐问题通常紧追最新热点,很方便吃瓜。

500行代码打造AI搜索引擎!登顶GitHub热榜

AI搜索类产品在设计上大致分为三大类。

谷歌和百度在传统搜索的页面顶部,以卡片形式展示AI生成结果。

必应、百度文心一言更偏重对话,搜索结果由AI总结提炼后呈现在多轮对话中。

其他产品大多遵循Perplexity为代表的新范式:

-搜索结果页面分为“参考链接-AI回答-相关追问”几个模块,并可多轮提问。

-搜索结果有历史记录,且可以对外分享。

-Copilot增强模式,AI理解问题后反向提问,引导用户补充搜索条件。

-个性化提示词,用于调整AI回答的风格以及格式。

正如Perplexity的CEO所说,他们的产品大获成功后,其模式已成为事实上的行业标准。

除了宏观的界面、功能之外,更细节之处如“付费功能的免费使用次数”都被一些后来者学走。

参考链接:

[1]https://github.com/leptonai/search_with_lepton

[2]https://twitter.com/jiayq/status/1751633905890038232

返回顶部
顶部