Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

自行部署指南 #10

Open
kaaass opened this issue Apr 22, 2023 · 37 comments
Open

自行部署指南 #10

kaaass opened this issue Apr 22, 2023 · 37 comments

Comments

@kaaass
Copy link

kaaass commented Apr 22, 2023

感谢作者的付出!经过一些尝试,目前个人成功在 Vercel 自建了此服务,因此想分享一些可能对其他人有帮助的信息。

  1. 直接点击 README 的 Deploy 部署的是模板仓库而并非本仓库。我个人是 fork 了仓库后在 vercel 导入 repo 的。此外 Supabase 的实例可以点击 Deploy 后根据操作提示创建模板仓库,此时应该也会创建 Supabase 实例。把环境变量(NEXT_PUBLIC_SUPABASE_URLSUPABASE_SERVICE_ROLE_KEY)记录并移到自己的 repo 即可。 目前 Deploy 按钮功能已经正确,可以直接点击部署
  2. 若配置正确,初次部署会对全部法律条文计算 embedding,因此时间较久并且会产生较大的资费。我个人这边是用了 100 分钟左右,开销大概为 3 USD。此外 Vercel 的构建有 45 分钟限制,因此需要手动重新部署两次左右。
  3. 部署过程中会出现 one/multiple of its page sections failed to store properly,即一些资料计算 embedding 失败。虽然失败了一些也能用,但是这些内容就无法被检索了。目前我找到的方法就是反复 redeploy 进行重试,不过最终还是有 11 个文件计算失败。

再次感谢作者的分享~

@wesky820
Copy link

因此需要手动重新部署两次左右 这个怎么理解啊,是再来一次?

@kaaass
Copy link
Author

kaaass commented Apr 22, 2023

@wesky820 指的是在 Vercel 后台的 Deployment 里手动触发部署

@shibushi233
Copy link

shibushi233 commented Apr 22, 2023

配置supabase还是有点问题。。关于安全策略的部分,默认的配置table里写不进去东西

@Mrered
Copy link

Mrered commented Apr 23, 2023

小白求一个部署全过程指南

@jincdream
Copy link

jincdream commented Apr 23, 2023

@shibushi233 配置supabase还是有点问题。。关于安全策略的部分,默认的配置table里写不进去东西

你将inser设置为anone,这样匿名未登录用户就可以写入了

@jincdream
Copy link

你将inser设置为anone,这样匿名未登录用户就可以写入了

配置supabase还是有点问题。。关于安全策略的部分,默认的配置table里写不进去东西

感谢作者的付出!经过一些尝试,目前个人成功在 Vercel 自建了此服务,因此想分享一些可能对其他人有帮助的信息。

  1. 直接点击 README 的 Deploy 部署的是模板仓库而并非本仓库。我个人是 fork 了仓库后在 vercel 导入 repo 的。此外 Supabase 的实例可以点击 Deploy 后根据操作提示创建模板仓库,此时应该也会创建 Supabase 实例。把环境变量(NEXT_PUBLIC_SUPABASE_URLSUPABASE_SERVICE_ROLE_KEY)记录并移到自己的 repo 即可。
  2. 若配置正确,初次部署会对全部法律条文计算 embedding,因此时间较久并且会产生较大的资费。我个人这边是用了 100 分钟左右,开销大概为 3 USD。此外 Vercel 的构建有 45 分钟限制,因此需要手动重新部署两次左右。
  3. 部署过程中会出现 one/multiple of its page sections failed to store properly,即一些资料计算 embedding 失败。虽然失败了一些也能用,但是这些内容就无法被检索了。目前我找到的方法就是反复 redeploy 进行重试,不过最终还是有 11 个文件计算失败。

再次感谢作者的分享~

https://github.com/jincdream/fasttext-wrapper
我正在基于fasttext建立一个embedding服务,也有中文模型,你可以看看。
文档embedding先分词。

@yeatse
Copy link

yeatse commented Apr 23, 2023

按照主贴的说明部署成功了,感谢。

@lvwzhen lvwzhen pinned this issue Apr 23, 2023
@lvwzhen lvwzhen changed the title [非 BUG 反馈] 关于自建的一些信息分享 自行部署指南 Apr 23, 2023
@yzy1996
Copy link

yzy1996 commented Apr 23, 2023

点的自动Deploy,并添加 docs 文件,Vercel 部署成功后,Supabase 并没有任何写入。

@lvwzhen
Copy link
Owner

lvwzhen commented Apr 23, 2023

点的自动Deploy,并添加 docs 文件,Vercel 部署成功后,Supabase 并没有任何写入。

必须是MDX文件,看下vercel的log,看下具体什么错误。

@yzy1996
Copy link

yzy1996 commented Apr 23, 2023

点 Deploy 自动部署,并添加 page/docs/ 文件后,无效

点的自动Deploy,并添加 docs 文件,Vercel 部署成功后,Supabase 并没有任何写入。

必须是MDX文件,看下vercel的log,看下具体什么错误。

抱歉,是生效了,应该是部分mdx没有读入成功,刚才测试的一些query失败了而已。

@lvwzhen lvwzhen unpinned this issue Apr 23, 2023
@owenstudy
Copy link

有没有本地的部署说明?我按照readme进行配置后,前端可以打开,但是连接不到后端,报500的错误,后端的docker看起来都是起来的。
e.js:200 POST http://localhost:3000/api/vector-search 500 (Internal Server Error)
SSE.st

@imyuanx
Copy link

imyuanx commented Apr 23, 2023

如果说有 45 分钟限制,那么 redploy 的话炼过的数据会跳过吗?

@rich5000
Copy link

rich5000 commented Apr 23, 2023

尝试使用自动deploy后,提问反馈 “服务器繁忙,请稍后再试! ”, 看了一下log 是说“Missing environment variable SUPABASE_URL: {}” ,估计目前是自动deploy按钮还是有问题。
补充:看了一下我是因为在昨天做过一次自动deploy,所以那时走了一次Supabase流程(但是那时的deploy按钮是错误的),今天重新点的时候vercel知道我已经创建过supabase就自动跳过了这一步。我现在尝试将之前的supabase组织删掉重新再自动deploy试试

@yzy1996
Copy link

yzy1996 commented Apr 23, 2023

如果说有 45 分钟限制,那么 redploy 的话炼过的数据会跳过吗?

会的

@yzy1996
Copy link

yzy1996 commented Apr 23, 2023

应该是你没deploy对,有个步骤就是让你授权Supabase创建。

@aiastia
Copy link

aiastia commented Apr 24, 2023

Supabase是自己搭建的还是用的云啊 我是用的云。但是 数据库是空的没有写入

@beijiaoff
Copy link

请问第三条的日志是在哪里看到的?

@lvwzhen
Copy link
Owner

lvwzhen commented Apr 24, 2023

感谢作者的付出!经过一些尝试,目前个人成功在 Vercel 自建了此服务,因此想分享一些可能对其他人有帮助的信息。

  1. 直接点击 README 的 Deploy 部署的是模板仓库而并非本仓库。我个人是 fork 了仓库后在 vercel 导入 repo 的。此外 Supabase 的实例可以点击 Deploy 后根据操作提示创建模板仓库,此时应该也会创建 Supabase 实例。把环境变量(NEXT_PUBLIC_SUPABASE_URLSUPABASE_SERVICE_ROLE_KEY)记录并移到自己的 repo 即可。 目前 Deploy 按钮功能已经正确,可以直接点击部署
  2. 若配置正确,初次部署会对全部法律条文计算 embedding,因此时间较久并且会产生较大的资费。我个人这边是用了 100 分钟左右,开销大概为 3 USD。此外 Vercel 的构建有 45 分钟限制,因此需要手动重新部署两次左右。
  3. 部署过程中会出现 one/multiple of its page sections failed to store properly,即一些资料计算 embedding 失败。虽然失败了一些也能用,但是这些内容就无法被检索了。目前我找到的方法就是反复 redeploy 进行重试,不过最终还是有 11 个文件计算失败。

再次感谢作者的分享~

8596db7

@lvwzhen
Copy link
Owner

lvwzhen commented Apr 24, 2023

请问第三条的日志是在哪里看到的?

Vercel log

@rich5000
Copy link

Update: 重新跑了一次自动deploy的流程后依然是无法正常使用,看了一下vercel 的log有这些报错。同时去supabase看了一下数据库应该也是空的,请问这里是需要手动设置权限等额外步骤嘛?谢谢

Page '/docs/部门规章/市场监督管理总局/食品生产经营监督检查管理办法(2021-12-24)' or one/multiple of its page sections failed to store properly. Page has been marked with null checksum to indicate that it needs to be re-generated.
{
code: 'PGRST200',
details: "Searched for a foreign key relationship between 'nods_page' and 'parent_page_id' in the schema 'public', but no matches were found.",
hint: null,
message: "Could not find a relationship between 'nods_page' and 'parent_page_id' in the schema cache"
}

@kaaass
Copy link
Author

kaaass commented Apr 24, 2023

@rich5000 看日志感觉是你的数据库没有按照模板创建,正常来说成功创建的话是会有两个表。

@rich5000
Copy link

@rich5000 看日志感觉是你的数据库没有按照模板创建,正常来说成功创建的话是会有两个表。

数据库的创建是按照自动deploy的流程走的,其中supabase integration 这一步如果判断到之前已经有创建过数据库话,直接就已经不能选择了(greyed out),能请问一下这里要如何去创建对应的数据库?或者是否有推荐我能用什么其他方法来尝试的?谢谢

@ywfkp
Copy link

ywfkp commented Apr 24, 2023

那数据表的迁移我是直接在supabase的数据库命令行界面下直接执行了数据库的迁移脚本(就是运行sql代码就是/supabase/migrations/xxx.sql)然后进行重新部署 这重新部署后还是有一堆的错误的nods_page的记录数量居然比nods_page_section多而且nods_page表中好多记录的checksum是空的 不知道怎么搞的看vercel的构建日志全是下面的这个错误

Page '/docs/案例/劳动人事/处理加班费争议,如何分配举证责任' or one/multiple of its page sections failed to store properly. Page has been marked with null checksum to indicate that it needs to be re-generated.

14:10:57.356 | Error: Request failed with status code 429
14:10:57.356 | at createError (/vercel/path0/node_modules/.pnpm/[email protected]/node_modules/axios/lib/core/createError.js:16:15)
14:10:57.356 | at settle (/vercel/path0/node_modules/.pnpm/[email protected]/node_modules/axios/lib/core/settle.js:17:12)
14:10:57.356 | at IncomingMessage.handleStreamEnd

@jjjyyyllll
Copy link

@rich5000 看日志感觉是你的数据库没有按照模板创建,正常来说成功创建的话是会有两个表。

数据库的创建是按照自动deploy的流程走的,其中supabase integration 这一步如果判断到之前已经有创建过数据库话,直接就已经不能选择了(greyed out),能请问一下这里要如何去创建对应的数据库?或者是否有推荐我能用什么其他方法来尝试的?谢谢

一样的问题,感觉一键部署还是有点问题。 Missing environment variable SUPABASE_URL: {}

@aiastia
Copy link

aiastia commented Apr 25, 2023

本地部署如何导入数据库?

@ywfkp
Copy link

ywfkp commented Apr 25, 2023

本地部署如何导入数据库?

它这项目本地部署数据库的服务也是用的supabase 服务的 要连本地数据库的话除非你有能力重写/lib/generate-embeddings.ts此文件把数据库连接换成你本地的

@Freelander
Copy link

小白求一个部署全过程指南

感谢作者的开源分享!
本人已部署成功,并记录整理了一份教程:https://eibot3u32o.feishu.cn/docx/L46Pdp3fjouPUvxaNzPckKctno3
仅供大家参考学习。

@kmq116
Copy link

kmq116 commented Apr 25, 2023

小白求一个部署全过程指南

感谢作者的开源分享! 本人已部署成功,并记录整理了一份教程:https://eibot3u32o.feishu.cn/docx/L46Pdp3fjouPUvxaNzPckKctno3 仅供大家参考学习。

我少了一步创建 supabase 表的过程,按照你的教程创建后成功部署

@lijianpingdx
Copy link

有本地部署的教程吗

@lmuiotctf
Copy link

new row violates row-level security policy for table "nods_page" #22
插入有问题安全,这个怎么解决

@linfeng-xie
Copy link

小白求一个部委全过程指南

感谢作者的开源分享! 本人已完成贡献,并记录整理了一份教程: https: //eibot3u32o.feishu.cn/docx/L46Pdp3fjouPUvxaNzPckKctno3 仅供大家参考学习。

@Freelander
在supabase里面执行supabase/migrations/20230406025118_init.sql,但是数据库里面没有你说的那两张数据表,请问是sql代码不一样吗?
图片1

@danmaidesenling
Copy link

我是自行部署,看了supbase写入了数据的,但是在浏览器输入问题还是说 服务器繁忙,请稍后再试! 或者自行部署, 请教各位高手这个怎么解决呢

@riverind
Copy link

riverind commented May 18, 2023

想请教下,这里如果本地部署该如何部署呢?
编辑.env设置好openAIkey之后,
npx supabase start
运行报错信息:
16 error cb.apply is not a function
17 verbose exit [ 1, true ]

@riverind
Copy link

有没有本地的部署说明?我按照readme进行配置后,前端可以打开,但是连接不到后端,报500的错误,后端的docker看起来都是起来的。 e.js:200 POST http://localhost:3000/api/vector-search 500 (Internal Server Error) SSE.st

@owenstudy 想请教下,目前你这边本地部署成功了么?

@forestmgy
Copy link

在vercel里点击ADD 会一直显示
Your new project is spinning up

This may take up to 2 mins, but you can continue on Vercel.
这个是需要等待吗

@forestmgy
Copy link

image
如图

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests