Discuss / 编程 / 上下文和提示性文本的空间分配

上下文和提示性文本的空间分配

Topic source

廖老师,您好,我在开发基于Embedding的问答系统中,遇到了一个问题,因为每次请求都有token的数量限制,promt中包含了文本提示语以及相应的问题,如果想携带上下文,就势必会压缩提示语的空间,从而影响结果的准确性。想问下老师,是否有好的解决方法。

廖雪峰

#2 Created at ... [Delete] [Delete and Lock User]

用gpt-4-32k


  • 1

Reply