廖老师,您好,我在开发基于Embedding的问答系统中,遇到了一个问题,因为每次请求都有token的数量限制,promt中包含了文本提示语以及相应的问题,如果想携带上下文,就势必会压缩提示语的空间,从而影响结果的准确性。想问下老师,是否有好的解决方法。
用gpt-4-32k
Sign in to make a reply
0x16842f...ed00D1
廖老师,您好,我在开发基于Embedding的问答系统中,遇到了一个问题,因为每次请求都有token的数量限制,promt中包含了文本提示语以及相应的问题,如果想携带上下文,就势必会压缩提示语的空间,从而影响结果的准确性。想问下老师,是否有好的解决方法。