【简介】：TheFastest.ai 提供了对流行大型语言模型（LLMs）性能的可靠测量，旨在让这些模型的响应速度与人类对话的速度相匹配，即大约200毫秒一回合。
【主要产品】：大型语言模型性能测试。
测试的模型包括：
Llama 3 70B providers
GPT-4
Claude 3
Gemini
mixtral-8x7b-instruct
phi-2
command-r
gpt-3.5-turbo-1106
llama-3-8b-chat
gpt-3.5-turbo
gpt-4o
gpt-4-0125-preview
gpt-4-turbo
gpt-4-1106-preview
claude-3-sonnet-20240229
claude-3-haiku-20240307
claude-3-opus-20240229
gemini-1.5-flash-preview-0514
gemini-1.5-pro-preview-0514
gemini-pro
数据来源：
原始数据：所有数据都在这个公共GCS存储桶中。
基准测试工具：完整的测试套件可在ai-benchmarks存储库中获得。
测试地区选择：
US West (Seattle)
US East (Virginia)
Europe (Paris)
测试类型：
Text
Image
【特色功能】：提供TTFT（Time To First Token，首次输出时间）、TPS（Tokens Per Second，每秒输出字数）和总响应时间的测量，以及模型性能的比较。
性能测试使用的模型：
TTFT：首次输出时间。这是模型处理进来的请求并开始输出文本的速度，直接转化为用户界面开始更新的速度。数值越低=延迟越低/性能越快。
TPS：每秒输出字数。这是模型产生文本的速度，并控制着完整的响应在用户界面中显示的速度。数值越高=吞吐量更大/性能更快。
总时间：从请求开始到响应完成的总时间，即最后一个标记已被生成。
总时间=TTFT + TPS * 标记数。数值越低=延迟越低/性能越快。
【适用场景】：需要快速响应的大型语言模型性能评估。
【实用工具】：通过网站提供的测试工具，用户可以筛选并比较不同模型的性能。
【操作步骤】：用户可以通过网站提供的筛选菜单，选择不同的模型和数据进行比较。
【常见问题】：用户可以通过GitHub提交问题或请求添加新的模型进行基准测试。
【价格服务】：网站未提供具体的价格信息。
【用户反馈】：未提供用户反馈信息。
【中文关键词】：大型语言模型，性能测试，响应速度，比较工具
【英文关键词】：Large Language Models, Performance Testing, Response Speed, Comparison Tool
数据统计
相关导航
