工具网站

TheFastest.ai:哪个AI大模型最快

【简介】:TheFastest.ai 提...

标签:
其他站点:github仓库

【简介】:TheFastest.ai 提供了对流行大型语言模型(LLMs)性能的可靠测量,旨在让这些模型的响应速度与人类对话的速度相匹配,即大约200毫秒一回合。

【主要产品】:大型语言模型性能测试。

测试的模型包括:

Llama 3 70B providers
GPT-4
Claude 3
Gemini
mixtral-8x7b-instruct
phi-2
command-r
gpt-3.5-turbo-1106
llama-3-8b-chat
gpt-3.5-turbo
gpt-4o
gpt-4-0125-preview
gpt-4-turbo
gpt-4-1106-preview
claude-3-sonnet-20240229
claude-3-haiku-20240307
claude-3-opus-20240229
gemini-1.5-flash-preview-0514
gemini-1.5-pro-preview-0514
gemini-pro

数据来源:
原始数据:所有数据都在这个公共GCS存储桶中。
基准测试工具:完整的测试套件可在ai-benchmarks存储库中获得。

测试地区选择:
US West (Seattle)
US East (Virginia)
Europe (Paris)
测试类型:
Text
Image

【特色功能】:提供TTFT(Time To First Token,首次输出时间)、TPS(Tokens Per Second,每秒输出字数)和总响应时间的测量,以及模型性能的比较。

性能测试使用的模型:

TTFT:首次输出时间。这是模型处理进来的请求并开始输出文本的速度,直接转化为用户界面开始更新的速度。数值越低=延迟越低/性能越快。

TPS:每秒输出字数。这是模型产生文本的速度,并控制着完整的响应在用户界面中显示的速度。数值越高=吞吐量更大/性能更快。

总时间:从请求开始到响应完成的总时间,即最后一个标记已被生成。

总时间=TTFT + TPS * 标记数。数值越低=延迟越低/性能越快。

【适用场景】:需要快速响应的大型语言模型性能评估。

【实用工具】:通过网站提供的测试工具,用户可以筛选并比较不同模型的性能。

【操作步骤】:用户可以通过网站提供的筛选菜单,选择不同的模型和数据进行比较。

【常见问题】:用户可以通过GitHub提交问题或请求添加新的模型进行基准测试。

【价格服务】:网站未提供具体的价格信息。

【用户反馈】:未提供用户反馈信息。

【中文关键词】:大型语言模型,性能测试,响应速度,比较工具

【英文关键词】:Large Language Models, Performance Testing, Response Speed, Comparison Tool

数据统计

相关导航

暂无评论

暂无评论...