专题研究N：2024年融资区块链项目研究Braintrust

按：融资的项目作一个专题研究：1、融资了，说明得到资本界看好，可能是一个好的方向和项目；2、通过研究它们，可以了解外界或圈内人对这个行业的判断，是一种研究区块链发展趋势的捷径和正确的路；3、之前的区块链人物、项目系列研究也基本是追一些热点或按版块研究，已有1000期；基本也将常见的项目和区块链人物研究的差不多；正好可以告一段落（前期落下的一些已计划的还要继续，在1000期以内）；4、基于推特是目前区块链信息最集中和更新快的平台，还依托于此来研究相应的融资项目。5、2024年2月份，硬盘损坏；前期约有3600期（已发布约2000期）资料丢失；现未再续编号。

PANews 12月19日消息，AI软件工程平台Braintrust宣布完成3600万美元A轮融资，由Andreessen Horowitz的Martin Casado领投，现有投资者Elad Gil、Greylock、Basecase及Datadog、Databricks Ventures、Guillermo Rauch（Vercel）、Simon Last（Notion）、Bryan Helmig（Zapier）等参与。本轮融资使Braintrust的总融资额达到4500万美元。
Braintrust致力于解决大型语言模型（LLM）开发中的挑战，如非确定性模型和自然语言输入的不可预测性。平台已与Notion、Stripe、Airtable等顶级团队合作，支持用户通过持续实验改进AI产品质量。Braintrust用户团队平均每天运行10多次实验。同时，Braintrust推出新功能“Functions”，支持用户直接在代码库中创建工具、提示和评分器，并通过简单命令上传到平台，优化实验和部署流程，减少基础设施管理时间。
需要注意的是，虽与
Web3人才网络Braintrust
同名，但这是两家不同的公司。

Braintrust
,
@braintrustdata,
The end-to-end platform for building world-class AI apps.
软件公司braintrust.dev,2023年8月加入,
49 正在关注,
3,679 关注者,

已置顶:我们很高兴地宣布，我们已经筹集了由
@martin_casado
在
@a16z
领投的 3600 万美元 A 轮融资，以推动 AI 软件工程的未来发展，使我们的总融资额达到 4500 万美元。
我们还引入了函数——一种使用基础模型进行构建的灵活原语。详细了解我们使用 LLM 构建生产级软件的愿景：

https://braintrust.dev/blog/announcing-series-a,评估只是构建 AI 应用的第一步。这就是为什么我们很高兴分享函数、创建提示、工具和评分器的构建块，这些功能可以在您的代码库和 Braintrust UI 之间同步。

阅读有关函数的更多信息：上午2:58 · 2024年10月9日
·

很高兴被纳入
@elevenlabsio
的 AI 工程师包！
查看它以获取 Braintrust 和其他出色开发工具（例如
@MongoDB

@mintlify

@NotionHQ

@supabase

@ClerkDev
的积分。
现在是发布 AI 应用的最佳时机🚢上午1:35 · 2024年12月21日

我们刚刚推出了一个用于日志和实验的新监视页面。
用途：
- 调试性能问题
- 优化成本
- 追踪提示变化的影响
- 监控生产稳定性
现在可用于所有项目。

您现在可以在代码中编写自定义评分函数，并通过 CLI 将其推送到 Braintrust。
我们将负责捆绑您的得分员所需的所有依赖项。

新食谱刚刚发布🚨
客户端工具调用和身份验证，以及
@OpenAI
实时 API 的评估(!) ：

We now support tracing
@LangChainAI
applications in both JavaScript and Python 🤝

RAG 聊天机器人通过
@braintrustdata
文档，但使其成为
@OpenAI
RealtimeAPI，带有 evals (!)
即将到来

🎉上个月，我们迎来了两个新的 AI 合作伙伴
@braintrustdata
和
@langtrace_ai
同时 MongoDB AI 应用程序计划 (MAAP) 也增添了令人兴奋的新成员。
进一步了解我们的生态系统如何塑造技术的未来。 https://mongodb.social/6014Q5rW6

Gemini 2.0 Flash 现已在 Braintrust 上推出。
以下是如何确定您是否应该在您的应用中使用它的方法：

我们针对 gpt-4o 和 claude-sonnet-3.5 运行了
@OpenAI
的 SimpleQA 基准测试，并将其制作成手册，以便您也可以使用。

很高兴能够提供对结构化输出的支持。
令惊讶的是，大多数游乐场产品都存在这样的错误：
* 结构化输出与其他响应类型互斥
* 它们可以与工具调用混合使用

似乎每周都会有另一家 AI 提供商推出一种新的、最先进的模型。
他们发布了基准来表明它的优点，但这些基准很少映射到实际的用例。
那么，您如何知道新模型是否适合在您的应用中部署呢？将这些新模型与生产中的真实用户数据进行对比的最简单方法是使用 Braintrust。

获取您的日志，将其添加到数据集，并根据您的确切用例运行评估，以将任何新模型与您当前正在使用的模型进行比较。一旦您弄清楚哪一个实际上是最好的，只需使用 AI 代理更改一行代码即可在生产中交换模型。

我们现在可以通过
@Replit
模板获取构建具有功能的 RAG 代理的手册。
编写函数、运行评估并调整提示和模型，所有这些都无需离开浏览器。

Ankur Goyal 采取了最明智的方法来构建
@braintrustdata

@ankrgyl
写下了 50 家领先的目标公司的名单（在传奇投资者 Elad Gil 的帮助下）
然后他联系了所有人，征求他们的反馈，了解他们如何使用 GenAI 以及他们面临的挑战
而且由于这些公司也是 GenAI 领域的领军企业，他可以利用这一点来推动产品开发，因为他知道其他人也会追随他们的脚步
他的第一批用户是 Zapier、Airtable 和 Coda，现在名单上的每个人都在使用 Braintrust
他们现在可能拥有我所见过的最好的一套一年历史的 DevTool 徽标：Vercel、Stripe、Instacart。
以及 a16z 的 Martin Casado 筹集的 3600 万美元 A 轮融资
如果您正在构建 DevTool，请收听完整集，因为它不仅仅是理论：Ankur 分享了他为此使用的确切方法。
ps 感谢
@alanaagoyal
让这一切成为现实

我们有您最喜欢的新假日食谱。
使用 Python 函数将祖母手写的食谱数字化，并获得正确格式的有序的购物清单。

导航和分析大型痕迹现在变得更容易了！
您现在可以按跨度类型过滤跨度列表并批量添加到数据集。

AI SDK Observability Integration:
@braintrustdata,
Observability and evals are crucial when developing AI applications. The AI SDK provides OpenTelemetry data that you can for example analyze in Braintrust:

当您决定为您的 AI 应用使用哪种模型时，公共基准测试不会起到作用。
要衡量实际性能，您需要像用例一样定制的评估。阅读更多内容，请参阅
@VentureBeat
：

在 Braintrust 中，您可以迭代和试验您的 AI 应用程序，而无需重新部署任何代码 - 即使您使用工具调用或矢量数据库。
在使用
@MongoDB
Atlas 构建的这个 RAG 应用程序上尝试一下：

您现在可以将项目中的所有实验下载为 CSV 文件。
最后，用电子表格形式记录下您的所有成功、尝试以及“我为什么会认为这个提示会有效”的时刻。

我们对 Gemini Pro 1.5 和 Flash 1.5 与其他 SOTA 多模式模型进行了文档提取评估——结果已经出来了！
Gemini 模型的标记效率更高、输入处理速度更快，并且事实性更准确。
@googledevs
集成 Gemini 视觉模型的最简单方法是通过我们的 AI 代理。

代码中只需更改一行，就有无限的机会与其他模型进行比较、微调提示并在我们的操场上进行实验。

Python 工具和提示就在这里！
我们很高兴将函数的强大功能带入 Python 生态系统。只需使用 braintrust push 即可将您的工具和提示代码同步到 Braintrust UI。
工具函数允许您构建自定义代码块，LLM 可以使用这些代码块添加复杂的逻辑和操作——例如向量搜索和 API 执行。
使用 braintrust push 上传您的函数。感谢
@astral_sh
的 uv，我们将为您打包所有库和依赖项。您还可以在 Python 代码中创建提示，并通过命令行将其推送到 Braintrust。
上传提示和工具后，您可以继续在 UI 中调整提示和模型，直到一切都正确为止。了解有关我们如何构建 Python 工具的更多信息： https://braintrust.dev/blog/python-tools-uv

当您查看表中的一长串行列表时，辨别模式可能具有挑战性。
我们通过实验、数据集和日志表中的自定义列使其变得更容易。

我们添加了更多用于查看日志的选项，因此您可以确切地知道在使用不同模型时所做的权衡。
在“监视”页面上，您现在将看到一个下拉菜单，您可以在其中根据日志具有的任何元数据字段进行分组。

了解行业领导者如何构建可扩展的 AI 产品。
在
@ankrgyl
和
@ibolmo
的此次演讲中，您将深入了解
@zapier
如何在
@Braintrustdata
的帮助下构建他们的 AI Zap Builder 和 Zapier Copilot。
https://youtube.com/watch?v=fOtTHWeU6B8
Zapier 是面向中小型企业的首选工作流自动化平台，可连接 7,000 多个最受欢迎的工作应用程序。Braintrust 是一个用于构建世界级 AI 应用程序的端到端平台，其客户包括 Vercel、Replit、Notion 和 Airtable。
观看此演讲，了解他们如何大规模运营这些项目，同时系统地提高其绩效

我们每月都会邀请旧金山最优秀的人工智能领导者组成的小型团体来度过欢乐时光。
下一次活动从今天开始一周，也就是 11 月 14 日，名额很快就会填满 — 请在此回复：

LLM 评估时间--
注意，全新一代评估应用程序即将问世。这里我以
@braintrustdata
为例进行展示。如果有人问我，我可以更深入地介绍我的体验。
受到以下不断提醒的启发：
@HamelHusain

@eugeneyan

@jxnlco

来自
@AnthropicAI
的 Claude 3.5 Haiku 和来自
@xai
的 Grok 现已在 Braintrust 中可用。
在操场上并排使用两个模型来评估世界上最难的提示。

我们正在通过 Braintrust Proxy 推出对
@OpenAI
Realtime API 的支持 — — 只需更改一行代码即可访问，并内置面向用户的身份验证、日志记录和评估功能。
使用最前沿的模型构建人工智能应用程序应该简单、安全且可量化。

在构建复杂的生产应用程序时，良好的遥测非常重要，而开放遥测是行业标准。
@braintrustdata
现在允许您使用 Open Telemetry 将跟踪直接从 LlamaIndex 记录到其可观察性平台。在此处查看其文档：