专题研究N2191：Vitalik关注的人（项目）之二十二Ssh

专题研究N2191：VITALIK关注的人（项目）之二十二ssh

按：VITALIK是以太坊区块链的创始人、精神领袖，年纪轻，入行早，理论水平高；人以群分，物以类聚；能被VITALIK在推特上关注的人，现在也只有三百余人；在今年早期，VITALIK曾经在推特上公开回答问题，也只是针对他关注的数百人开放；可见，他关注的人都是他欣赏、认可的人；故此，做个VITALIK关注的人专题，也是从区块链精英维度来了解他们对区块链和加密经济认知、观点的一个重要和精华的部分；个人觉得十分有意义。（当然这些人里面肯定有在我前期研究过的两千多个专题中的，就不再重复），此志。

ssh ✨，
@latentcodes，
manufacturing intelligence.
ml researcher. cofounder @latentspaceAI
，
👩🏻‍💻🇨🇦 @uoftcompsci
San Francisco, CA，sarahhong.xyz，
2009年7月 加入，
386 正在关注，
1,220 关注者，

置顶推文：我们将在太平洋标准时间今天晚上 9 点🧩🏰🎨展示我们的论文“使用空间随机网络进行低失真块重采样”，
带@martinarjovsky
@darrylbarnhart
@iantbd
@LatentSpaceAI
的联合工作！
➡️纸： https://arxiv.org/abs/2006.05394
➡️海报： https://neurips.gather.town/app/pl8sKCby9F，
上午11:00 · 2020年12月11日

对此感到非常兴奋🎉
观看@DarrylBarnhart
的演示文稿@NVIDIAGTC
如果您有兴趣了解我们通过检索扩展 LLM 的方法并欣赏一个好的 babel 参考库📚🐝上午2:21 · 2022年3月24日

我：最伟大的爱情故事：爱丽丝和鲍勃……跨越时间，永远，
他：不是一直都这样。直到热力学第二定律打败了他们——最后的恋人——并将他们和他们所有的信息消散到均匀分布中——最大熵状态。
我： 🙃
上午11:02 · 2022年2月15日

好的，我不打算进行 ML 周末更新 #6，因为感觉每一次对话都在进行意识辩论……
所以，以下是上周让我感到温暖的一些与 ML 相关的事情：使用 LM 帮助使 LM 变得更好！
在这种情况下，自动生成测试用例以将 LM 与……你猜对了，LM，以扩大测试覆盖率。
我喜欢这种使用 LLM 的方法，因为它具有可扩展性和可解释性。
一些后续行动：
如果你……会发生什么
1.用LLM替换分类器？
2.基于此更改或过滤训练数据？
3. 在 red-LM 上应用 prompt-tuning：

机器学习周末更新 #5！
那么最大的开放模型是什么？
🔜来自#EleutherAI的 GPT-NeoX-20B
2 月 9 日的完整模型发布😮
在那之前，结账https://goose.ai/playground - 一个只能假设的名字是受滑铁卢(un)官方吉祥物😂🇨🇦🦆的启发
GPT-NeoX-20B 在 LM 任务上表现不错，但在世界知识上要好得多（这是因为 The Pile 吗？）
我很好奇 GPT-J 与 20b 之间的权衡取舍，但会给它一些时间，因为我想与 20b 一起玩以获得更好的评估！
在此处查看评估结果： https://blog.eleuther.ai/announcing-20b

机器学习周末更新 #4，
一个线程可让您快速了解@OpenAI
中有关最新嵌入模型的讨论！
第一个 GPT3 大小的编码器模型 CPT，来自@OpenAI
，具有相同的模型大小系列（ada、babbage、curie、davinci）！
CPT 使用 GPT3 权重初始化，并使用对比预训练来生成文本 + 代码嵌入。模型可通过 API 获得。
https://twitter.com/OpenAI/status/1486047258499948544
在 beta 版本（21 年 12 月下旬）期间，通过@Nils_Reimers
对 CPT 对更小/更便宜的模型进行了评估。
他表明 CPT 表现不佳（尤其是考虑到 OOM 参数差异和成本）！
请参阅此处链接的详细主题、博客文章和结果：
https://twitter.com/Nils_Reimers/status/1487014195568775173?s=20&t=nEoI0lAhK0XC2Q7yoFaUJg
CPT 作者 re eval 的回应，强调 CPT 是一种模型，而不是许多经过微调的特定模型（类似于 GPT3 与任务特定模型）：
https://twitter.com/arvind_io/status/1487188996774002688?s=20&t=gWZX75zTNymeVeUIdTLDxQ
我真希望有更好的方法来评估现实世界的设置！任何公共数据集/基准？
CPT 比当前基于 GPT3 的“黑客”搜索方法要好得多。
不管它与其他现有模型相比如何，我担心的是 davinci (175b) 的性能并没有明显好于 ada (300m)...
我想知道...是否有关于缩放的苦涩“苦涩教训”？
https://twitter.com/Luke_Metz/status/1485788576621031425
说到来自@OpenAI
......
作者一直在分阶段发布更大和更大的 CLIP 模型，查看@_jongwook_kim
上传的最新模型：RN50x64 和 ViT-L/14
享受🥰
https://twitter.com/RiversHaveWings/status/1486155799596437507?s=20&t=2JfKTvpvk4FP_OtEEroCLw

鉴于@PyTorch
5周年，这里列出了我认为是隐藏的宝石的优质pytorch资源！
如果你不知道这些，现在你知道了😉
(...是的，这是 ML 周末更新 #3 — 本周是一切🔥 pytorch 🔥 )
@ezyang
的@PyTorch
Developer Podcast 非常有趣、坦率且内容丰富。我最喜欢的 eps 是数据加载器工作人员错误 eps 😹🐛
如果你还没有，请听一听--它们非常短（约 15 分钟）而且老实说一切都很好。
感谢@iantbd
的推荐！
https://pytorch-dev-podcast.simplecast.com
@alfcnz
所做的一切 w @PyTorch
，尤其是可视化作为更深入理解的工具令人着迷--它们就像艺术品🎨👀
看他的视频，你就会明白我的意思。
从这里开始➡️ @NYUDataScience
深度学习课程@ylecun
！
https://youtube.com/watch?v=mTtDfKgLm54&list=PLLHTzKZzVU9e6xUfG10TkTWApKSZCzuBI
当您遇到错误时，论坛应该是您的第一个去处。
它也是@ptrblck_de
居住的地方，他独自解决了您@pytorch
的所有问题。
但是，srsly，他非常关心帮助社区。谢谢你！ 🥰
https://twitter.com/ptrblck_de/status/1221290862182690816?s=20
我实际上是在 PTDC'19 认识@ptrblck_de
的！我想念在 IRL 会议期间引发的这些类型的车队，并希望他们很快回来。
在最后一篇中，有人告诉我跳蛛的视觉系统以及它与游戏引擎的关系。非常难忘🕷️
所以最后一个“隐藏的宝石”就是社区本身。虽然没有 IRL devcons atm，但仍有虚拟的，您可以留意！
不管怎样，对我来说就是这样。 lmk 如果有任何@PyTorch
资源/提示/工具对您有影响--我很想听听！
上午6:16 · 2022年1月24日

机器学习周末更新 #2，
这周是关于教育部的！
• 🐉 @GoogleAI
ML 主题：TPUv ♾上的大规模多模式多任务教育部
• 🔱 TaskMoE：通过更好的路由绕过蒸馏
• 🪓 VMoE：在 JAX 中发布的模型和代码！
2021 年及以后的机器学习趋势：
1. 一种泛化数百万个任务的模型（多模式、稀疏）
2. 有效地训练和服务大型模型（芯片、加速器、模型拱门）
3.安卓+隐私
4. ML ↔️ {生物、气候、设计、健康}
5.数据可解释性工具+集线器
大声喊出@keerthanpg
的推荐！TaskMoE 是教育部令人兴奋的方向！他们根据任务（与令牌相比）将数据路由给专家。
这使得能够提取特定于任务的子网络，例如✨推理< <训练✨参数；这就像没有实际蒸馏的蒸馏。
Vision MoE (VMoE) 模型和代码已发布！
而且……代码是用 JAX 🙌🙌🙌编写的，
伙计们，现在就是这样！
这周还有什么有趣的事情吗？让我知道

机器学习周末更新 #1，
每个星期六，我都会分享我（希望是你！）上周发现的有趣的东西。
本周涵盖：
• 🖼️ @BaiduResearch
的新图像-文本模型
• 🔬 @Anthropic
的转换器可解释性
• 💿深入的 AI 加速器格局概览
对于那些不知道的人，ML Weekend Update 通常在周六与朋友一起进行 IRL。
我正在探索将这种仪式🍵转变为在线格式，因为更广泛地与社区互动会很棒，
好吧，让我们开始吧！ ERNIE-ViLG： @BaiduResearch
图像↔文本模型
• 参数：10B
• 数据：145M（中文）图文对
• 培训：PaddlePaddle 平台（见第 3.2.2 节）
• 结果：达到 14.7 的零次 FID（对于 ref，来自@OpenAI
的 GLIDE 为 12.89； ⬇️更好），
这个来自@AnthropicAI
的视频系列专注于变压器的可解释性，可以说是对它们进行“逆向工程”，非常棒。
欣赏@catherineols
、 @nelhage
和@ch402
不断发展的思想（他们的积极性非常具有感染力）！
迄今为止，忽略硬件对人工智能进展的影响以及考虑到扩展趋势可能会走向何方，将是愚蠢的。
这个博客文章系列是对 AI 加速器领域的精彩概述。帮自己一个忙，读一读👇
就是这样的人！
本周什么✨引起了您的注意✨

为#AWSInnovate会议做了一个有趣的小组讨论，我们讨论了我们在启动 ML 初创公司🤭的成功和失误,
今天上线了，看看吧（需要注册哦--嘿，我不制定规则！ ): https://innovate-amer.virtual.awsevents.com/media/Confessi

我一直很喜欢这些诗对 + @OpenAI
的@metasemantic
的 CLIP。展示（模糊）语义搜索的真正令人信服的方式！

讨论的博士：
💥模型的缩放比追逐 sota 更好
🧑‍🎨结合语言+视觉有利于生成图像（和文本！）
👾代码不会说谎——在深入研究论文之前先检查其他资源

我们💕 @weights_biases
！
多用户报告让我们有一个真正改变游戏规则的协作研究过程，更何况现在我们@LatentSpaceAI
都是远程的！

这是我在每个 ML 项目中都需要的 try/catch！
“尝试在向前/向后传球中从 OOM 中恢复”哦哇哇哇哇💓
来自 fairseq 回购： https://github.com/pytorch/fairse

激活的拉普拉斯金字塔状可视化（如@AnimeshKarnewar
在 MSG-GAN 中所描述的）在训练期间观察是有用的，以便定性地识别我们模型中的新行为（尤其是细微的错误🐛 ）
如果您想了解以上内容的更多详细信息，请查看我写的关于我们如何远程协作@LatentSpaceAI
的这篇文章！
能够使用@weights_biases
记录 ~所有的东西 ~ 并与我们的团队共享交互式工件对我们的研究过程很重要。

嘿优化人员！
在今天和明天的#NeurIPS2019研讨会之间赶上@DarrylBarnhart
和@yaroslavvb
，尤其是如果您对二阶方法感兴趣！ 🌟

如果您想讨论表示学习、缩放生成模型/优化、将研究应用于创意应用程序，或者只是想结交新朋友，请随时与 DM 交流🤓 #NeurIPS2019

我记得@soumithchintala
说过，随着领域的发展，支持研究的工具也需要移动。
我认为@PyTorchLightnin
是朝着当前趋势正确方向迈出的一步——我将在今天@PyTorch
conf 的海报会议上分享关于⚡的想法，顺便来看看！有兴趣的可以私聊我：
1）贡献！我一直对@_willfalcon
和不断增长的⚡社区印象深刻
2) 想知道如何从⚡开始你目前的研究,
3) 可重复性，尤其是在您处于挑战的领域时,
上午12:09 · 2019年10月11日

这是#ganocracy日！令人兴奋的研讨会，有很多关于所有事情的演讲者：生成建模 - 教程内容和直播在这里找到：ganocracy.csail.mit.edu

我很高兴地宣布，我将在#NeurIPS宴会上以我的实时音频反应式 VR 体验👩🏻‍💻🎵✨ --进行 VJ-ing，以下是商店内容的预览：

没有比在一个满是深度学习从业者的房间里度过我的生日更好的方式了@fastdotai
🎉
@jeremyphoward
也认为今天是他的生日！

我有一张额外的#ghc18票要送给幸运的人！私信我你为什么想去☺️

我的 2017 年亮点：
1. 很荣幸加入了一个了不起的团队并成为了产品负责人💙🐳
2. 我的联觉#vr项目得到了 Oculus 👾🎵的资助
3. 最重要的是……我终于有时间看《星球大战》 🤩

结合我最喜欢的两个主题#VR和#AI ：在 vr #wtm17 #tensorflow中使用神经网络进行手感