Laisky's Notes

作者花了一千刀帮我们测试了 LLM 模型大上下文性能，使用 LLM 的最佳输入长度是小于 20K tokens，重要内容放于首尾，尾部比头部稍好。否则准确率会大幅降低。那些所谓的超大上下文模型都是以牺牲准确率为代价的。 https://x.com/gregkamradt/status/1727018183608193393

GPT-4-turbo 的性能对比，在上下文小于 64K 时几乎完全准确。长度超过 64K 后准确性也远远超过 claude-2.1。而且 gpt-4-turbo 还便宜，太强了！

https://draw2.laisky.com/

纯属娱乐，指不定哪天就停了

share
id2RwvTuzYqKmkEgNuuk

next: https://t.me/laiskynotes/30

作者花了一千刀帮我们测试了 LLM 模型大上下文性能，使用 LLM 的最佳输入长度是小于 20K tokens，重要内容放于首尾，尾部比头部稍好。否则准确率会大幅降低。那些所谓的超大上下文模型都是以牺牲准确率为代价的。 https://x.com/gregkamradt/status/1727018183608193393

一个小推广：我有个供小范围朋友使用的 GPT 套皮站，在 API 基础上做了一些增强，比如基于网址的实时抓取、上传数据文本，E2E 加密的自定义 chatbot 等等。支持 gpt-3（免费）、gpt-4、gpt-4-vision、dall-e-3 等 openai 的全部主流模型。主要是面向受制于网络和支付，不方便用官方 openai 的人。gpt-3-turbo 免费，其他模型可以预付费后按需计费（官方价），计费是基于魔改后的 one-api，可以自己上后台查余额和使用日志（也可以输入自己的 openai token 直接使用）。这是个非商业项目，只是小圈子内自用，解决普通人的技术障碍。而且我觉得用 API 比 GPTPlus 便宜，一般人基本不可能一个月用掉 20 刀。OpenAI 现在前景也不明朗，不知道能活多久，唉。有兴趣的可以玩玩，有问题可以评论或者邮件联系我。 https://chat.laisky.com/#
Ps. 更新非常频繁，偶尔不可用稍等几分钟刷新即可。

https://youtu.be/3QpdU9LS540

周末看了部纪录片，Bloomberg 拍的关于币圈最大交易所（之一） FTX 的故事。

核心观点就是 Sam 作为一个硅谷科技天才开发了虚拟货币交易所 FTX，
然后随着 2020 年前后虚拟货币的涨价狂潮迅速崛起。
他一边对外塑造亲民朴素形象，一边在巴哈马大肆挥霍享乐。（有个投资人的评价很有意思，虽然 Sam 看上去不咋样，但是在币圈这个妖孽横行的地方，他已经是最正常的人了）

事情的转机出现在 FTX 试图获取美国证监会 SEC 的许可，而申请过程中需要大股东披露财务状况。
而币安作为持股 20% 的大股东却拒绝披露，Sam 被迫支付 20亿 美元赎回了币安的股份，
大部分是现金，还有数亿美元是代币 FTT。

币安借此掏空了 FTX 的现金流，然后宣布抛售持有的全部 FTT 从而引起市场恐慌和挤兑，
FTX 资不抵债，币安则借此机会提出收购 FTX。然而此时出问题了，币安发现 FTX 账目上存在 80 亿美元的黑洞，
将这事儿捅了出来。

事情到了这地步，美国的司法系统就介入了，最终判定 Sam 为主的管理层构成欺诈，导致了投资人 80 亿美元的巨额损失。
无数散户被套牢，而 Sam 也住进了监狱。

简而言之就是 Sam 借虚拟货币狂潮玩了一把骗局，然后因为和币安的商战而暴露。
最可怕的一点是 Sam 自己可能并没有明确的恶意，他可能就是对财富完全没有任何概念，
大肆挥霍投资人的钱，然后还自以为在改变世界。所以此片标题也很有意思，他就是搞砸（RUIN）了一切，在一个没有监管的资本市场， 这也是必然会发生的，相同的戏码在未来也还会反复上演。 #佳片 #观后感 #blockchain

Ps. 此片有一特色就是大量使用了 AI 绘制的素材。

https://copilot.microsoft.com/ 微软把 Bing Chat 和 Bing dall-e-3 都集成到这个页面了。虽然名义上是“免费”，但实际上在这里画图会同步消耗 dall-e-3 页面上的 boost 配额。而且目前 bug 还挺多的，vision 功能显然是挂掉的，chat 看上去也仅仅集成了 web-search 的 function。

https://laisky.notion.site/Go-Containers-and-the-Linux-Scheduler-f4be286e0550474fbc04814bca4f43ec?pvs=4 #TIL #Golang

老生常谈了，go 不识别 cgroup 的 cpu limit，当 cgroup 给的 cpu 数目小于实际 CPU 数时，会导致 go 创建过多 threads 带来更多的切换开销。一般都会用 uber 的库 https://github.com/uber-go/automaxprocs ，加一行就完事儿：

import _ "go.uber.org/automaxprocs"

Laisky on Notion

Go, Containers, and the Linux Scheduler | Notion

Like many Go developers my applications are usually deployed in containers. When running in container orchestrators it’s important to set CPU limits to ensure that the container doesn’t consume all the CPU on the host. However, the Go runtime is not aware…

各位如果最近抢了国内的廉价 VPS 不知道拿来干嘛，可以考虑跑一个 tailscale derper 做境内中转。

参考资料：

- https://blog.laisky.com/p/tailscale/ 容器安装 derper 一节

具体步骤：

1. 首先你已经有了 tailscale 账号
2. 你有自己的域名，然后拿到 dns server（如 cloudflare）的 access token
3. 服务器上装好 docker，域名指向这个服务器，用子域名也 ok
4. 在服务器上运行 swag + derper 的 docker compose
5. 编辑 swag 的 dns-conf，填入你的 dns access token，重启 swag
6. 等待 swag 成功申请到证书，重启一下 derper，检查一下 derper 成功加载了 TLS（derper 的日志里有这么一行 derper: serving on :YOUR_PORT with TLS）
7. 去 tailscale ACL 把你的 derper 地址和端口配置好

注意：derper 可以挂在子域名和自定义端口，这样不会和你的既有服务冲突。

注意：如果你的域名没有备案，而且部署的服务器是境内的，那么不要用 443 端口！部署好后不要手贱用浏览器去访问！
实测腾讯云是不会阻断非 443 端口的未备案 HTTPS 流量的，当 derper 完全可以！

docker-compose 和 acl 配置可以参考附件