The Site of laekov

网站标签

该站未曾设置keywords

---

网站描述

该站未曾设置description

---

上一篇：PMC_生产计划_物料控制 – 生管物控网

下一篇：武汉软装设计/样板间软装/别墅精装房软装/整体/酒店/武汉售楼处软装公司

seo综合信息

SEO信息	百度来访IP：- | 移动端来访IP：- | 出站链接：1 | 站内链接：4
IP网速：	IP地址：47.109.83.160 [中国四川成都 阿里云] | 网速：891毫秒
ALEXA排名	世界排名：- | 预估IP：- | 预估PV：-
备案信息	登录可见 | 名称：登录可见 | 已创建：9年8个月14天

收录	百度	360	搜狗	谷歌
查询	0	0	0	0

电脑关键词	手机关键词	页面友好	首页位置	索引	近期收录
1	0	电脑端优秀	-	0	0

协议类型HTTP/1.1 200 OK 页面类型text/html 服务器类型nginx/1.22.1 是否压缩是 原网页大小30121 压缩后大小12143 压缩比59.69%

网站快照

T h e S i t e o f l a e k o v T h e S i t e o f l a e k o v A r c h i v e S e a r c h T a g s A b o u t W h a t t o E x p e c t H e r e ? T e c h n i c a l S t u f f t h a t m i g h t b e I n t e r e s t i n g ( s e e t h e G i t h u b p r o f i l e a t t h e f i r s t l i n k b e l o w ) W o r k r e l a t e d P o s t s a s a P h D C a n d i d a t e ( s e e h i s C V a t t h e s e c o n d l i n k b e l o w ) E v e r y d a y L i f e o f a T r i v i a l H u m a n B e i n g L L M S e r v i n g 文 章 阅 读 笔 记 经 典 老 文 o r c a C o n t i n u o u s b a t c h i n g : 把 p r e f i l l 和 d e c o d e 里 的 每 个 t o k e n 打 散 重 新 做 b a t c h i n g . v l l m 用 p a g e a t t e n t i o n 来 管 理 k v c a c h e 来 应 对 碎 片 化 , 以 及 利 用 c p u m e m o r y 来 o f f l o a d ( 这 部 分 好 像 不 是 重 点 ) 。 O S D I 2 4 一 个 会 有 一 个 s e s s i o n 一 篇 文 章 讲 同 一 个 事 ， 可 怕 。 T a m i n g T h r o u g h p u t L a t e n c y T r a d e o f f i n L L M I n f e r e n c e w i t h S a r a t h i S e r v e 背 景 是 现 有 l l m s e r v i n g 系 统 （ T R T L L M , v L L M ） 要 么 等 d e c o d e 完 了 再 p r e f i l l , 要 么 有 p r e f i l l 就 先 做 完 整 个 p r e f i l l , 导 致 l a t e n c y t o f i r s t t o k e n 或 者 d e c o d i n g l a t e n c y 不 稳 定 。 一 个 额 外 的 坏 处 是 这 个 事 情 影 响 p p ， 因 为 p p 里 面 有 多 个 任 务 ， 每 个 任 务 时 长 不 一 样 ， 就 会 有 比 较 多 的 b u b b l e 。 这 文 章 把 p r e f i l l 任 务 c h u n k 掉 ， 这 样 调 度 的 时 候 可 以 更 好 地 复 合 p r e f i l l 和 d e c o d e ， 控 制 p p 里 每 个 任 务 的 l a t e n c y ， 从 而 对 d e c o d e 的 l a t e n c y 也 有 保 障 了 ( s t a l l f r e e b a t c h i n g ） 。 . . . J u l y 1 2 , 2 0 2 4   ·   1 m i n   ·   l a e k o v F a s t M o E 系 统 指 南 F a s t M o E 是 世 界 上 首 个 开 源 的 在 P y T o r c h 上 支 持 M o E 模 型 分 布 式 训 练 的 框 架 . 经 过 持 续 不 断 的 更 新 与 优 化 , 其 在 性 能 上 相 比 各 类 竞 品 持 续 保 持 了 一 定 的 优 势 . 从 2 0 2 1 年 3 月 开 源 至 今 , 已 经 历 了 若 干 个 发 行 版 本 , 亦 有 一 些 相 关 学 术 工 作 发 表 在 各 大 会 议 和 平 台 上 . 此 处 对 官 方 提 供 的 公 开 资 料 进 行 汇 总 整 理 . F a s t M o E 代 码 仓 库 F a s t M o E 框 架 的 开 源 版 本 开 源 在 G i t H u b 上 . 链 接 该 开 源 版 本 支 持 c u d a 平 台 . 开 源 版 本 中 也 包 含 来 自 社 区 贡 献 的 对 r o c m 平 台 的 支 持 , 但 对 新 版 本 F a s t M o E 的 支 持 可 能 并 不 完 善 . 此 外 , 对 于 申 威 和 一 些 其 它 国 产 加 速 平 台 , F a s t M o E 也 有 相 应 的 私 有 版 本 . 如 有 兴 趣 , 请 联 系 清 程 极 智 . F a s t M o E 使 用 方 式 F a s t M o E 作 为 P y T o r c h 的 插 件 存 在 , 推 荐 的 使 用 方 式 是 和 M e g a t r o n L M 框 架 一 起 使 用 . 开 源 版 本 代 码 仓 库 中 提 供 了 修 改 不 同 版 本 M e g a t r o n L M 并 与 F a s t M o E 一 起 使 用 的 教 程 和 参 考 补 丁 . 在 F a s t M o E 官 网 ( 暂 停 维 护 ) 和 代 码 仓 库 的 中 有 更 多 文 档 可 供 参 考 . F a s t M o E 及 系 列 学 术 文 章 F a s t M o E 支 持 专 家 并 行 的 工 作 原 理 在 一 篇 a r x i v 文 章 中 进 行 了 讲 解 . a r x i v 原 文 中 文 博 客 版 本 . F a s t e r M o E 是 一 个 发 表 在 P P o P P 学 术 会 议 上 的 工 作 . 其 对 于 专 家 并 行 中 负 载 均 衡 和 通 信 计 算 重 叠 进 行 了 研 究 . 该 论 文 中 所 述 的 优 化 均 已 集 成 到 F a s t M o E v 1 . 0 . 0 以 后 的 版 本 中 . . . . J u l y 2 , 2 0 2 4   ·   1 m i n   ·   l a e k o v 在 P y T o r c h D i s t r i b u t e d 中 混 合 使 用 m p i 和 其 它 b a c k e n d l a e k o v 遇 到 的 问 题 是 希 望 使 用 m p i 进 行 一 些 c p u 的 通 信 , 以 及 用 n c c l 来 进 行 一 些 g p u 间 的 通 信 . / / 没 错 , 说 的 就 是 让 F a s t D e c o d e 支 持 模 型 并 行 . 众 所 周 知 , p y t o r c h 和 m p i 的 关 系 不 太 好 的 亚 子 . 然 而 m p i 其 实 是 最 方 便 , 也 是 最 适 合 大 规 模 使 用 的 . 虽 然 新 版 的 p y t o r c h 试 图 引 入 u c c b a c k e n d 来 支 持 c p u 和 g p u 的 混 合 通 信 , 但 在 较 老 的 版 本 或 一 些 特 定 环 境 里 还 无 法 顺 畅 地 使 用 u c c . 事 实 上 p y t o r c h 支 持 创 建 不 同 b a c k e n d 的 不 同 P r o c e s s G r o u p . 然 而 如 果 写 如 下 一 段 代 码 , 就 会 发 现 并 跑 不 起 来 . d i s t . i n i t _ p r o c e s s _ g r o u p ( b a c k e n d = m p i ) . . . g = d i s t . n e w _ g r o u p ( l i s t ( r a n g e ( w o r l d _ s i z e ) ) , b a c k e n d = n c c l ) x = t o r c h . o n e s ( 1 6 , d e v i c e = c u d a ) * ( r a n k + 1 ) x s = [ t o r c h . e m p t y _ l i k e ( x ) f o r _ i n r a n g e ( w o r l d _ s i z e ) ] d i s t . a l l _ g a t h e r ( x s , x , g r o u p = g ) 甚 至 会 获 得 一 些 在 u c x 里 的 错 误 栈 , 再 往 上 找 会 发 现 报 错 在 c 1 0 d : : P r e f i x S t o r e : : s e t 这 个 函 数 里 . . . . J u n e 2 0 , 2 0 2 4   ·   1 m i n   ·   l a e k o v F a s t D e c o d e : 一 种 很 大 胆 的 分 布 式 L L M 推 理 系 统 架 构 这 是 一 篇 a r x i v 文 章 的 中 文 简 要 版 本 . 摘 要 这 篇 文 章 主 要 介 绍 了 一 种 大 语 言 模 型 的 推 理 系 统 . 在 自 回 归 生 成 过 程 中 , 序 列 中 的 元 素 ( t o k e n ) 被 挨 个 生 成 , 因 此 模 型 推 理 的 序 列 长 度 ( s e q u e n c e l e n g t h ) 为 1 . 因 此 , 增 大 b a t c h s i z e 对 于 G P U 利 用 率 的 提 升 十 分 重 要 . 然 而 K V C a c h e 体 积 很 大 , 且 与 b a t c h s i z e 成 正 比 . 其 大 小 阻 止 了 b a t c h s i z e 和 G P U 利 用 率 的 提 升 . 相 比 v L L M 提 出 的 p a g e a t t e n t i o n 技 术 , F a s t D e c o d e 对 于 C P U 的 利 用 进 行 了 更 加 大 胆 的 尝 试 . 其 不 仅 利 用 了 C P U 的 内 存 容 量 , 还 利 用 了 其 计 算 能 力 和 多 机 扩 展 能 力 , 从 而 达 到 了 提 升 b a t c h s i z e , 提 升 G P U 利 用 率 的 目 的 , 并 实 现 了 端 到 端 的 推 理 吞 吐 量 提 升 . 背 景 在 自 回 归 生 成 过 程 中 做 a t t e n t i o n 时 , 一 个 t o k e n i 的 特 征 向 量 ( f e a t u r e v e c t o r ) 会 线 性 映 射 拆 成 Q i , K i , V i 三 个 特 征 向 量 . . . . M a r c h 2 1 , 2 0 2 4   ·   3 m i n   ·   l a e k o v 实 验 室 新 机 器 安 装 步 骤 检 查 单 本 检 查 单 适 用 于 在 P A C M A N 实 验 室 安 装 新 的 服 务 器 . 对 于 其 它 使 用 场 景 , 可 视 情 况 进 行 参 考 . 购 买 前 根 据 使 用 需 求 确 定 型 号 P C I e 的 连 接 方 式 是 否 符 合 预 期 内 存 通 道 是 否 充 足 在 机 房 寻 找 一 个 合 适 的 位 置 来 放 置 机 器 , 需 考 虑 如 下 因 素 机 柜 的 空 位 与 承 重 能 力 电 源 是 否 充 足 网 络 ( 如 需 使 用 I B 网 , 与 需 要 的 交 换 机 是 否 足 够 近 ) 根 据 C P U a r c h 确 定 是 否 接 入 某 个 s l u r m 进 行 管 理 现 有 的 s l u r m c l u s t e r s : j a ( A M D E p y c ) , n i c o ( I n t e l S k y l a k e ) 注 意 : 除 非 这 台 机 器 永 远 只 有 一 个 人 使 用 , 否 则 强 烈 建 议 接 入 s l u r m 进 行 管 理 起 一 个 合 适 的 H o s t n a m e 向 网 络 管 理 员 申 请 一 个 合 适 的 固 定 i p 机 器 上 架 与 硬 件 配 置 ( 机 房 内 ) 检 查 机 器 完 好 正 确 安 装 导 轨 对 机 器 的 整 体 外 观 , 序 列 号 进 行 拍 照 插 入 系 统 盘 和 必 要 的 存 储 , P C I E 设 备 注 意 : 插 入 额 外 的 G P U 资 产 也 需 要 事 先 对 序 列 号 和 整 体 进 行 拍 照 根 据 分 配 的 固 定 I P 配 置 B M C 机 器 基 础 配 置 ( 可 远 程 ) 在 N e t B o x 上 更 新 相 应 信 息 , 包 括 但 不 限 于 序 列 号 , 资 产 号 , G P U 在 B I O S 中 配 置 C P U S u b n u m a C l u s t e r i n g 以 确 保 访 存 性 能 正 确 I n t e l 简 称 S N C , A M D 简 称 N P S 可 能 在 A C P I 或 N o r t h B r i d g e 选 项 中 ( 视 型 号 不 同 ) P X E 引 导 安 装 O S 机 器 软 件 配 置 安 装 必 要 的 基 础 软 件 h t o p i o t o p i f t o p v i m c o m m o n n u m a c t l r s y n c p s u t i l s i p m i t o o l g + + 根 据 H a r r y 的 教 程 配 置 L D A P C l i e n t 安 装 l i b n s s l d a p d 和 l i b p a m l d a p d 配 置 正 确 的 服 务 器 地 址 , b a s e d n 和 L D A P 数 据 项 安 装 n f s 客 户 端 安 装 n f s c l i e n t n f s c o m m o n 挂 载 对 应 的 / h o m e 配 置 s l u r m 客 户 端 安 装 l i b m u n g e d e v l i b m u n g e 2 m u n g e s l u r m d s l u r m w l m l i b p a m s l u r m a d o p t l i b p a m s l u r m l i b p m i x d e v l i b p m i 2 0 l i b p m i 0 d e v l i b p m i 0 将 主 节 点 的 m u n g e k e y 同 步 到 新 机 器 / e t c / m u n g e / m u n g e . . . . D e c e m b e r 1 3 , 2 0 2 3   ·   1 m i n   ·   l a e k o v 本 网 站 的 崩 溃 与 重 建 由 于 升 级 系 统 升 挂 了 ( 说 来 话 长 … ) 原 本 跑 在 青 岛 阿 里 云 e c s 上 的 s h i r u k u 无 了 . 于 是 决 定 迁 移 到 H u g o . 目 前 姑 且 能 用 了 , 且 保 留 了 之 前 的 大 部 分 内 容 . 之 后 还 会 继 续 修 缮 . 顺 便 开 个 坑 记 录 一 下 这 次 的 经 历 . 升 级 然 后 挂 了 在 1 2 月 5 号 这 一 天 , l a e k o v 看 到 自 己 的 青 岛 阿 里 云 服 务 器 还 跑 着 u b u n t u 1 8 . 0 4 ( i 6 8 6 ) , 于 是 决 定 对 它 进 行 一 个 d i s t u p g r a d e . ( 好 像 也 没 啥 原 因 ) 没 想 到 d o r e l e a s e u p g r a d e 说 没 有 新 的 版 本 , 于 是 l a e k o v 直 接 在 s o u r c e s . l i s t 里 把 b i o n i c 换 成 了 j a m m y , 然 后 愉 快 地 a p t u p d a t e / u p g r a d e 了 一 顿 . 然 后 疑 似 k e r n e l 还 是 4 . 1 9 , l a e k o v 感 到 疑 惑 , 但 是 没 多 想 就 重 启 了 机 器 . 没 想 到 重 启 之 后 服 务 器 p i n g 不 通 了 , 还 好 a l i y u n 提 供 了 v n c , 连 过 去 一 看 k e r n e l p a n i c , 读 不 出 镜 像 . 还 好 重 启 之 后 发 现 有 一 个 旧 的 k e r n e l 可 以 启 动 , 于 是 和 h a r r y 一 拍 脑 门 , 决 定 跑 一 遍 i n i t r a m f s , 然 后 这 下 好 了 , 新 的 旧 的 都 启 不 动 了 . . . . D e c e m b e r 5 , 2 0 2 3   ·   1 m i n   ·   l a e k o v C e n t O S 的 防 火 墙 和 l d a p l o g i n 最 近 在 实 验 室 遇 到 一 些 情 况 必 需 搞 一 台 c e n t o s 的 服 务 器 , 但 是 还 是 想 给 它 配 置 我 们 常 用 的 一 些 东 西 , 于 是 踩 了 一 些 坑 , 作 一 个 记 录 . s s h d 在 别 的 端 口 我 们 用 这 个 来 提 供 外 网 的 仅 公 钥 的 访 问 , 然 而 c e n t 里 面 配 了 s s h d _ c o n f i g 里 的 p o r t 之 后 竟 然 没 法 从 别 的 机 器 访 问 到 这 个 p o r t . 关 掉 s e l i n u x 也 没 用 , 最 后 发 现 需 要 d i s a b l e f i r e w a l l d . ( 什 么 企 业 级 安 全 ) s s s d l d a p 无 法 a u t h 相 比 d e b i a n 底 下 使 用 l i b n s s l d a p d 和 l i b p a m l d a p d , c e n t 下 面 用 的 是 一 个 叫 s s s d 的 玩 意 . 然 后 使 用 a u t h c o n f i g 来 进 行 配 置 . 然 而 配 好 了 之 后 可 以 i d 一 个 用 户 , 却 不 能 g e t e n t . 发 现 需 要 在 s s s d 配 置 文 件 里 加 上 这 个 . e n u m e r a t e = t r u e 然 而 还 是 无 法 用 l d a p 用 户 密 码 登 录 , 一 通 查 发 现 是 因 为 S S S D a l w a y s u s e s a n e n c r y p t e d c h a n n e l f o r a u t h e n t i c a t i o n , w h i c h e n s u r e s t h a t p a s s w o r d s a r e n e v e r s e n t o v e r t h e n e t w o r k u n e n c r y p t e d . . . . S e p t e m b e r 2 1 , 2 0 2 3   ·   1 m i n   ·   l a e k o v 魔 改 p y t h o n d b g 最 近 在 一 些 奇 怪 的 地 方 使 用 p y t o r c h . 那 里 的 p y t h o n 十 分 的 鬼 畜 , 以 至 于 p y t h o n d e b u g 用 不 了 . c 的 栈 打 出 来 大 概 是 这 样 的 . # 1 1 0 0 x 0 0 0 0 4 f f f f 0 6 1 c 0 3 c i n _ P y E v a l _ E v a l F r a m e D e f a u l t ( f = , t h r o w f l a g = ) a t . . / P y t h o n 3 . 6 . 8 / P y t h o n / c e v a l . c : 3 3 5 1 # 1 1 1 0 x 0 0 0 0 4 f f f f 0 6 1 8 6 5 c i n P y E v a l _ E v a l F r a m e E x ( f = 0 x 6 , t h r o w f l a g = 8 3 8 7 2 9 6 ) a t . . / P y t h o n 3 . 6 . 8 / P y t h o n / c e v a l . c : 7 5 4 # 1 1 2 0 x 0 0 0 0 4 f f f f 0 6 1 9 2 f c i n _ P y E v a l _ E v a l C o d e W i t h N a m e ( _ c o = 0 x 5 8 0 0 0 0 4 4 c 9 8 0 , g l o b a l s = , l o c a l s = , a r g s = , a r g c o u n t = 0 , k w n a m e s = , k w a r g s = 0 x 5 8 0 0 0 d 8 6 2 1 b 8 , k w c o u n t = 2 , k w s t e p = 1 , d e f s = 0 x 5 8 0 0 0 0 4 4 9 3 4 0 , d e f c o u n t = 2 , k w d e f s = 0 x 0 , c l o s u r e = 0 x 0 , n a m e = 0 x 5 8 0 0 0 0 3 4 3 1 c 0 , q u a l n a m e = 0 x 5 8 0 0 0 0 3 4 3 1 c 0 ) a t . . / P y t h o n 3 . 6 . 8 / P y t h o n / c e v a l . c : 4 1 6 6 # 1 1 3 0 x 0 0 0 0 4 f f f f 0 6 1 9 7 6 8 i n f a s t _ f u n c t i o n ( k w n a m e s = , n a r g s = 0 , s t a c k = 0 x 5 8 0 0 0 d 8 6 2 1 b 8 , f u n c = 0 x 5 8 0 0 0 2 9 6 f 6 b 8 ) a t . . / P y t h o n 3 . 6 . 8 / P y t h o n / c e v a l . c : 4 9 9 2 # 1 1 4 c a l l _ f u n c t i o n ( p p _ s t a c k = 0 x 5 0 0 0 0 0 8 0 4 4 0 0 , o p a r g = , k w n a m e s = ) a t . . . . S e p t e m b e r 5 , 2 0 2 3   ·   1 m i n   ·   l a e k o v p y t h o n d b g 使 用 中 遇 到 的 a u t o l o a d s a f e 问 题 用 g d b 的 p y b t 来 看 一 个 p y t h o n 程 序 的 调 用 栈 是 一 个 非 常 有 用 的 工 具 . 然 而 今 天 在 集 群 上 尝 试 使 用 这 个 功 能 的 时 候 发 现 了 一 些 问 题 . 使 用 d e b i a n 1 2 自 带 的 p y t h o n 3 . 1 1 时 可 以 正 常 工 作 , 而 使 用 s p a c k 安 装 的 p y t h o n 3 . 1 0 的 时 候 就 无 法 工 作 了 . 最 初 怀 疑 c o n f i g u r e p y t h o n 的 时 候 没 有 带 w i t h d e b u g , 于 是 重 新 装 了 一 个 p y t h o n 还 是 不 管 用 . 然 后 在 仔 细 观 察 输 出 的 时 候 发 现 g d b a u t o l o a d 竟 然 还 有 s a f e p a t h 一 说 , 故 需 要 在 . g d b i n i t 中 加 入 a d d a u t o l o a d s a f e p a t h / h o m e / s p a c k / * 才 能 安 全 工 作 . ( 具 体 见 这 篇 文 档 ) S e p t e m b e r 2 , 2 0 2 3   ·   1 m i n   ·   l a e k o v 那 一 夜 你 喝 了 酒 改 编 版 那 一 夜 我 喝 了 酒 带 着 醉 而 回 然 后 发 现 你 还 在 那 公 司 深 夜 加 班 我 仿 佛 看 到 我 的 未 来 默 默 踌 躇 起 来 然 后 躺 在 地 上 思 考 人 生 为 何 存 在 刹 那 间 我 突 然 了 解 这 样 生 活 就 是 理 所 应 该 什 么 时 候 该 给 你 挚 爱 什 么 时 候 我 又 应 该 走 开 哦 哦 A u g u s t 1 6 , 2 0 2 3   ·   1 m i n   ·   l a e k o v N e x t     » © l a e k o v 蜀 I C P 备 1 5 0 0 8 0 7 2 号 P o w e r e d b y H u g o & P a p e r M o d

站点概括

关于laekov.com.cn说明：
laekov.com.cn由网友主动性提交被亿动云导航整理收录的，亿动云导航仅提供laekov.com.cn的基础信息并免费向大众网友展示，laekov.com.cn的是IP地址：47.109.83.160 [中国四川成都 阿里云]，laekov.com.cn的百度权重为0、百度手机权重为0、百度收录为0条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在-之间、百度手机端来访流量大约在-之间、laekov.com.cn的备案号是登录可见、备案人叫登录可见、被百度收录的关键词有1个、手机端关键词有0个、该站点迄今为止已经创建9年8个月14天。

内容声明：

1、本站收录的内容来源于大数据收集，版权归原网站所有！
2、本站收录的内容若侵害到您的利益，请联系我们进行删除处理！
3、本站不接受违规信息，如您发现违规内容，请联系我们进行清除处理！
4、本文地址：https://www.ed4.cn/links/ab87bcf7fb826ef920d7.html，复制请保留版权链接！

---