64 张 V100 上跑 DeepSeek V4.1 Flash:FP8 激活、DSpark 和长上下文缓存
保留 FP8 激活与 FP4/FP8 权重,在 8 台 V100 节点上实现文本推理服务。记录 SM70 兼容计算、推测解码、CUDA Graph、前缀缓存,以及单请求约 18–24 tok/s 的实测结果。
91 篇·8 年years
#computer 17#linux 14#network 10#debian 9#nlp 7#hardware 6#ml 6#arm 5#devops 5#slurm 5#tips 5#韩语 4#bsp 3#diy 3#한국어 3#转载自randy-zhang 3#deepseek 2#docker 2#elk 2#gpu 2#hanja 2#hpc 2#ios 2#lstm 2#qualcomm 2#rockchip 2#travel-and-thinking 2#한자 2#3a6000 1#ansible 1#asr 1#base 1#cuda 1#cuda配置优化 1#d3 1#data 1#database 1#deepseek-r1 1#ffmpeg 1#fortigate 1#geojson 1#gre 1#hpe 1#inference 1#k3s 1#kobert 1#kubernetes 1#latex 1#llm 1#loongson 1#mac 1#macos 1#mariadb 1#messpup 1#mikrotik 1#minimax 1#mla加速技术 1#nvidia_h200 1#openwrt 1#overleaf 1#pcie 1#postgres 1#pytorch 1#reverse-engineering 1#server 1#sglang 1#sharelatex 1#sql 1#systemd 1#tc-eb5 1#v100 1#whisper 1#windows 1#국한혼용 1#중국어 1#中文 1#澳洲 1#皇后大道中 1#霓虹香港 1#非线型历史观 1#香港城市记忆 1
保留 FP8 激活与 FP4/FP8 权重,在 8 台 V100 节点上实现文本推理服务。记录 SM70 兼容计算、推测解码、CUDA Graph、前缀缓存,以及单请求约 18–24 tok/s 的实测结果。
把已有的 Hanja 消歧模型接到麦克风和浏览器标签页音频。记录增量上下文、候选重排、字幕回改协议,以及 32 段 FLEURS 音频上没有带来 CER 改善的 N-best 联合打分实验。
去年那篇消歧模型的设计稿,这次做成了能跑的东西。用 1920–1962 年的混用报纸当训练数据,XLM-R 打分,在留出集上端到端 F1 0.806,选错汉字的比例 2.4%。附每一步的数字和踩过的坑。
작년의 중의성 해소 모델 설계안을 이번에는 실제로 돌아가는 변환기로 만들었다. 1920–1962년 국한혼용 신문을 학습 데이터로 쓰고 XLM-R로 후보를 채점해, 보류 집합에서 종단간 F1 0.806, 한자 오선택 2.4%. 단계별 수치와 겪은 문제를 적는다.
昨年의 中義性 解消 모델 設計案을 이번에는 實際로 돌아가는 變換器로 만들었다. 1920–1962年 國漢混用 新聞을 學習 데이터로 쓰고 XLM-R로 候補를 採點해, 保留 集合에서 終端間 F1 0.806, 漢字 誤選擇 2.4%. 段階別 數値와 겪은 問題를 적는다.
目标是让 33B 的视频生成模型在 112 张 V100 上产出 30 秒成片。为此要先修共享存储、统一 GPU 基线、自建调度器、把节点从 K3s 手里接过来。含每一次失败的根因。
从 15 台机器的实际状态出发,记录自建软件包、MariaDB 选型、InnoDB 与 ZFS 参数的依据,以及控制面与计算节点的通信路径。
把可负担性、通勤、治安和岗位存量压成两个合成分数,画在 ABS 的统计区边界上,再下钻到 733 个 suburb。附 d3.geoPath 绕向踩坑记录。
通过 vendor 汇编、设备树和实机 GPIO 还原 ASM2806 初始化,用 GPIO provider 与 device-link 解决两层 probe 顺序问题;记录 Linux 6.13.12 下双网卡、固件和持久启动的验证结果。
To install the New Outlook via command line, use winget in PowerShell for the Store…
为了让脚本能够通过接口操作面板,需要在宝塔面板中开启 API 功能。
The English version will be available after the Chinese version:
最开始的时候,论文无法显示中文:
Test your upgrade in staging first!
啟動 ping-endpoint.timer:
安裝 Google sentencepiece、安裝依賴、安裝並運行
韩语中存在大量同形同音的汉字词(即韩语谚文表记相同但对应不同汉字…
한국어에는 한글 표기가 같지만 대응하는 한자와 뜻이 다른 한자어가 많다. 문맥으로 올바른 한자 의미를 판별하는 모델의 설계.
每次走在住宅大廈的地面上,看到住宅大堂的不鏽鋼金屬質感的信箱,徬彿自己變成了 90 年代港片的主角。
首先,安装 SGLang。可以通过以下命令安装:
OS: Debian sid/trixe
As a city that thrives on nostalgia, Hong Kong has a unique way of celebrating its…
Install Step CA Certificate with PromoxVE with ACME
use tcpdump or wireshark to find the IP address of the ilo interface.
sock2tcp is a simple tool to forward a local socket to serve as a TCP server.
Github: https://github.com/Evsio0n/linux-msm8916
This is a page which should not exist until my unfortunately type kubeadm reset on my…
The following Elastic resources have been created:
I will put the conclusion on the top beacuse the debian is not Google K8s suggested…
Windows Server 2022 BT
Docker store keystore first before run:
Docker store keystore first before run:
dnscmd-acme is to use dnscmd to obtain dns-01 challenge certificate together with…
dnscmd-acme is to use dnscmd to obtain dns-01 challenge certificate together with…
Enter s for serial update
Quickly replug the serial console usb
Just enter then all password will be save as local enviroment file.
We found a eligant for instead option for ifupdown. Which is ifupdown-ng.
We found a eligant for instead option for ifupdown. Which is ifupdown-ng.
前几天 Cloudfalre和 yubikey 推出了合作活动,使用优惠代码购买 yubikey 只要很低价格就能购买。之前没玩过 yubikey,所以决定体验下…
前几天 Cloudfalre 和 yubikey 推出了合作活动,使用优惠代码购买 yubikey 只要很低价格就能购买。之前没玩过 yubikey,所以决定体验下…
Firstly, I need to figure out what happend if edk2 crashed from booting.
Upstream: https://mirrors.xtom.com.hk
Repo address: https://github.com/evsio0n/rsce-go
Author: @evsio0n
This occasionally occurred in some linux devices which contain lots of neighbor.
This occasionally occurred in some linux devices which contain lots of neighbor.
U-Boot 2014.10-RK3399-06-03676-g9da1bf5-dirty (Apr 10 2020 - 18:07:55)
文章还在施工中,可能信息不尽完全或准确,错误之处敬请原谅。
用户态程序如果要绑定 低位端口 即小于 1024 的端口 ,
是因为机器没有使用 ecc 内存 ,故 Linux 不会启动 EDAC 内存一致性检查
是因为 TPM 模块 由于在 UEFI Firmware的 ACPI Tables 中用专有的实现方式驱动, Debian 使用通用方法无法识别
由于博客迁移失败,从 webarchieve.org 只有搬回来小部分图片和文章,决定重写这篇。
Configure time zone is not working for now. See…
The gitlab ci log stream contains 4 stages:
(此篇待補摘要)
在I-797申请提出后的漫长等待后,终于收到了Approval Notice.
今天教大家如何抄收日本气象卫星通过短波传送的气象传真。
我们使用的是ZT来配置网络,根据OSPF协议找到邻居并根据Cost决定路由方向(目前是有HK和FMT两个出口方向)
用 dh-make-golang 为 golang 项目打包 .deb,按 aarch64 / x86_64 / x86 分别产出。
IETF一直不推荐人们使用NAT66(NAT这个词在IPv6上已经被占用)…
AssignTO: main;
reference:https://studygolang.com/topics/4904
Due to current business requirements and large amounts of data (over 10 million per…
<table><tbody><tr><td>元音</td><td>あ</td><td>い</td><td>う</td><td>え</td><td>お</td></tr><t…
这个文件用于适用于TCP受限,使用UDP进行端口转发.使用 Socket Bind local interface port.
是那种离开就会很怀念的城市吧
最近上班,每天都走了3km还真是一点都没瘦(
1.来到 UUP Dump 的官网 https://uupdump.ml/
(此篇待補摘要)
Enable this on init.recovery.usb.rc
Enable this on init.recovery.usb.rc
PCD PEIM produces PCD database to manage all dynamic PCD in PEI phase and install Pcd…
即日起接受RIPE的ASN预定
kernel的整个启动过程涉及的内容很多…
本文主要描述了ARM64启动过程中,如何建立初始化阶段页表的过程。我们知道,从bootloader到kernel的时候,MMU是off的(顺带的负作用是无法打开data…
Msm8998 Cold Boot Flow示意图
在msm8998-mtp.dtsi文件中,定义调用哪个电池曲线,如下代码调用了fg-gen3-batterydata-goertek-3950mah.dtsi…
sdm845-androido/ap/kernel/msm-4.9 / arch/arm64/boot/dts/qcom/sdm845-mtp.dtsi
虚拟机前几天突然就上不了网了,在Gnome-panel上也不显示网卡图标
你可以看到,在使用后在RDP顶端,会显示一个加密的小锁,代表着两端的链接安全.
首先在Ubuntu上安装Docker,这个步骤就不再详细叙述.
CentOS 7 和 EPRL源
AS139833就是我的ASN号
在朋友圈看到说鳌园的Chimoto的日料还不错,于是叫上朋友一起去鳌园玩了,本来是说好周六一起去香港的,结果他要考试了,周六就没有同行.
Creative Cloud 2019 应用程序
由于10.15的安全性原因,/System/Library/Extensions在关闭了SIP后仍然无法可读,需要重新mount根目录
这个博客我也鸽了将近有四个月有余,这几个月作为一个咸鱼,偶然间,网上冲浪看到了这个:点击链接
iOS系统的按钮都是带有圆角弧形的,如
第一个正经一点点的网站.(咕咕咕)