A PyTorch-native INT8 tensor subclass for torchao supporting W8A8 dynamic activation quantization, built via __torch_dispatch__ with per-row and per-tensor granularity.

Notes on TwinQuant (ICML'26), which learns its low-rank/residual decomposition directly against quantization error rather than real-valued energy, via a fused dual-component kernel.

Notes on SVDQuant (ICLR'25), a W4A4 PTQ method for diffusion models that absorbs weight outliers into a fused low-rank branch instead of just smoothing activations.

A tour of decode-stage GEMV acceleration via processing-in-memory: memory cell types, mixed-signal vs. digital PIM designs, and the accuracy cost each trades for throughput.

아무것도 지키지 못했다. 어디서부터 잘못된건지, 그게 모두 정말 내 잘못이라면 너무 잔혹한 세상이 아닐까.. 모든 사람들이 나라는 존재를 잊어줬으면 좋겠다. 그리고 아무도 나를 모르는 이세계로 떠나서 조용히 농사짓고 살고 싶다. 쿠다도, 컴파일러도, 커널이라는 개념조차 없는 곳 — 따스한 햇볕 아래에서 여유를 만끽할 수 있는 곳. 그곳이 곧 낙...

Tracing a vLLM CUDA graph capture crash on INT8 inference back to a hidden minimum batch-size constraint in PyTorch's torch._int_mm kernel.

블로그를 시작했습니다. 잘 부탁드립니다. Most posts will be technical write-ups of things I’ve read, implemented, or debugged.