Ứng dụng mở trong 1,8 giây trên Pixel bạn đang cầm, nhưng người dùng thật có thể chờ 4 giây trên máy tầm trung đã cài 80 ứng dụng. Kiểm thử hiệu năng không phải chạy app vài lần rồi “cảm thấy” nó nhanh; đó là đo lặp lại, trong môi trường kiểm soát, với số liệu so sánh được giữa các phiên bản. Jetpack Benchmark là công cụ chuẩn của Android, và từ 2026 nó đòi hỏi bạn hiểu đúng build variant, compilation mode và Baseline Profile — ba thứ bài viết cũ mô tả sai.
Mục lục
Cập nhật 2026
- AGP 9.5, Gradle 9.6+,
compileSdk = 36vàtargetSdk = 36là toolchain hiện tại, đáp ứng yêu cầu Play từ 31/08/2026. Baseline Profile plugin và R8 rewriting đã ổn định từ AGP 8.2. - Macrobenchmark không chạy trên build debug. App mục tiêu phải non-debuggable,
profileablevà nên bật R8 như bản release; thư viện báo lỗi thay vì trả số liệu sai. Đây là điểm khác biệt lớn nhất so với hướng dẫn cũ. - Baseline Profile và Startup Profile thuộc pipeline release: ProfileInstaller tối thiểu 1.3 (khuyến nghị bản mới nhất) để Macrobenchmark đọc và reset profile; R8 rewrite profile từ bản không obfuscate sang bản release.
- Bài này không pin version thư viện benchmark; bạn pin trong version catalog và nâng có kiểm soát.
Kiểm thử hiệu năng: ba tầng đo, ba câu hỏi khác nhau
Benchmark là một nhánh của kiểm thử hiệu năng, không phải toàn bộ nó. Load, stress hay stability testing trả lời câu hỏi hệ thống chịu được bao nhiêu tải; benchmark trả lời một tác vụ cụ thể tốn bao nhiêu thời gian. Trên Android có ba tầng:
| Tầng | Đo cái gì | Dùng khi nào |
|---|---|---|
| Microbenchmark | Một hàm, một vòng lặp, chi phí cấp phát trong process test | So sánh hai cách parse, sort, format; tối ưu CPU-bound |
| Macrobenchmark | Startup, scroll, animation của app thật qua UI Automator | Chặn regression của luồng người dùng quan trọng trong CI |
| Play Vitals | Khởi động nguội, ANR, frame chậm trên thiết bị người dùng thật | Xác nhận kết quả lab có đến được người dùng hay không |
Microbenchmark cho tín hiệu nhanh khi refactor thuật toán; Macrobenchmark bắt chi phí tổng hợp của DEX, Compose, disk I/O và khởi tạo dependency; Play Vitals cho biết phân bố thiết bị thật. Chỉ nhìn một tầng, bạn dễ tối ưu đúng thứ không ai cảm nhận.
Macrobenchmark: đo thứ người dùng thấy
Macrobenchmark chạy trong module com.android.test riêng, khởi chạy app mục tiêu và điều khiển UI bằng UI Automator. StartupTimingMetric trả về timeToInitialDisplayMs (TTID — frame đầu tiên) và timeToFullDisplayMs (TTFD — chỉ có khi app gọi reportFullyDrawn() hoặc dùng ReportDrawnWhen của Compose). FrameTimingMetric trả về frameDurationCpuMs và frameOverrunMs theo p50/p90/p95/p99, kèm số frame vượt ngân sách — jank có số liệu, không phải cảm giác.
Module benchmark cần variant giống production:
// File: app/build.gradle.kts
android {
buildTypes {
create("benchmark") {
initWith(getByName("release"))
signingConfig = signingConfigs.getByName("debug")
matchingFallbacks += listOf("release")
}
}
}
dependencies {
implementation("androidx.profileinstaller:profileinstaller")
}
initWith(getByName("release")) giữ isMinifyEnabled = true, isShrinkResources = true và isDebuggable = false; chỉ chữ ký đổi sang debug key. Đừng tạo variant “benchmark” với minifyEnabled false — số đo sẽ đẹp hơn production một cách vô nghĩa.
Hai bài test startup và scroll, chạy được trên thiết bị thật:
// File: macrobenchmark/src/main/java/com/evotek/benchmark/StartupAndScrollBenchmark.kt
package com.evotek.benchmark
import androidx.benchmark.macro.BaselineProfileMode
import androidx.benchmark.macro.CompilationMode
import androidx.benchmark.macro.FrameTimingMetric
import androidx.benchmark.macro.MacrobenchmarkRule
import androidx.benchmark.macro.StartupMode
import androidx.benchmark.macro.StartupTimingMetric
import androidx.benchmark.macro.junit4.measureRepeated
import androidx.test.ext.junit.runners.AndroidJUnit4
import androidx.test.uiautomator.By
import androidx.test.uiautomator.Direction
import androidx.test.uiautomator.uiAutomator
import org.junit.Rule
import org.junit.Test
import org.junit.runner.RunWith
private const val TARGET = "com.evotek.app"
@RunWith(AndroidJUnit4::class)
class StartupAndScrollBenchmark {
@get:Rule
val benchmarkRule = MacrobenchmarkRule()
@Test
fun startupCold() = benchmarkRule.measureRepeated(
packageName = TARGET,
metrics = listOf(StartupTimingMetric()),
compilationMode = CompilationMode.Partial(
baselineProfileMode = BaselineProfileMode.Require
),
iterations = 10,
startupMode = StartupMode.COLD,
setupBlock = { pressHome() }
) {
uiAutomator {
startApp(TARGET)
onElement(5_000) { viewIdResourceName == "feed_list" }
}
}
@Test
fun scrollFeed() = benchmarkRule.measureRepeated(
packageName = TARGET,
metrics = listOf(FrameTimingMetric()),
compilationMode = CompilationMode.Partial(
baselineProfileMode = BaselineProfileMode.Require
),
iterations = 10,
startupMode = StartupMode.WARM,
setupBlock = { startActivityAndWait() }
) {
val list = device.findObject(By.res("feed_list"))
list.setGestureMargin(device.displayWidth / 5)
list.fling(Direction.DOWN)
device.waitForIdle()
}
}
iterations = 10 là mức tối thiểu để có phân vị; ít hơn thì p90 gần như vô nghĩa. Với Compose, UI Automator chỉ thấy node khi bạn bật testTagAsResourceId trên semantics của element gốc, nếu không hãy dùng android:id truyền thống. Thiếu device.waitForIdle(), frame cuối có thể bị cắt và bạn đo thiếu jank.
Một animation sai duration hoặc LaunchedEffect chạy lại mỗi frame cũng đủ làm p99 tăng; nếu nghi phần animation, đọc Animations trong Android trước khi sửa code scroll.
Compilation mode: con số của bạn đang đo trạng thái nào?
ART không chạy code như nhau ở mọi lần cài. Macrobenchmark cho phép chọn mức pre-compile, mỗi mức tương ứng một trạng thái người dùng:
| Chế độ | ART làm gì | Đại diện cho |
|---|---|---|
CompilationMode.None() |
Không AOT; mọi thứ qua interpreter/JIT | Cài mới, chưa có profile — trường hợp xấu nhất |
CompilationMode.Partial() |
Chỉ pre-compile các method trong profile; có thể cộng warmup để tạo JIT cache | Cài mới có Baseline Profile, hoặc sau vài lần sử dụng |
CompilationMode.Full() |
AOT toàn bộ APK | Không đại diện người dùng, nhưng số ổn định để so sánh thuần code |
CompilationMode.Partial(baselineProfileMode = BaselineProfileMode.Require) là benchmark mặc định nên có trong CI: nó cài Baseline Profile và fail nếu app không có profile. Muốn mô phỏng “đã dùng app một thời gian”, dùng Partial(baselineProfileMode = BaselineProfileMode.Disable, warmupIteration = 3). Đo cả hai để thấy khoảng cách giữa lần mở đầu và lần thứ mười — khoảng cách lớn nghĩa là vấn đề nằm ở profile.
Từ Android 14 (API 34), thư viện reset compilation state giữa các lần mà không cần cài lại APK; trên máy cũ hơn, mỗi iteration có thể phải reinstall nên tổng thời gian chạy tăng mạnh. CompilationMode.Ignore() dành khi bạn tự quản lý compilation state, đừng dùng cho số liệu startup công bố ra ngoài.
Baseline Profile và Startup Profile: nền tảng của mọi so sánh
Baseline Profile là danh sách method/class được AOT-compile ngay khi cài, giúp app tránh interpreter và JIT ở những đường code quan trọng. Google công bố mức cải thiện khoảng 30% cho lần chạy đầu; profile nằm trong APK/AAB dưới dạng assets/dexopt/baseline.prof, Play phân phối kèm bản cài, ART compile trước khi người dùng mở app.
Startup Profile là tập con dùng ở compile time để R8 xếp code khởi động vào DEX chính. Từ AGP 8.2, R8 rewrite cả hai loại profile từ bản không obfuscate sang bản release, nên bạn không phải viết rule cho từng class: sinh profile trên build không minify, nhưng ship profile trong build có R8.
Generator đặt trong module baselineprofile, dùng BaselineProfileRule:
// File: baselineprofile/src/main/java/com/evotek/baselineprofile/BaselineProfileGenerator.kt
package com.evotek.baselineprofile
import androidx.benchmark.macro.junit4.BaselineProfileRule
import androidx.test.ext.junit.runners.AndroidJUnit4
import androidx.test.uiautomator.uiAutomator
import org.junit.Rule
import org.junit.Test
import org.junit.runner.RunWith
@RunWith(AndroidJUnit4::class)
class BaselineProfileGenerator {
@get:Rule
val rule = BaselineProfileRule()
@Test
fun startupAndFeed() = rule.collect(
packageName = "com.evotek.app",
includeInStartupProfile = true
) {
uiAutomator {
startApp("com.evotek.app")
onElement(5_000) { viewIdResourceName == "feed_list" }
onElement { viewIdResourceName == "feed_list" }.fling(
androidx.test.uiautomator.Direction.DOWN
)
}
}
}
Phần startup nằm trong block có includeInStartupProfile = true; phần scroll chỉ thuộc Baseline Profile. Đừng nhét mọi journey vào Startup Profile — DEX chính phình ra làm chậm đúng thứ bạn muốn nhanh. Lệnh sinh profile:
# Sinh Baseline + Startup Profile cho variant release mặc định
./gradlew :app:generateBaselineProfile
# Với product flavor, dùng task theo variant
./gradlew :app:generateDemoReleaseBaselineProfile
Task ghi kết quả vào app/src/<variant>/generated/baselineProfiles/ và cần một thiết bị/emulator API 33+ (không root) hoặc thiết bị root; với Gradle Managed Device phải dùng systemImageSource = "aosp". Commit thư mục generated, vì đó là input của build release — không phải artifact tạm.
ProfileInstaller là mảnh cuối: nó cài profile ở lần chạy đầu trên Android 7+, còn Play gửi profile kèm bản cài. Thư viện tự đăng ký qua ProfileInstallerInitializer, nên thêm dependency là đủ; với kênh ngoài Play, gọi ProfileInstaller.writeProfile(context) ngoài main thread — profile không cài được sẽ khiến benchmark Partial fail.
Microbenchmark: khi câu hỏi chỉ là “đoạn code này nhanh hay chậm”
Microbenchmark chạy trong process test, không khởi chạy UI, nên đo được chi phí CPU và allocation của một đoạn code cụ thể. Dùng BenchmarkRule và measureRepeated:
// File: benchmark/src/main/java/com/evotek/microbenchmark/NormalizeBenchmark.kt
package com.evotek.microbenchmark
import androidx.benchmark.junit4.BenchmarkRule
import androidx.benchmark.junit4.measureRepeated
import androidx.test.ext.junit.runners.AndroidJUnit4
import org.junit.Rule
import org.junit.Test
import org.junit.runner.RunWith
@RunWith(AndroidJUnit4::class)
class NormalizeBenchmark {
@get:Rule
val benchmarkRule = BenchmarkRule()
private val input = List(2_000) { " Item $it " }
@Test
fun normalizeWithRegex() = benchmarkRule.measureRepeated {
input.map { it.trim().lowercase() }
}
}
Đọc timeNs và allocationCount trong JSON, không chỉ nhìn ms trên màn hình. Biến đổi chuỗi nhỏ thường bị lấn át bởi nhiễu nếu mỗi iteration quá ngắn; tăng khối lượng công việc trong block đo thay vì tăng số iteration. Và nhớ: Microbenchmark không nhìn thấy R8, không nhìn thấy startup, không nhìn thấy Compose — đừng dùng nó để tuyên bố “app khởi động nhanh hơn 30%”.
Đừng đo những thứ này
- UI trong unit test JVM. Robolectric hay Compose UI test trên JVM không có render thật, GPU hay ART; số ở đó là số của JVM trên CI runner. UI thuộc Macrobenchmark hoặc instrumented test, không thuộc kiểm thử đơn vị với JUnit.
- Build debug. Debuggable tắt tối ưu, bật hook debug và đổi cách ART compile; Macrobenchmark sẽ từ chối chạy — đừng suppress lỗi đó.
- Emulator. Kết quả gắn với host CPU và virtualization. Chỉ dùng emulator/GMD để sinh profile hoặc smoke test, không lấy số.
CI trên thiết bị thật: biến số đo thành hàng rào
Benchmark trong CI không phải test pass/fail thông thường mà là chuỗi số theo thời gian:
- Thiết bị cố định. Một máy tầm trung (hoặc thêm flagship) cắm vào runner, cùng model và ROM, pin 70–90%, không sạc, tắt sync và notification.
- Tách build và chạy. Build
:app:assembleBenchmarkvà:macrobenchmark:assembleBenchmark, cài bằngadb install, chạy bằngam instrumentvớiAndroidJUnitRunner; hoặc để./gradlew :macrobenchmark:connectedChecklàm cả hai. - Lưu artifact. JSON và
.perfetto-traceđược copy vềbuild/outputs/connected_android_test_additional_output/; upload làm artifact để so sánh giữa các commit. - Baseline động. Lấy median 7–14 ngày gần nhất của cùng thiết bị làm mốc; cảnh báo khi p50 tăng quá 10% hoặc p90 quá 15% trong hai lần chạy liên tiếp. Ngưỡng tuyệt đối như “startup dưới 500 ms” chỉ đúng với một máy.
Đừng suppress EMULATOR, DEBUGGABLE hay LOW-BATTERY trong pipeline production. Các cờ androidx.benchmark.suppressErrors dành cho thí nghiệm có chủ đích, không phải để pipeline xanh. Nếu runner không có thiết bị thật, coi job benchmark là tham khảo, đừng chặn merge bằng số từ máy ảo.
Perfetto, trace và Play Vitals: từ số về nguyên nhân
Mỗi iteration của Macrobenchmark sinh một trace riêng. Mở bằng Android Studio Profiler hoặc ui.perfetto.dev; Perfetto thấy cả hệ thống, nên là nơi tìm nguyên nhân khi số liệu chỉ nói “chậm”. Thêm TraceSectionMetric("FeedBind") quanh đoạn bind item, hoặc android.os.Trace.beginSection() trong app, để trace có nhãn thay vì chỉ tên hàm.
Đọc trace theo thứ tự: frame deadline, main thread, RenderThread, rồi I/O. Frame vượt ngân sách vì main thread chờ disk khác với GPU không theo kịp; cách sửa khác. Khi có manh mối, Timber, Chucker và LeakCanary giúp loại trừ leak, network hay logging đồng bộ.
Play Vitals xác nhận cuối: khởi động nguội, ANR và frame chậm trên thiết bị người dùng. Nếu lab giảm 20% mà Vitals không đổi, hoặc bạn đo ngoài phân bố người dùng, hoặc thay đổi không chạm đường code thật. Vitals xấu đi sau release dù lab đẹp thường vì profile không được cài hoặc R8 config khác.
Bẫy thường gặp
- Benchmark build debug. Debuggable làm chậm có hệ thống và vô hiệu hoá tối ưu; dùng variant
benchmarkkế thừa release, non-debuggable. - Đo trên emulator. Emulator chia CPU với host, không có thermal profile thật; dùng thiết bị vật lý, cố định model.
- Đo một lần rồi kết luận. Một lần chạy không tách được tín hiệu khỏi nhiễu; tối thiểu 10 iteration.
- Bỏ qua variance. Chỉ nhìn median là bỏ mất p90/p99 — nơi người dùng cảm nhận jank. Báo cáo phân vị và số frame vượt ngân sách.
- Máy đang sạc hoặc quá nóng. Sạc làm CPU throttle; chờ máy nguội, pin ổn định, tắt sạc, theo dõi
thermalThrottleSleepSeconds. - Thêm metric không có baseline. Metric mới mà không có mốc lịch sử thì không ai biết tốt hay xấu; thêm cùng lúc với baseline thiết bị.
- Tắt R8 khi benchmark. Build không minify nhanh hơn và không giống bản phát hành; chỉ tắt R8 cho variant sinh profile.
Checklist
- Tạo variant
benchmarkkế thừa release, bật R8, ký debug key, thêmprofileablecho app mục tiêu. - Viết benchmark startup (COLD,
StartupTimingMetric) và scroll (FrameTimingMetric), ít nhất 10 iteration, báo cáo p90. - Sinh Baseline + Startup Profile bằng
:app:generateBaselineProfile, commit thư mục generated, thêm ProfileInstaller. - Đo
Partial(Require)đối chiếuNoneđể chứng minh profile có tác dụng trước khi tối ưu code. - CI chạy trên thiết bị thật cố định, upload JSON + trace, cảnh báo theo baseline 7–14 ngày và đối chiếu Play Vitals sau release.
Nhìn tới 2027
Android 17 (API 37) vẫn ở dạng beta, đừng đưa vào kế hoạch target ngay; Kotlin 2.5.0 dự kiến ra tháng 12/2026 nhưng không ảnh hưởng API Benchmark. Áp lực thật sự đến từ Play Vitals và yêu cầu target API hàng năm: benchmark trở thành cổng release, không còn là bài tập cuối dự án.
Nếu mới bắt đầu, đọc Android Developer Roadmap để đặt kiểm thử hiệu năng vào đúng vị trí trong lộ trình.



