Bắt Đầu Với Elasticsearch Cho Lập Trình Viên .NET: Một Chặng Đường Mới Trong Lộ Trình Phát Triển Ứng Dụng

Elasticsearch không phải “SQL Server nhanh hơn cho tìm kiếm”. Nó là một inverted index phân tán, và mọi thứ bạn làm với nó — mapping, analyzer, kích thước shard, cách phân trang — đều xoay quanh một câu hỏi: bạn muốn tài liệu được tokenize như thế nào để truy vấn tìm lại đúng. Hiểu sai điểm này là lý do phổ biến nhất khiến một index Elasticsearch chạy chậm hoặc trả kết quả vô nghĩa.

Cập nhật 2026

  • Server Elasticsearch 9.x; client chính thức cho .NET là Elastic.Clients.Elasticsearch 9.5.3.
  • NEST đã ngừng phát triển. Từ dòng 8, Elastic gộp low-level và high-level thành một client duy nhất là Elastic.Clients.Elasticsearch. Mọi hướng dẫn dùng Nest 7.17 hay thuộc tính IsValid đều thuộc về quá khứ.
  • Giấy phép server là Elastic License 2.0 hoặc SSPL — không phải open source theo định nghĩa OSI. Đây là quyết định pháp lý, không phải chi tiết kỹ thuật.
  • Nếu mục tiêu chỉ là tìm kiếm trong vài triệu bản ghi có sẵn Postgres, full-text của Postgres có thể đã đủ.

Index, mapping, analyzer: mô hình tinh thần

Một index là tập hợp document JSON, được chia thành shard, mỗi shard là một index Lucene. Mapping khai báo kiểu cho từng field; analyzer quyết định chuỗi được cắt thành token ra sao. Hai thứ này phải được thiết kế cùng nhau, vì sửa mapping sau khi đã có dữ liệu thường đồng nghĩa với reindex toàn bộ.

Với field chuỗi, bạn có hai lựa chọn và nên dùng cả hai:

  • text — được analyze: lowercase, bỏ dấu câu, cắt từ. Dùng cho match, tìm toàn văn.
  • keyword — giữ nguyên giá trị. Dùng cho filter chính xác, sort, aggregation, và phân trang ổn định.

Mẫu phổ biến là multi-field: title kiểu text kèm sub-field title.keyword. Dynamic mapping của Elasticsearch 9.x vẫn tạo cặp này cho string, nhưng nó không biết gì về nghiệp vụ của bạn — status bị map thành text là lỗi bạn sẽ gặp trong mọi dashboard.

Với tiếng Việt, cần nói thẳng: Elasticsearch không có analyzer tiếng Việt chính thức. Bạn có ba đường — dùng plugin cộng đồng, chuẩn hóa bỏ dấu trước khi index rồi tìm cả hai dạng, hoặc tự viết analyzer với filter tùy chỉnh. Cả ba đều cần bộ test truy vấn thật, vì “tìm đúng” ở tiếng Việt là bài toán có dấu và không dấu, không chỉ là tokenize.

Kết nối từ .NET với Elastic.Clients.Elasticsearch 9.5.3

// File: Program.cs
using Elastic.Clients.Elasticsearch;
using Elastic.Transport;

var settings = new ElasticsearchClientSettings(new Uri(builder.Configuration["Elastic:Uri"]!))
    .Authentication(new BasicAuthentication(
        builder.Configuration["Elastic:User"]!,
        builder.Configuration["Elastic:Password"]!))
    .DefaultIndex("posts")
    .EnableDebugMode(); // chỉ bật khi debug; log cả request body

builder.Services.AddSingleton(new ElasticsearchClient(settings));

Client giữ connection pool và thread-safe, nên đăng ký singleton. Đừng tạo client mới mỗi request — mỗi lần như vậy là một pool mới, và bạn sẽ thấy lỗi socket exhaustion đúng kiểu HttpClient.

Kết quả trả về không còn IsValid. Dùng IsValidResponse, và nhớ rằng một bulk request có thể thành công ở cấp HTTP nhưng thất bại ở từng item — phải kiểm tra Items.

Mapping tường minh: làm một lần, đúng ngay

Mapping nên được tạo bằng REST (Dev Tools hoặc curl) và commit vào repo dưới dạng file cấu hình, vì nó là schema của index chứ không phải logic ứng dụng.

PUT /posts
{
  "settings": {
    "number_of_shards": 1,
    "number_of_replicas": 1,
    "refresh_interval": "30s"
  },
  "mappings": {
    "properties": {
      "id":          { "type": "keyword" },
      "title":       { "type": "text", "analyzer": "standard",
                       "fields": { "keyword": { "type": "keyword", "ignore_above": 256 } } },
      "body":        { "type": "text" },
      "tags":        { "type": "keyword" },
      "publishedAt": { "type": "date" },
      "authorId":    { "type": "keyword" }
    }
  }
}

number_of_shards không thể sửa sau khi tạo index (chỉ reindex hoặc shrink). Với dữ liệu dưới vài chục GB, một shard là đủ; nhiều shard nhỏ làm cluster chậm vì overhead per-shard. refresh_interval 30 giây trong lúc bulk load là mẹo tăng throughput đơn giản nhất.

Index và bulk: đừng gửi từng document

// File: Search/PostIndexer.cs
public sealed class PostIndexer(ElasticsearchClient client)
{
    public Task IndexOneAsync(Post post, CancellationToken ct) =>
        client.IndexAsync(post, i => i.Index("posts").Id(post.Id), ct);

    public async Task<int> BulkAsync(IReadOnlyList<Post> posts, CancellationToken ct)
    {
        var response = await client.BulkAsync(b => b
            .Index("posts")
            .IndexMany(posts, (op, doc) => op.Id(doc.Id)), ct);

        var failed = response.Items.Where(i => i.Error is not null).ToList();
        if (failed.Count > 0)
            throw new InvalidOperationException($"{failed.Count} document lỗi khi bulk index");

        return response.Items.Count;
    }
}

Batch hợp lý là 5–15 MB mỗi request, không phải 5.000 document cố định — kích thước document thay đổi rất nhiều giữa các domain. Bulk không phải transaction: một item lỗi không rollback các item khác, nên phải đọc Items và retry theo item, không retry cả batch.

Truy vấn và relevance

// File: Search/PostSearch.cs
public async Task<IReadOnlyList<Post>> SearchAsync(string keyword, CancellationToken ct)
{
    var response = await _client.SearchAsync<Post>(s => s
        .Index("posts")
        .Query(q => q.Bool(b => b
            .Must(m => m.Match(mm => mm.Field("title").Query(keyword)))
            .Filter(f => f.Term(t => t.Field("tags").Value("dotnet")))
        ))
        .Size(20), ct);

    return response.IsValidResponse ? response.Documents.ToList() : [];
}

Điểm quan trọng về relevance: must tham gia tính _score, filter thì không — và filter được cache. Điều kiện loại trừ cứng (trạng thái, tenant, ngày) phải nằm trong filter. Đưa chúng vào must làm score nhiễu và tắt cache. title^3 là cách tăng trọng số field rẻ nhất trước khi nghĩ tới function_score.

Scoring mặc định là BM25. Nếu bạn cần “bài mới hơn nhô cao hơn” hay “bài của tác giả đang theo dõi lên trước”, đó là function_score hoặc một pipeline xếp hạng riêng — đừng cố nhồi vào analyzer.

Phân trang: from/size và search_after

from + size tiện cho UI nhưng có trần mặc định 10.000 kết quả (index.max_result_window). Vượt trần thì phải tăng window — và mỗi request càng sâu càng tốn: coordinator phải giữ from + size document từ mọi shard rồi sort lại.

var page = await client.SearchAsync<Post>(s => s
    .Index("posts")
    .From(20)   // bỏ 20 kết quả đầu
    .Size(10), ct);

Cho danh sách vô hạn hoặc export, dùng search_after với một sort có tiebreaker duy nhất:

POST /posts/_search
{
  "size": 50,
  "sort": [ { "publishedAt": "desc" }, { "id": "asc" } ],
  "search_after": [ "2026-10-31T08:00:00Z", "p-00042" ]
}

Tiebreaker là bắt buộc. Nếu hai document cùng publishedAt và bạn chỉ sort theo thời gian, trang sau có thể lặp hoặc bỏ sót bản ghi. Để có snapshot nhất quán trong lúc người dùng cuộn, mở Point-in-Time (POST /posts/_pit?keep_alive=1m) và dùng pit.id trong mỗi request; PIT giữ các segment cũ sống trong khoảng keep-alive.

ILM và snapshot: hai thứ khác nhau

ILM (Index Lifecycle Management) quản lý vòng đời index theo rollover: hot → warm → cold → delete. Với log, bạn dùng data stream (logs-app-*) và policy rollover theo kích thước hoặc tuổi index, sau đó chuyển shard đi và xóa theo retention.

PUT _ilm/policy/posts-policy
{
  "policy": {
    "phases": {
      "hot":    { "actions": { "rollover": { "max_primary_shard_size": "30gb" } } },
      "delete": { "min_age": "90d", "actions": { "delete": {} } }
    }
  }
}

ILM không phải backup. Snapshot là bản sao sang repository ngoài cluster (fs, S3, GCS, Azure), và snapshot của một index đã xóa vẫn khôi phục được — nhưng chỉ khi repository còn. Đừng copy thư mục data/ của node và gọi đó là backup: cluster đang chạy, segment đang merge, bản copy không nhất quán. Snapshot API và SLM (chụp định kỳ) là con đường duy nhất.

License, bảo mật và lựa chọn thay thế

Elasticsearch 7.11 đổi giấy phép sang Elastic License 2.0 và SSPL. Hệ quả thực tế: bạn được dùng miễn phí nhiều tính năng, nhưng không được cung cấp nó như một dịch vụ managed cho bên thứ ba, và “open source” theo OSI thì không còn đúng. Nhiều tổ chức vẫn chấp nhận; một số (đặc biệt ở khu vực công) thì không. Kiểm tra với legal trước khi thiết kế xong.

Về bảo mật: bật TLS và authentication ngay từ môi trường dev, đừng để “sẽ bật ở prod”. Document-level và field-level security là tính năng trả phí; nếu bạn cần che dữ liệu theo tenant, hãy thiết kế index theo tenant hoặc lọc ở tầng ứng dụng thay vì tin vào một cấu hình chưa mua.

OpenSearch là fork Apache 2.0 do AWS dẫn dắt, API tương thích phần lớn. Nếu giấy phép là rào cản, nó là lựa chọn hợp lý; đổi lại bạn phải chấp nhận một hệ sinh thái client và plugin khác, và client .NET không còn là Elastic.Clients.Elasticsearch.

Khi nào dùng Elasticsearch, khi nào Postgres full-text

Nhu cầu Chọn Lý do
Tìm theo từ khóa trên vài triệu bản ghi, có sẵn Postgres Postgres tsvector + GIN + pg_trgm Một hệ thống, transaction nhất quán, không đồng bộ hai nơi
Facet, aggregation, relevance tuning, typo tolerance Elasticsearch Đây là phần Lucene làm tốt hơn hẳn
Log, APM, phân tích theo thời gian Elasticsearch + data stream + ILM Ingest, rollover, retention có sẵn
Đa ngôn ngữ, analyzer tùy biến Elasticsearch Plugin analyzer và per-field analyzer
Dữ liệu nhỏ, ít thay đổi, tìm kiếm đơn giản ILIKE + index trigram Vận hành một cluster chỉ để làm việc này là overkill

Mẫu lành mạnh là Postgres giữ nguồn sự thật, Elasticsearch giữ read model để tìm. Đồng bộ bằng outbox + background worker, không ghi song song hai nơi trong cùng request — nếu Elasticsearch chết, giao dịch của bạn vẫn phải thành công.

Đừng index PII một cách mù quáng

Index là bản sao dữ liệu, và bản sao thì cũng phải tuân thủ. Ba việc tối thiểu:

  • Không đưa vào index những field bạn không bao giờ tìm: số CCCD, số thẻ, token, mật khẩu hash, địa chỉ đầy đủ.
  • Nếu buộc phải index email/số điện thoại để tra cứu, dùng keyword với quyền truy cập hẹp, và ghi rõ retention trong ILM.
  • Kiểm tra mapping — dynamic mapping sẽ tự index bất cứ field lạ nào client gửi lên. Một POST có field debugPayload là đủ để token người dùng nằm vĩnh viễn trong shard.

Bật "dynamic": "strict" cho index chứa dữ liệu người dùng. Nó làm request lỗi thay vì âm thầm tạo field mới — đúng loại lỗi bạn muốn thấy sớm.

Hướng tới 2027

Elasticsearch 9.x là dòng hiện tại; các bản 8.x cũ dần ra khỏi hỗ trợ. Về .NET, .NET 11 GA tháng 11/2026 (STS) và .NET 12 LTS năm 2027 — client 9.x chạy tốt trên cả .NET 10 và 11. Việc cần làm trong năm nay là migrate khỏi .NET 8/9 trước 2026-11-10, và dọn các index còn mapping động.

Checklist

  • Tạo index bằng mapping tường minh, commit file mapping vào repo.
  • Đặt điều kiện lọc cứng trong filter, không trong must.
  • Bulk theo MB, kiểm tra Items, retry theo item.
  • Phân trang sâu bằng search_after + tiebreaker; UI thường dùng from/size.
  • Bật ILM cho log, snapshot cho mọi index quan trọng.
  • Bật TLS/auth từ dev; rà PII trong mapping trước khi index bản ghi thật.

Đọc tiếp: NoSQL với MongoDB và LiteDB để so sánh mô hình document; chọn cơ sở dữ liệu phù hợp cho phần nguồn sự thật; và ghi log có cấu trúc với Serilog nếu bạn định đưa log vào Elasticsearch.