Tanım
N-gram, metin veya konuşma verisinde ardışık N adet karakter, kelime ya da token grubunu ifade eden dil işleme birimidir. NLP, metin madenciliği, arama sistemleri ve dil modelleme çalışmalarında kullanılır.
N değeri kaç öğenin birlikte ele alındığını gösterir. Tek öğeli yapı unigram, iki öğeli yapı bigram, üç öğeli yapı trigram olarak adlandırılır. Örneğin “AI Search önemli” ifadesinde “AI Search” bir bigram, “AI Search önemli” bir trigram olabilir.
N-gram yaklaşımı, metin içindeki kelime dizilimlerini, sık kullanılan ifadeleri, bağlam kırıntılarını ve dil örüntülerini analiz etmeye yardımcı olur. Modern embedding ve transformer tabanlı sistemler daha gelişmiş bağlam anlayışı sunsa da N-gram hâlâ birçok analizde kullanışlıdır.
Kökeni
N-gram kavramı, istatistiksel dil modelleme ve olasılık temelli metin analizinden gelir. Bir dilde hangi kelime veya karakter dizilerinin birlikte görülme olasılığını anlamak, metin tahmini ve sınıflandırma için değerli olmuştur.
Erken NLP sistemlerinde N-gram modelleri, sonraki kelimeyi tahmin etmek, yazım düzeltmek, dil tanımak veya metin benzerliği ölçmek için yaygın biçimde kullanıldı.
Bugün büyük dil modelleri çok daha karmaşık bağlam ilişkileri kurabilse de N-gram analizi basit, açıklanabilir ve hızlı bir metin özelliği çıkarma yöntemi olarak kullanılmaya devam eder.
Nerelerde Kullanılır?
N-gram; metin sınıflandırma, spam detection, sentiment analysis, arama önerileri, yazım düzeltme, dil tanıma, duplicate content analizi ve keyword phrase keşfinde kullanılır.
SEO tarafında N-gram analizi, içeriklerde sık geçen kelime gruplarını, rakip içeriklerin ortak ifade kalıplarını veya arama sorgularındaki uzun kuyruklu yapılarını incelemek için kullanılabilir.
Veri analitiğinde müşteri yorumları veya destek talepleri N-gram seviyesinde analiz edilerek kullanıcıların en sık hangi sorunları birlikte ifade ettiği bulunabilir.
Örnek Kullanım
Bir müşteri yorum veri setinde “kargo geç”, “ürün kaliteli” ve “müşteri hizmetleri” gibi sık görülen bigramlar analiz edilerek kullanıcı deneyimi hakkında içgörü çıkarılabilir.
Bir NLP uzmanı, “Metin sınıflandırma modelinde unigram ve bigram özelliklerini birlikte deneyelim” diyebilir.
Karıştırılan Kavramlar
- N-gram ve Token: Token tekil metin parçasıdır. N-gram ardışık token veya karakter grubudur.
- N-gram ve Keyword: Keyword hedeflenen arama ifadesidir. N-gram metin içindeki ardışık ifade birimidir.
- N-gram ve Embedding: Embedding metni sayısal vektöre dönüştürür. N-gram metni ardışık parçalara böler.
- N-gram ve Language Model: Language Model dil örüntülerini modelleyen sistemdir. N-gram basit dil modelleme yaklaşımı olabilir.
İlgili Terimler
- NLP
- Token
- Text Mining
- Language Model
- Embedding
- Keyword Research
- Semantic Search
- Text Classification
- Similarity Analysis
Büyüme Mimarisi Notu
N-gram, büyüme mimarisinde kullanıcı dilini daha ayrıntılı analiz etmeye yardımcı olur. Arama sorguları, yorumlar ve destek talepleri içindeki tekrar eden ifade kalıpları görünür hale gelir.
Ancak N-gram yalnızca yüzeysel kelime birlikteliklerini gösterir. Gerçek anlam ve niyet analizi için semantik yöntemler, embedding ve bağlam değerlendirmesiyle birlikte kullanılmalıdır.