Elasticsearch 高手之路
  • Introduction
  • First Chapter
  • 1.ElasticSearch 5.x 安装
    • 1.1.Window 环境
    • 1.2.Linux 环境
  • 2.基础学前班
  • 3.基础
    • 3.1.配置文件
    • 3.2.Mapping
      • 3.2.1.字段的数据类型
        • 3.2.1.1.核心数据类型
        • 3.2.1.2.复合数据类型
        • 3.2.1.3.Geo地理数据类型
        • 3.2.1.4.特定数据类型
      • 3.2.2.Meta-Fields(元字段)
        • _index,_uid,_type,_id 元字段
        • _source,_size 元字段
        • _all, _field_names元字段
        • _parent,_routing 元字段
        • _meta 元字段
      • 3.2.3.Mapping parameters(映射参数)
        • analyzer(分析器)
        • normalizer(归一化)
        • boost(提升)权重
        • Coerce(强制类型转换)
        • copy_to(合并参数)
        • doc_values(文档值)
        • dynamic(动态设置)
        • enabled(开启字段)
        • fielddata(字段数据)
        • format (日期格式)
        • ignore_above(忽略超越限制的字段)
        • ignore_malformed(忽略格式不对的数据)
        • include_in_all(_all 查询包含字段)
        • index_options(索引设置)
        • index (索引)
        • fields(字段)
        • norms (标准信息)
        • null_value(空值)
        • position_increment_gap(短语位置间隙)
        • properties (属性)
        • search_analyzer (搜索分析器)
        • similarity (相似度模型)
        • store(存储)
        • term_vectors(词根信息)
      • 3.2.4.Dynamic Mapping(动态映射)
        • _default_ mapping(mapping中的_default_)
        • Dynamic field mapping(动态字段映射)
        • Dynamic templates(动态模板)
        • Override default template(覆盖默认模板)
    • 3.3. Analysis(分析)
      • 3.3.1.Anatomy of an analyzer(分析器的分析)
      • 3.3.2.Testing analyzers(测试分析器)
      • 3.3.3.Analyzers(分析器)
        • Configuring built-in analyzers(配置内置分析器)
        • Standard Analyzer(标准分析器)
        • Simple Analyzer(简单分析器)
        • Whitespace Analyzer(空格分析器)
        • Stop Analyzer(停止词分词器)
        • Keyword Analyzer(关键词分析器)
        • Pattern Analyzer(模式分析器)
        • Language Analyzers(语言分析器)
        • Fingerprint Analyzer(指纹分析器)
        • Custom Analyzer(自定义分析器)
      • 3.3.4. Tokenizers(分词器)
        • Standard Tokenizer(标准分词器)
        • Letter Tokenizer
        • Lowercase Tokenizer (小写分词器)
        • Whitespace Tokenizerr (空格分词器)
        • UAX URL Email Tokenizer
        • Classic Tokenizer
        • Thai Tokenizer(泰语分词器)
        • NGram Tokenizer
        • Edge NGram Tokenizer
        • Keyword Tokenizer(关键词分词器)
        • Pattern Tokenizer(模式分词器)
        • Path Hierarchy Tokenizer(路径层次分词器)
      • 3.3.5.Token Filters(词语过滤器)
      • 3.3.5.补充1:Token Filters(词语过滤器)
      • 3.3.5.补充2:Token Filters(词语过滤器)
      • 3.3.6.Character Filters(字符过滤器)
        • HTML Strip Character Filter(HTML标签过滤)
        • Mapping Character Filter(字符替换映射)
        • Pattern Replace Character Filter(正则替换字符)
    • 3.4. APIs
      • 3.4.1.索引 APIs (Indices APIs)
        • 创建/删除/获取->索引
        • 启动关闭/缩小/滚动->索引
        • 提交/获取/获取字段->映射
        • 索引->别名/是否存在/类型存在
        • 更新索引/获取->设置(未完成)
        • 分析器、索引模板(未完成)
        • Shadow replica indices 卷影副本索引
        • 索引->统计信息/段
        • 索引->恢复/分片存储
        • 清理缓存/刷新/同步刷新
        • 重新加载/强制合并
      • 3.4.2.文档 APIs (Document APIs)
        • 读写文档(Reading and Writing documents)
        • 索引文档 API
        • 获取/批量获取->文档
        • 删除/根据查询API删除
        • 更新/根据查询API更新
        • Bulk API(批量操作)
        • Reindex API(复制索引)
        • Term Vectors(词条向量)/Multi termvectors API
        • ?refresh
      • 3.4.3.搜索 APIs (Search APIs)
        • Search / URI Search
        • Request Body Search(未完成)
          • Query / From / Size
          • Sort / Source filtering
          • Fields / Script Fields / Doc value Fields
          • Post filter
          • Highlighting
          • Rescoring / Search Type
          • Scroll
          • Preference / Explain
          • Version / Index Boost
          • min_score / Named Queries
          • Inner hits / Search After
          • Field Collapsing 字段折叠
        • Search 模板/Multi Search 模板
        • Search Shards API
        • Suggesters
          • Term suggester
          • Phrase Suggester
          • Completion Suggester
          • Context Suggester
          • 返回suggester的类型
        • Multi Search API
        • Count API
        • Validate API
        • Explain API
        • Profile API
          • Profiling Queries
          • Profiling Aggregations
          • Profiling Considerations
        • Percolator / Field stats API
        • Field Capabilities API
    • 3.5.Query DSL(DSL方式查询)
      • 3.5.1.查询和过滤上下文
      • 3.5.2.Match All 查询
      • 3.5.3.全文搜索(Full Text Search)
        • 匹配查询(Match Query)
        • 短语匹配查询(Match Phrase Query)
        • 短语前缀匹配查询(Match Phrase Prefix Query)
        • 多字段查询(Multi Match Query)
        • 常用术语查询(Common Terms Query)
        • (Query String Query) 未完成
      • 3.5.4.Term级别查询(Term level queries)
        • Term 查询
        • Terms 查询
        • Range 查询(范围查询)
        • Exists 查询(非空值查询)
        • Prefix 查询(前缀查询)
        • Wildcard 查询(通配符查询)
        • Regexp 查询(正则表达式查询)
        • Fuzzy 查询(模糊查询)
        • Type Query(类型查询)
        • Ids Query(ID 查询)
      • 3.5.5.复合查询(Compound queries)
        • Constant Score 查询
        • Bool 查询
        • Dis Max 查询
        • Function Score 查询
        • Boosting 查询
        • Indices 查询
      • 3.5.6.Joining 查询(连接查询)
        • Nested Query(嵌套查询)
        • Has Child Query
        • Has Parent Query
        • Parent Id Query
      • 3.5.7.地理位置查询 (Geo queries)
        • GeoShape Query(地理形状查询)
        • Geo Bounding Box Query(地理边框查询)
        • Geo Distance Query(地理距离查询)
        • Geo Distance Range Query(地理距离范围查询)
        • Geo Polygon Query(地理多边形查询)
      • 3.5.8.专业查询(Specialized queries)
      • 3.5.9.Span 查询
        • Span Term 查询
        • Span Multi Term 查询
        • Span First 查询
        • Span Near 查询
        • Span Or 查询
        • Span Not 查询
        • Span Containing 查询
        • Span Within 查询
        • Span Field Masking 查询
    • 3.6.Aggregations(聚合分析)
      • 3.6.1.量度聚合(Metric Aggregations)
        • 平均值聚合(Avg Aggregation)
        • 基数聚合(Cardinality Aggregation)
        • 扩展统计聚合( Extended Stats Aggregation)
        • 地理边界聚合(Geo Bounds Aggregation)
        • 地理重心聚合(Geo Centroid Aggregation)
        • 最大值聚合(Max Aggregation)
        • 最小值聚合(Min Aggregation)
        • Percentiles Aggregation
        • Percentile Ranks Aggregation
        • Scripted Metric Aggregation
        • Stats Aggregation
        • 总和聚合(Sum Aggregation)
        • Top hits Aggregation
        • Value Count Aggregation
      • 3.6.2.桶聚合(Bucket Aggregations)
        • 邻接矩阵聚合(Adjacency Matrix Aggregation)
        • Children Aggregation
        • 日期直方图聚合(Date Histogram Aggregation)
        • 日期范围聚合(Date Range Aggregation)
        • 多元化的采样器聚集(Diversified Sampler Aggregation)
        • 过滤器聚合(Filter Aggregation)
        • 多过滤器聚合(Filters Aggregation)
        • 地理距离聚合(Geo Distance Aggregation)
        • GeoHash网格聚合(GeoHash grid Aggregation)
        • 全局聚合(Global Aggregation)
        • 直方图聚合(Histogram Aggregation)
        • IP范围聚合(IP Range Aggregation)
        • 丢失字段聚合(Missing Aggregation)
        • 嵌套聚合(Nested Aggregation)
        • 范围聚合(Range Aggregation)
        • Reverse nested Aggregation
        • 采样聚合(Sampler Aggregation)
        • Significant Terms Aggregation
      • 3.6.3.管道聚合(Pipeline Aggregations)
        • 平均值桶聚合( Avg Bucket Aggregation)
        • 导数聚合(Derivative Aggregation)
        • 最大值桶聚合(Max Bucket Aggregation)
        • 最小值桶聚合(Min Bucket Aggregation)
        • 总和桶聚合(Sum Bucket Aggregation)
        • 统计桶聚合(Stats Bucket Aggregation)
        • 扩展信息桶聚合(Extended Stats Bucket Aggregation)
        • 百分数桶聚合(Percentiles Bucket Aggregation)
        • Moving Average Aggregation
        • 累积汇总聚合(Cumulative Sum Aggregation)
        • 桶脚本聚合(Bucket Script Aggregation)
        • 桶选择器聚合(Bucket Selector Aggregation)
        • 串行差异聚合(Serial Differencing Aggregation)
      • 3.6.4.矩阵聚合(Matrix Aggregations)
        • 矩阵统计(Matrix Stats)
      • 3.6.5.缓存频繁聚合(Caching heavy aggregations)
      • 3.6.6.仅返回需要聚合的结果(Returning only aggregation results)
      • 3.6.7.聚合元数据(Aggregation Metadata)
      • 3.6.8.返回聚合的类型(Returning the type of the aggregation)
    • Glossary of terms (词汇表)
    • 未完成的任务
  • 4.基础补充总结
    • 3.2.Mapping
    • 3.3.分析器与定义自己的分析器(Analyzer)
  • 原理
  • 实战
    • 结构化搜索
    • 聚合分析
    • 数据建模
    • 应用场景
  • PHP API
    • 安装与快速入门
    • 配置
    • 实战
  • 资料
  • 笔记
    • 1.x 升级 2.x
Powered by GitBook
On this page
  • script_score
  • weight
  • Random
  • field_value_factor
  • Decay functions
  • Supported decay functions
  • Multi-values fields
  • Detailed example
  • Normal decay, keywordgauss
  • Exponential decay, keywordexp
  • Linear decay, keywordlinear
  • 衰减函数支持的范围
  • 缺少字段时如何处理?

Was this helpful?

  1. 3.基础
  2. 3.5.Query DSL(DSL方式查询)
  3. 3.5.5.复合查询(Compound queries)

Function Score 查询

function_score 允许你修改一个查询检索文档的分数。举例来讲,当得分函数计算代价高昂并且足以在经过滤的文档集合上计算得分,这种查询是有用的。

使用 function_score ,用户需要定义一个查询和一个或多个功能,即计算用于由查询返回的每个文档的新得分。

function_score 当只有一个功能函数时可参考如下使用:

GET /_search
{
    "query": {
        "function_score": {
            "query": { "match_all": {} },
            "boost": "5",
            "random_score": {}, # 1
            "boost_mode":"multiply"
        }
    }
}

1

此外,可以组合几个函数使用。 假如要这样使用,当且仅当文档匹配给定的过滤查询时可以根据需要选择应用此函数。

GET /_search
{
    "query": {
        "function_score": {
          "query": { "match_all": {} },
          "boost": "5", # 1
          "functions": [
              {
                  "filter": { "match": { "test": "bar" } },
                  "random_score": {}, # 2
                  "weight": 23
              },
              {
                  "filter": { "match": { "test": "cat" } },
                  "weight": 42
              }
          ],
          "max_boost": 42,
          "score_mode": "max",
          "boost_mode": "multiply",
          "min_score" : 42
        }
    }
}

1

意为整个查询

2

见 function_score 查询有关支持的函数列表

note:每个函数的过滤查询产生的分数无关紧要。

如果函数中没有给定滤器,这是等同于指定给"match_all": {} 首先,每个文档由定义的函数打分。 参数 score_mode 规定计算的分数如何组合:

multiply

分数相乘(默认)

sum

得分相加

avg

平均分数

first

使用具有匹配过滤器的第一个函数

max

最大得分

min

最小分数

因为分数可以在不同的尺度(例如使用除了 field_value_factor 之外的0和1的递减函数 ),并且有时候函数的得分产生的不同影响正是所期望的,每个函数的分数可以由用户定义的weight参数来调整,weight可以定义在每一个 functions 阵列(上面的例子)的功能,以此乘以由相应函数计算的分数。如果其他任何功能的声明中没有提到权重,weight只是简单的用于充当返回weight的函数 。 假如score_mode设为avg个人得分将由加权平均进行组合。 例如,如果两个函数返回得分1和2以及它们各自的权重是3和4,那么他们的分数将被组合为(1*3+2*4)/(3+4)而不是 (1*3+2*4)/2 。

新得分通过设置max_boost参数可以不超过某一限值。max_boost 默认值是FLT_MAX。

新计算的分数与查询的分数相组合,参数boost_mode 定义其组合方式:

multiply

查询得分和函数得分相乘(默认)

replace

仅使用函数得分,忽略查询得分

sum

查询得分和函数得分相加

avg

取平均值

max

查询得分和函数得分的最大值

min

查询得分和函数得分的最小值

默认情况下,修改分数不会改变文档的匹配结果。 为了排除不满足一定的分数阈值的文档,可用min_score参数设置所期望的得分阈值。

function_score 查询提供的几种函数分数的类型

  • script_score

  • weight

  • random_score

  • field_value_factor

  • decay functions: gauss, linear, exp

script_score

script_score功能允许您包装另一个查询,即随意定制用脚本表达式在doc其他数字字段的值派生的计算的得分。 下面是一个简单的示例:

"script_score" : {
    "script" : {
      "lang": "painless",
      "inline": "_score * doc['my_numeric_field'].value"
    }
}

在上面这些不同的脚本字段值和表达式中,_score脚本参数可被用于检索基于该包装查询的分数。

脚本被缓存得以更快地执行。 如果脚本包含需要考虑的参数,则最好重复使用相同的脚本,并向其提供参数:

"script_score": {
    "script": {
        "lang": "painless",
        "params": {
            "param1": value1,
            "param2": value2
        },
        "inline": "_score * doc['my_numeric_field'].value / Math.pow(params.param1, params.param2)"
    }
}

需要注意的是与custom_score 查询不同,该查询的评分是与脚本得分相乘的结果。如果要禁止此类用户可增加设置"boost_mode": "replace"

weight

weight 得分即用分数乘以设置的 weight 参数,当对特定查询设置的提升值被标准化时,可使用此参数,但此参数对score function 无效。其数值类型为float。

"weight" : number

Random

random_score根据_uid字段进行hash计算生成分数,可根据seed发生改变,如果seed未指定,当前时间被使用。

note:使用此功能将加载用于现场数据_uid,它的值唯一,适合在内存操作频繁的情况下使用。

field_value_factor

field_value_factor功能允许您使用从文档获取的字段影响得分。 它类似于使用script_scorefunction,但是,它避免了脚本的开销。 如果在多值字段上使用,则只有字段的第一个值用于计算。

举个例子,假设你有一个在popularity域建有数字索引的文档,并希望以此域影响该文档的分数,通常采用如下方法:

"field_value_factor": {
  "field": "popularity",
  "factor": 1.2,
  "modifier": "sqrt",
  "missing": 1
}

这将会转换为以下公式来计算得分:

sqrt(1.2 * doc['popularity'].value)

有以下一系列可选参数用于field_value_factor功能

field

要从文档中提取的字段。

factor

与字段值相乘的可选系数,默认为1 。

modifier

修改适用于该字段的值,可以是以下之一: none , log , log1p , log2p , ln , ln1p ,ln2p , square , sqrt ,还是reciprocal 。 默认为none 。

修饰符

含义

none

不要对字段值使用任何乘数

log

log1p

字段值加1,并取对数

log2p

字段值加2,并取对数

ln

ln1p

字段值加1,并取自然对数

ln2p

字段值加2,并取自然对数

square

字段值的平方(乘以它自身)

sqrt

reciprocal

missing

如果文档没有该字段,则使用此值。 修饰符和因子也使用此值,如同从文档中读取的字段一样使用。 记住,取log()为0,或者负数的平方根 是一个非法操作,程序会抛出异常。 一定要使用范围过滤器限制此字段取值来避免这种情况,或使用`log1p`和 `ln1p`。

Decay functions

Decay functions对 最初用户已给定了数字字段值的距离衰减函数的文档进行计分。 这类似于range query,但具有滑动窗口而不是定值。

在具有数字字段的查询使用distance scoring,用户应为每个字段定义origin和scale 。origin 需要定义从该计算距离的“中心点”,而scale来定义衰减程度。decay function指定用法为:

"DECAY_FUNCTION": { # 1
    "FIELD_NAME": { # 2
          "origin": "11, 12",
          "scale": "2km",
          "offset": "0km",
          "decay": 0.33
    }
}

1

DECAY_FUNCTION应从linear , exp ,gauss 中取值。

2

指定的字段值必须是数字,date或 geo-point

在上面的例子中,该字段取值 geo_point 并且可初始化为地理区域的格式。在这种情况下,scale 和 offset 必须指定一个单位。 如果你的领域是一个 date ,您可以设置 scale 和 offset 为天、周,依此类推。 例:

"gauss": {
    "date": {
          "origin": "2013-09-17", # 1
          "scale": "10d",
          "offset": "5d", # 2
          "decay" : 0.5   # 3
    }
}

1

date format 的初始定义取决于在映射定义的 format。 如果不给定初始值,则使用当前时间。

2

offset和decay参数是可选参数。

3

origin用于计算距离的初始值。 必须按照数字字段存放数字,日期字段存放日期和 地理位置字段存放地理位置的方式指定。 必需包含 geo 和 numeric。 对于 date 默认为now 。 日期初始化可以使用算术形式(例如now-1h)。scale需要给定所有类型。 定义从origin+offset开始计算等于decay的分数的距离。 对于geo:可以定义为number+unit(1km,12m,...)。 默认单位为米。 对于date:可以定义为number+unit(“1h”,“10d”,...)。 默认单位为 毫秒。 对于numeric:任意数字offset如果定义了offset,则将使用比offset 更大的距离来计算文档的衰变函数。默认值为0。decaydecay参数定义了根据scale给定的距离如何给文档打分 。 如果没有定义decay,文件计算距离时scale取值0.5。

在第一个示例中,您的文档可能代表酒店,并包含地理位置字段。 您想根据酒店距离给定位置的距离计算衰减函数。 您可能不会立即看到为gauss function选择的scale,但您可以说:“在距离所需位置2公里处,分数应该减少到三分之一。 然后参数“scale”将自动调整以确保score function针对距离期望位置2km的酒店计算得分0.33。

在第二个示例中,字段值介于2013-09-12和2013-09-22之间的文档将获得1.0的权重,并且从该日期起15天的文档的权重为0.5。

Supported decay functions

DECAY_FUNCTION 决定了衰减的形状:

gauss

正常衰减,计算公式为:

在这里 用于计算以确保该得分采用值decay是scale与origin+ -offset的距离

exp

指数衰减,计算公式为:

linear

线性衰减,计算公式为:

在这里参数s用于计算以确保该得分采用值 decay是 scale与 origin+ - offset的距离

与normal decay 和exponential decay ,如果字段值超过用户给定的scale 值的两倍,则此函数实际将分数设置为0

对于单个函数,三个decay functions及其参数的可视化形式如这样(在该示例中的字段“age”):

Multi-values fields

如果用于计算decay的字段包含多个值,则默认情况下选择最接近原点的值以确定距离。 这可以通过设置multi_value_mode来改变

min

最小距离

max

最大距离

avg

平均距离

sum

所有距离的总和

例:

“DECAY_FUNCTION”:{
       “FIELD_NAME”:{
             “origin”:...,
             “scale”:...
       },
       “multi_value_mode”:“avg”
   }}

Detailed example

假设您正在搜索某个城镇的酒店。 您的预算有限。 此外,您希望酒店靠近市中心,所以酒店距离所需的位置越远,您就越不可能办理入住手续。

您希望与您的标准(例如,“hotel,Nancy,non-smoker”)匹配的查询结果相对于与市中心的距离以及价格进行评分。

直觉上,你想定义市中心为原点,也许你愿意从酒店步行2公里到市中心。 在这种情况下,您的scale字段初始值是市中心 〜2公里。

如果你的预算低,你可能更喜欢在昂贵的东西以上的东西。 对于价格,初始值是0欧元或者scale 取决于你愿意付出多少,例如20欧元。

在该示例中,字段可以被称为酒店的价格的“price”和该酒店的坐标的“location”。

price函数在这种场景下定义为:

"gauss": { # 1
    "price": {
          "origin": "0",
          "scale": "20"
    }
}

1

此时 decay function 也可以使用 linear 或 exp

location定义为:

"gauss": { //注释1
    "location": {
          "origin": "11, 12",
          "scale": "2km"
    }
}

1

此时 decay function 也可以使用 linear 或 exp

假设你想在原始分数上乘以这两个函数,请求将如下所示:

GET /_search
{
    "query": {
        "function_score": {
          "functions": [
            {
              "gauss": {
                "price": {
                  "origin": "0",
                  "scale": "20"
                }
              }
            },
            {
              "gauss": {
                "location": {
                  "origin": "11, 12",
                  "scale": "2km"
                }
              }
            }
          ],
          "query": {
            "match": {
              "properties": "balcony"
            }
          },
          "score_mode": "multiply"
        }
    }
}

接下来,我们将展示三种可能衰变函数中的每一种的计算得分如何。

Normal decay, keywordgauss

当上面的例子中选择gauss作为decay function,乘法器的轮廓和表面积如下所示:

假设您的最初搜索结果与下面三家酒店相符:

  • "Backback Nap"

  • "Drink n Drive"

  • "BnB Bellevue".

"Drink n Drive"距离你定义的位置(近2公里),不是太便宜(约13欧元),所以它得到一个低因素为0.56的因素。 “BnB Bellevue”和“Backback Nap”都非常接近定义的位置,但“BnB Bellevue”更便宜,所以它的乘数为0.86,而“Backpack Nap”的值为0.66

Exponential decay, keywordexp

当上面的例子中选择exp作为decay function,乘法器的轮廓和表面积如下所示:

Linear decay, keywordlinear

当上面的例子中选择linear作为decay function,乘法器的轮廓和表面积如下所示:

衰减函数支持的范围

仅支持数字,日期和地理位置字段。

缺少字段时如何处理?

如果文档中缺少数字字段,函数将返回1。

PreviousDis Max 查询NextBoosting 查询

Last updated 5 years ago

Was this helpful?

见 查询有关支持的函数列表

取字段值的

取字段值的

字段值的

字段值的形式,例如1/x ,其中x是该字段的值

见的图表展示了生成的曲线gauss function。

再次指出参数用于计算以确保该得分采用值 decay是 scale与 origin+ - offset的距离

见为图展示了生成的曲线exp function。

Normal decay ,关键字 gauss
exponential decay ,关键字 exp
function_score
对数
自然对数
平方根
Reciprocate