OpenStack是一个开源的IaaS解决方案，使用它，你可以通过仪表盘或者利用OpenStack API控制/Provision大规模的计算、存储、网络资源池。

通过“驱动”，OpenStack支持大量商业、开源的计算、存储、网络相关技术框架，从而能够管理各种各样的基础设施。不管是裸金属机器、虚拟机、还是容器，都可以基于OpenStack进行管理，并共享网络、存储等底层资源：

Kubernetes、CloudFoundry等PaaS平台可以构建在OpenStack之上。

OpenStack由若干子项目组成，它们围绕着计算、存储、网络这三个核心概念组织：

1. 计算：提供并管理网络中大量的虚拟机，主要由Nova子项目负责
2. 存储：供服务器、应用程序使用的对象存储、块存储，分别由Swift、Cinder子项目负责
3. 网络：可拔插、可扩容、API驱动的网络和IP管理

这三类子项目还具有一些共享的服务：identity、镜像管理（image management）、一个基于Web的UI接口。

OpenStack项目的总览图如下，其中粗体标出了它的核心子项目，包括Horizon、Heat、Nova、Neutron、Swift、Cinder等：

以Bigdata as Service场景为例，各子项目的交互关系如下图：

简单的说明一下：

1. Keystone提供身份验证服务
2. Ceilometer提供监控服务
3. Horizon提供一个管理UI
4. Nova负责分配虚拟机
5. Glance提供镜像服务，镜像文件存放在Swift中
6. Cinder为虚拟机提供块存储卷
7. Cinder将卷备份到Swift中
8. Neuron为虚拟机提供网络连接

每个子项目，或者叫OpenStack服务，都通过公共的Identity Service进行身份验证，服务之间通过公共API进行交互。每个服务至少包含一个API进程，此进程监听API请求，进行预处理然后转交给服务的其它部分进行处理。

每个服务可以有多个进程，这些进程之间的通信方式通常是AMQP。服务的状态持久化在数据库中。多种消息代理、RDBMS被支持，例如RabbitMQ、MySQL、MariaDB。

用户访问OpenStack的方式有几种：

1. 通过Horizon提供的Web仪表盘
2. 提供CLI客户端
3. 提供SDK进行编程

不管是何种方式，在底层都会向不同的OpenStack服务发送REST请求。

Nova是OpenStack云中的计算组织控制器。支持OpenStack云中实例（instances）生命周期的所有活动都由Nova处理。这样使得Nova成为一个负责管理计算资源、网络、认证、所需可扩展性的平台。

Neutron是openstack核心项目之一，提供云计算环境下的虚拟网络功能。OpenStack网络（neutron）管理OpenStack环境中所有虚拟网络基础设施（VNI），物理网络基础设施（PNI）的接入层。

Cinder接口提供了一些标准功能，允许创建和附加块设备到虚拟机，如“创建卷”，“删除卷”和“附加卷”。还有更多高级的功能，支持扩展容量的能力，快照和创建虚拟机镜像克隆。

Octavia 是 openstack lbaas的支持的一种后台程序，提供为虚拟机流量的负载均衡。实质是类似于trove，调用 nova 以及neutron的api生成一台安装好haproxy和keepalived软件的虚拟机，并连接到目标网路。

Swift 不是文件系统或者实时的数据存储系统，而是对象存储，用于长期存储永久类型的静态数据。这些数据可以检索、调整和必要时进行更新。Swift最适合虚拟机镜像、图片、邮件和存档备份这类数据的存储。

Glance（OpenStack Image Service）是一个提供发现，注册，和下载镜像的服务。Glance提供了虚拟机镜像的集中存储。通过 Glance 的 RESTful API，可以查询镜像元数据、下载镜像。虚拟机的镜像可以很方便的存储在各种地方，从简单的文件系统到对象存储系统（比如 OpenStack Swift）。

Horizon 为 Openstack 提供一个 WEB 前端的管理界面 (UI 服务 )通过 Horizon 所提供的 DashBoard 服务 , 管理员可以使用通过 WEB UI 对 Openstack 整体云环境进行管理 , 并可直观看到各种操作结果与运行状态。

Ironic包含一个API和多个插件，用于安全性和容错性地提供物理服务器。它可以和nova结合被使用为hypervisor驱动，或者用bifrost使用为独立服务。默认情况下，它会使用PXE和IPMI去与裸金属机器去交互。Ironic也支持使用供应商的插件而实现额外的功能。

Cyborg（以前称为Nomad）旨在为加速资源（即FPGA,GPU,SoC, NVMe SSD,DPDK/SPDK,eBPF/XDP …）提供通用管理框架。

kolla 的使命是为 openstack 云平台提供生产级别的、开箱即用的交付能力。kolla 的基本思想是一切皆容器，将所有服务基于 Docker 运行，并且保证一个容器只跑一个服务（进程），做到最小粒度的运行 docker。

Kubernetes Kuryr是 OpenStack Neutron 的子项目，其主要目标是通过该项目来整合 OpenStack 与Kubernetes 的网络。该项目在 Kubernetes 中实现了原生 Neutron-based 的网络，因此使用 Kuryr-Kubernetes 可以让你的 OpenStack VM 与 Kubernetes Pods 能够选择在同一个子网上运作，并且能够使用 Neutron 的 L3 与 Security Group 来对网络进行路由，以及阻挡特定来源 Port。

Manila项目全称是File Share Service，文件共享即服务，用来提供云上的文件共享，支持CIFS协议和NFS协议。

Tacker是一个在OpenStack内部孵化的项目, 他的作用是NVF管理器，用于管理NVF的生命周期。Tacker的重点是配置VNF, 并监视他们。如果需要，还可重启和/或扩展（自动修复）NVF。整个进程贯穿ETSIMANO所描述的整个生命周期。

显示详细配置信息：

# --unmask表示明文显示密码
openstack configuration show [--mask | --unmask]

一个Domain，是用户、组、项目的集合。任何组、项目仅仅属于单个Domain。

openstack domain create
    [--description <description>]
    [--enable | --disable]
    [--or-show]
    # 禁止删除或修改，除非去掉此标记
    [--immutable | --no-immutable]
    <domain-name>

openstack domain delete <domain> [<domain> ...]

openstack domain list
    [--sort-column SORT_COLUMN]
    [--name <name>]
    [--enabled]

openstack domain set
    [--name <name>]
    [--description <description>]
    [--enable | --disable]
    [--immutable | --no-immutable]
    <domain>

openstack domain show <domain>

管理项目

openstack project create
    [--domain <domain>]
    [--parent <project>]
    [--description <description>]
    [--enable | --disable]
    [--property <key=value>]
    [--or-show]
    [--immutable | --no-immutable]
    [--tag <tag>]
    <project-name>

openstack project delete [--domain <domain>] <project> [<project> ...]

openstack project list
    [--sort-column SORT_COLUMN]
    [--domain <domain>]
    [--parent <parent>]
    [--user <user>]
    [--my-projects]
    [--long]
    [--sort <key>[:<direction>]]
    [--tags <tag>[,<tag>,...]]
    [--tags-any <tag>[,<tag>,...]]
    [--not-tags <tag>[,<tag>,...]]
    [--not-tags-any <tag>[,<tag>,...]]

openstack project set
    [--name <name>]
    [--domain <domain>]
    [--description <description>]
    [--enable | --disable]
    [--property <key=value>]
    [--immutable | --no-immutable]
    [--tag <tag>]
    [--clear-tags]
    [--remove-tag <tag>]
    <project>

openstack project show
    [--domain <domain>]
    [--parents]
    [--children]
    <project> 

清除和指定项目关联的资源

openstack project purge
    [--dry-run]
    [--keep-project]
    (--auth-project | --project <project>)
    [--project-domain <project-domain>]

用户的组。

# 添加用户到组
openstack group add user
    [--group-domain <group-domain>]
    [--user-domain <user-domain>]
    <group>
    <user>
    [<user> ...]
openstack group remove user
    [--group-domain <group-domain>]
    [--user-domain <user-domain>]
    <group>
    <user>
    [<user> ...]

# 检查组是否包含用户
openstack group contains user
    [--group-domain <group-domain>]
    [--user-domain <user-domain>]
    <group>
    <user>

# 创建组
openstack group create
    [--domain <domain>]
    [--description <description>]
    [--or-show]
    <group-name>


openstack group delete [--domain <domain>] <group> [<group> ...]

openstack group list
    [--sort-column SORT_COLUMN]
    [--domain <domain>]
    [--user <user>]
    [--user-domain <user-domain>]
    [--long]
openstack group show [--domain <domain>] <group>

openstack group set
    [--domain <domain>]
    [--name <name>]
    [--description <description>]
    <group> 

用户管理

openstack user create
    # 用户的默认domain
    [--domain <domain>]
    # 用户的默认project
    [--project <project>]
    [--project-domain <project-domain>]
    # 指定密码
    [--password <password>]
    # 交互的输入密码
    [--password-prompt]
    [--email <email-address>]
    [--description <description>]
    # 禁止连续身份验证失败后，锁定用户
    [--ignore-lockout-failure-attempts]
    [--no-ignore-lockout-failure-attempts]
    # 禁止密码过期
    [--ignore-password-expiry]
    [--no-ignore-password-expiry]
    # 禁止首次使用必须修改密码
    [--ignore-change-password-upon-first-use]
    [--no-ignore-change-password-upon-first-use]
    # 锁定密码，不给修改
    [--enable-lock-password]
    [--disable-lock-password]
    # 启用多因子身份验证
    [--enable-multi-factor-auth]
    [--disable-multi-factor-auth]
    [--multi-factor-auth-rule <rule>]
    # 启用/禁用
    [--enable | --disable]
    # 显示已有的用户
    [--or-show]
    <name>
openstack user delete [--domain <domain>] <user> [<user> ...]

openstack user list
    [--sort-column SORT_COLUMN]
    [--domain <domain>]
    [--group <group> | --project <project>]
    [--long]
openstack user show [--domain <domain>] <user>

# 修改密码
openstack user password set
    [--password <new-password>]
    [--original-password <original-password>]


openstack user set
    [--name <name>]
    [--domain <domain>]
    [--project <project>]
    [--project-domain <project-domain>]
    [--password <password>]
    [--password-prompt]
    [--email <email-address>]
    [--description <description>]
    [--ignore-lockout-failure-attempts]
    [--no-ignore-lockout-failure-attempts]
    [--ignore-password-expiry]
    [--no-ignore-password-expiry]
    [--ignore-change-password-upon-first-use]
    [--no-ignore-change-password-upon-first-use]
    [--enable-lock-password]
    [--disable-lock-password]
    [--enable-multi-factor-auth]
    [--disable-multi-factor-auth]
    [--multi-factor-auth-rule <rule>]
    [--enable | --disable]
    <user> 

可以创建角色，将角色映射给用户或组。

# 将角色赋予组或用户
openstack role add
    [--system <system> | --domain <domain> | --project <project>]
    [--user <user> | --group <group>]
    [--group-domain <group-domain>]
    [--project-domain <project-domain>]
    [--user-domain <user-domain>]
    [--inherited]
    [--role-domain <role-domain>]
    <role>
openstack role remove
    [--system <system> | --domain <domain> | --project <project>]
    [--user <user> | --group <group>]
    [--group-domain <group-domain>]
    [--project-domain <project-domain>]
    [--user-domain <user-domain>]
    [--inherited]
    [--role-domain <role-domain>]
    <role>

# 创建角色
openstack role create
    [--description <description>]
    [--domain <domain>]
    [--or-show]
    [--immutable | --no-immutable]
    <role-name>

openstack role delete [--domain <domain>] <role> [<role> ...]

openstack role list [--sort-column SORT_COLUMN] [--domain <domain>]

openstack role set
    [--description <description>]
    [--domain <domain>]
    [--name <name>]
    [--immutable | --no-immutable]
    <role>

openstack role show [--domain <domain>] <role> 

角色和用户的映射关系。

openstack role assignment list
    [--role <role>]
    [--role-domain <role-domain>]
    [--user <user>]
    [--user-domain <user-domain>]
    [--group <group>]
    [--group-domain <group-domain>]
    [--domain <domain>]
    [--project <project>]
    [--project-domain <project-domain>]
    [--effective]
    [--inherited]
    [--names] 

指定角色之间的包含关系。

#                             被隐含的角色           目标角色
openstack implied role create --implied-role <role> <role>

openstack implied role delete --implied-role <role> <role>

openstack implied role list [--sort-column SORT_COLUMN] 

提供特定项目中，用户之间的角色代理，支持可选的替身机制（impersonation）。需要 OS-TRUST扩展。

在Identity服务的OS-OAUTH1扩展中使用，用于创建request token 、access token，仅仅支持Identity v3。

openstack consumer create [--description <description>]
openstack consumer delete <consumer> [<consumer> ...]
openstack consumer list [--sort-column SORT_COLUMN]
openstack consumer set [--description <description>] <consumer>
openstack consumer show <consumer>

管理凭证：

openstack credential create
    [--type <type>]
    [--project <project>]
    <user>
    <data>

openstack credential delete <credential-id> [<credential-id> ...]

openstack credential list
    [--sort-column SORT_COLUMN]
    [--user <user>]
    [--user-domain <user-domain>]
    [--type <type>]

openstack credential set
    --user <user>
    --type <type>
    --data <data>
    [--project <project>]
    <credential-id>

openstack credential show <credential-id> 

使用应用凭证，用户可以给自己的应用程序授予对云资源的有限访问权限。

# 创建新的凭证
openstack application credential create
    [--secret <secret>]
    [--role <role>]
    [--expiration <expiration>]
    [--description <description>]
    [--unrestricted]
    [--restricted]
    [--access-rules <access-rules>]
    <name>

openstack application credential delete
    <application-credential>
    [<application-credential> ...]

openstack application credential list
    [--sort-column SORT_COLUMN]
    [--user <user>]
    [--user-domain <user-domain>]

openstack application credential show <application-credential>

对应用程序凭证的权限进行细粒度控制。每个访问规则包含一下要素：

服务类型 + 请求路径 + 请求方法

openstack access rule delete <access-rule> [<access-rule> ...]

openstack access rule list
    [--user <user>]
    [--user-domain <user-domain>]

openstack access rule show <access-rule>

创建或吊销一个令牌

openstack token issue

openstack token revoke <token> 

Identity服务的OS-OAUTH1扩展使用访问令牌。consumer可以代表被授权用户来获得新的Identity API token。

openstack access token create
    # consumer的键/密钥
    --consumer-key <consumer-key>
    --consumer-secret <consumer-secret>
    --request-key <request-key>
    --request-secret <request-secret>
    --verifier <verifier>

Identity服务的OS-OAUTH1扩展使用请求令牌。consumer使用此令牌来请求access token

# 验证请求令牌
openstack request token authorize
    --request-key <request-key>
    --role <role>

# 创建请求令牌
openstack request token create
    --consumer-key <consumer-key>
    --consumer-secret <consumer-secret>
    --project <project>
    [--domain <domain>]

策略是一组规则，可以被远程服务消费。

openstack policy create [--type <type>] <filename>

openstack policy delete <policy> [<policy> ...]

openstack policy list [--sort-column SORT_COLUMN] [--long]

openstack policy set [--type <type>] [--rules <filename>] <policy>

openstack policy show <policy> 

基于RBAC的、针对网络资源的授权控制策略。让用户获得某个项目的网络资源的访问权限

openstack network rbac create
    --type <type>
    --action <action>
    (--target-project <target-project> | --target-all-projects)
    [--target-project-domain <target-project-domain>]
    [--project <project>]
    [--project-domain <project-domain>]
    <rbac-object>

openstack network rbac delete <rbac-policy> [<rbac-policy> ...]

openstack network rbac list
    [--sort-column SORT_COLUMN]
    [--type <type>]
    [--action <action>]
    [--long]

openstack network rbac set
    [--target-project <target-project>]
    [--target-project-domain <target-project-domain>]
    <rbac-policy>

openstack network rbac show <rbac-policy> 

很多API都支持资源配额

openstack quota set
    # 为指定的class设置配额
    [--class]
    # 核心数配额
    [--cores <cores>]
    # 固定IP数量配额
    [--fixed-ips <fixed-ips>]
    [--injected-file-size <injected-file-size>]
    [--injected-path-size <injected-path-size>]
    [--injected-files <injected-files>]
    [--instances <instances>]
    [--key-pairs <key-pairs>]
    [--properties <properties>]
    [--ram <ram>]
    [--server-groups <server-groups>]
    [--server-group-members <server-group-members>]
    [--backups <backups>]
    [--backup-gigabytes <backup-gigabytes>]
    [--gigabytes <gigabytes>]
    [--per-volume-gigabytes <per-volume-gigabytes>]
    [--snapshots <snapshots>]
    [--volumes <volumes>]
    [--floating-ips <floating-ips>]
    [--secgroup-rules <secgroup-rules>]
    [--secgroups <secgroups>]
    [--networks <networks>]
    [--subnets <subnets>]
    [--ports <ports>]
    [--routers <routers>]
    [--rbac-policies <rbac-policies>]
    [--subnetpools <subnetpools>]
    [--volume-type <volume-type>]
    [--force]
    # 此配额针对的项目或者class
    <project/class>

openstack quota list
    [--sort-column SORT_COLUMN]
    [--project <project>]
    [--detail]
    (--compute | --volume | --network)

openstack quota show [--class | --default] [<project/class>]

# 显示针对所有项目的默认配额
openstack quota show --default

# 增大默认安装下admin项目的资源配额
openstack quota set --cores 32 admin
openstack quota set --ram 131072 admin
openstack quota set --gigabytes 8192 admin
openstack quota set --volumes 32 admin
openstack quota set --snapshots 32 admin
openstack quota set --instances 16 admin

用于在项目级别进行资源配额。

# 创建一个配额
openstack limit create
    [--description <description>]
    # 此配额影响的区域
    [--region <region>]
    # 此配额针对的项目
    --project <project>
    # 负责资源的服务
    --service <service>
    # 资源额度
    --resource-limit <resource-limit>
    <resource-name>

openstack limit delete <limit-id> [<limit-id> ...]

openstack limit list
    [--sort-column SORT_COLUMN]
    [--service <service>]
    [--resource-name <resource-name>]
    [--region <region>]
    [--project <project>]

openstack limit set
    [--description <description>]
    [--resource-limit <resource-limit>]
    <limit-id>

openstack limit show <limit-id>

用于定义OpenStack部署中的默认资源限制

openstack registered limit create
    [--description <description>]
    [--region <region>]
    --service <service>
    --default-limit <default-limit>
    <resource-name>

openstack registered limit delete
    <registered-limit-id>
    [<registered-limit-id> ...]

openstack registered limit list
    [--sort-column SORT_COLUMN]
    [--service <service>]
    [--resource-name <resource-name>]
    [--region <region>]

openstack registered limit set
    [--service <service>]
    [--resource-name <resource-name>]
    [--default-limit <default-limit>]
    [--description <description>]
    [--region <region>]
    <registered-limit-id>

openstack registered limit show <registered-limit-id> 

显示计算、存储资源用量的限制

openstack limits show
    [--sort-column SORT_COLUMN]
    (--absolute | --rate)
    [--reserved]
    [--project <project>]
    [--domain <domain>]

显示项目的资源用量

openstack usage list
    [--sort-column SORT_COLUMN]
    # 用量统计的起始时间，默认4周前
    [--start <start>]
    # 用量统计的结束日期，默认明天
    [--end <end>]

openstack usage show
    [--project <project>]
    [--start <start>]
    [--end <end>] 

区域是OpenStack部署中的最大的分区。你可以配置多个sub-region，甚至形成树形结构。

openstack region create
    [--parent-region <region-id>]
    [--description <description>]
    <region-id>

openstack region delete <region-id> [<region-id> ...]

openstack region list
    [--sort-column SORT_COLUMN]
    [--parent-region <region-id>]

openstack region set
    [--parent-region <region-id>]
    [--description <description>]
    <region-id>

openstack region show <region-id> 

可用区是云存储、计算、网络服务的逻辑分区。对等的AZ具有构成HA的效果，这和Region不同。

# 列出可用区
openstack availability zone list
    [--sort-column SORT_COLUMN]
    [--compute]
    [--network]
    [--volume]
    [--long] 

聚合是一组分组host的机制：

# 添加/删除主机到聚合中
openstack aggregate add host <aggregate> <host>
openstack aggregate remove host <aggregate> <host>

# 为聚合请求缓存镜像
openstack aggregate cache image <aggregate> <image> [<image> ...]

# 创建一个聚合，可以看到聚合是在某个AZ内部的
openstack aggregate create
    [--zone <availability-zone>]
    [--property <key=value>]
    <name>

openstack aggregate delete <aggregate> [<aggregate> ...]

# 为聚合设置元数据（键值对），然后为Flavor设置scope为aggregate_instance_extra_specs的
# 额外规格，规格键值和元数据一致，可以将Flavor映射到聚合。从Flavor创建的实例将位于聚合的主机中
openstack aggregate set
    [--name <name>]
    [--zone <availability-zone>]
    [--property <key=value>]
    [--no-property]
    <aggregate>
openstack aggregate unset [--property <key>] <aggregate>

openstack aggregate show <aggregate>
openstack aggregate list [--sort-column SORT_COLUMN] [--long]

运行Hypervisor的物理机器。

openstack host list [--sort-column SORT_COLUMN] [--zone <zone>]

openstack host set
    [--enable | --disable]
    [--enable-maintenance | --disable-maintenance]
    <host>

openstack host show [--sort-column SORT_COLUMN] <host>

openstack hypervisor list
    [--sort-column SORT_COLUMN]
    [--matching <hostname>]
    [--long]

openstack hypervisor show <hypervisor>

openstack hypervisor stats show 

OpenSSH公钥管理，用于访问创建的server（虚拟机）。

# 创建公钥
# 如果什么参数都不指定，则生成新的公钥
openstack keypair create
    [--public-key <file> | --private-key <file>]
    [--type <type>]
    [--user <user>]
    [--user-domain <user-domain>]
    <name>

openstack keypair delete
    [--user <user>]
    [--user-domain <user-domain>]
    <key>
    [<key> ...]

openstack keypair list
    [--sort-column SORT_COLUMN]
    [--user <user>]
    [--user-domain <user-domain>]
    [--project <project>]
    [--project-domain <project-domain>]

openstack keypair show
    [--public-key]
    [--user <user>]
    [--user-domain <user-domain>]
    <key>

显示所有服务的版本、端点、是否弃用之类的信息

openstack versions show 

显示服务的类型、名称、端点列表：

openstack catalog list [--sort-column SORT_COLUMN]
openstack catalog show <service>

openstack catalog list
# +-----------+-----------+-----------------------------------------+
# | Name      | Type      | Endpoints                               |
# +-----------+-----------+-----------------------------------------+
# | glance    | image     | zircon                                  |
# |           |           |   public: http://os.gmem.cc:9292        |
# |           |           |                                         |
# | keystone  | identity  | zircon                                  |
# |           |           |   internal: http://os.gmem.cc:5000/v3/  |
# |           |           | zircon                                  |
# |           |           |   public: http://os.gmem.cc:5000/v3/    |
# |           |           | zircon                                  |
# |           |           |   admin: http://os.gmem.cc:5000/v3/     |
# |           |           |                                         |
# | nova      | compute   | zircon                                  |
# |           |           |   internal: http://os.gmem.cc:8774/v2.1 |
# |           |           | zircon                                  |
# |           |           |   public: http://os.gmem.cc:8774/v2.1   |
# |           |           | zircon                                  |
# |           |           |   admin: http://os.gmem.cc:8774/v2.1    |
# |           |           |                                         |
# | placement | placement | zircon                                  |
# |           |           |   public: http://os.gmem.cc:8778        |
# |           |           | zircon                                  |
# |           |           |   admin: http://os.gmem.cc:8778         |
# |           |           | zircon                                  |
# |           |           |   internal: http://os.gmem.cc:8778      |
# |           |           |                                         |
# +-----------+-----------+-----------------------------------------+

很多OpenStack API包含API扩展，这些扩展提供额外的功能。

# 列出API扩展
openstack extension list
    [--sort-column SORT_COLUMN]
    [--compute]
    [--identity]
    [--network]
    [--volume]
    [--long]

# 显示API扩展
openstack extension show <extension>

管理服务的API端点

# 关联项目到端点
openstack endpoint add project
    [--project-domain <project-domain>]
    <endpoint>
    <project>
openstack endpoint remove project
    [--project-domain <project-domain>]
    <endpoint>
    <project>

# 创建新的端点
openstack endpoint create
    # 所属的区域
    [--region <region-id>]
    [--enable | --disable]
    # 端点所属的服务
    <service>
    # admin, public 还是 internal
    <interface>
    <url>

openstack endpoint delete <endpoint-id> [<endpoint-id> ...]

openstack endpoint list
    [--sort-column SORT_COLUMN]
    [--service <service>]
    [--interface <interface>]
    [--region <region-id>]
    [--endpoint <endpoint-group> | --project <project>]
    [--project-domain <project-domain>]

openstack endpoint set
    [--region <region-id>]
    [--interface <interface>]
    [--url <url>]
    [--service <service>]
    [--enable | --disable]
    <endpoint-id>

openstack endpoint show <endpoint>

一组端点，可以一起关联到项目。

# 关联端点组到项目
openstack endpoint group add project
    [--project-domain <project-domain>]
    <endpoint-group>
    <project>
openstack endpoint group remove project
    [--project-domain <project-domain>]
    <endpoint-group>
    <project>


# 创建端点组
openstack endpoint group create
    [--description DESCRIPTION]
    <name>
    <filename>
openstack endpoint group delete <endpoint-group> [<endpoint-group> ...]
openstack endpoint group set
    [--name <name>]
    [--filters <filename>]
    [--description <description>]
    <endpoint-group>
openstack endpoint group list
    [--sort-column SORT_COLUMN]
    [--endpointgroup <endpoint-group> | --project <project>]
    [--domain <domain>]
openstack endpoint group show <endpointgroup> 

表示一种虚拟机的规格。

openstack flavor create
    [--id <id>]
    # 内存大小，MB
    [--ram <size-mb>]
    # 磁盘大小，GB
    [--disk <size-gb>]
    # 临时磁盘大小
    [--ephemeral <size-gb>]
    # 交换分区大小
    [--swap <size-mb>]
    # VCPU数量，默认1
    [--vcpus <vcpus>]
    # RX/TX 因子，默认1.0
    [--rxtx-factor <factor>]
    # 是否可以被其它项目使用
    [--public | --private]
    [--property <key=value>]
    # 所属项目
    [--project <project>]
    [--description <description>]
    [--project-domain <project-domain>]
    # 传统的名字是  XX.SIZE_NAME 格式，现在已经没有要求。不排除某些工具依赖于这种名称格式
    <flavor-name>

openstack flavor list
    [--sort-column SORT_COLUMN]
    [--public | --private | --all]
    [--long]
    [--marker <flavor-id>]
    [--limit <num-flavors>]

openstack flavor set
    [--no-property]
    [--property <key=value>]
    [--project <project>]
    [--description <description>]
    [--project-domain <project-domain>]
    <flavor>
openstack flavor unset
    [--property <key>]
    [--project <project>]
    [--project-domain <project-domain>]
    <flavor>

openstack flavor show <flavor>


# 创建一个Flavor
openstack flavor create FLAVOR_NAME --id FLAVOR_ID \
    --ram RAM_IN_MB --disk ROOT_DISK_IN_GB --vcpus NUMBER_OF_VCPUS

# 创建Flavor并分配给一个租户
openstack flavor create --public m1.extra_tiny --id auto \
    --ram 256 --disk 0 --vcpus 1
openstack flavor set --project PROJECT_ID m1.extra_tiny



# 列出所有flavor
openstack flavor create --id 0 --vcpus 1 --ram 64 --disk 1 m1.nano
openstack flavor create --id 1 --vcpus 1 --ram 512 --disk 8 m1.tiny
openstack flavor create --id 2 --vcpus 1 --ram 2048 --disk 32 m1.small
openstack flavor create --id 3 --vcpus 2 --ram 4096 --disk 64 m1.medium
openstack flavor create --id 4 --vcpus 4 --ram 8192 --disk 128 m1.large
openstack flavor create --id 5 --vcpus 8 --ram 16384 --disk 256 m1.xlarge

openstack flavor list
# +----+-----------+-------+------+-----------+-------+-----------+
# | ID | Name      |   RAM | Disk | Ephemeral | VCPUs | Is Public |
# +----+-----------+-------+------+-----------+-------+-----------+
# | 0  | m1.nano   |    64 |    1 |         0 |     1 | True      |
# | 1  | m1.tiny   |   512 |    8 |         0 |     1 | True      |
# | 2  | m1.small  |  2048 |   32 |         0 |     1 | True      |
# | 3  | m1.medium |  4096 |   64 |         0 |     2 | True      |
# | 4  | m1.large  |  8192 |  128 |         0 |     4 | True      |
# | 5  | m1.xlarge | 16384 |  256 |         0 |     8 | True      |
# +----+-----------+-------+------+-----------+-------+-----------+

管理镜像。

# 允许项目访问镜像
openstack image add project
    [--project-domain <project-domain>]
    <image>
    <project>
openstack image remove project
    [--project-domain <project-domain>]
    <image>
    <project>

# 创建镜像
openstack image create
    [--id <id>]
    # 镜像容器格式：ami, ari, aki, bare, docker, ova, ovf。默认bare
    [--container-format <container-format>]
    # 镜像磁盘格式：ami, ari, aki, vhd, vmdk, raw, qcow2, vhdx, vdi, iso, ploop。默认raw
    [--disk-format <disk-format>]
    # 启动镜像需要的最小磁盘尺寸
    [--min-disk <disk-gb>]
    # 启动镜像需要的最小内存
    [--min-ram <ram-mb>]
    # 镜像文件       从卷生成镜像
    [--file <file> | --volume <volume>]
    # 从卷生成镜像时，即便卷正在使用，也强制生成镜像
    [--force]
    # 使用本地私钥签名镜像
    [--sign-key-path <sign-key-path>]
    # 用于镜像签名校验的，位于key manager中的certificate的UUID
    [--sign-cert-id <sign-cert-id>]
    # 保护镜像防止被删除
    [--protected | --unprotected]
    # 公共      项目私有    可被社区使用    共享
    [--public | --private | --community | --shared]
    [--property <key=value>]
    [--tag <tag>]
    [--project <project>]
    [--import]
    [--project-domain <project-domain>]
    <image-name>

# 设置镜像属性
openstack image set
    [--name <name>]
    [--min-disk <disk-gb>]
    [--min-ram <ram-mb>]
    [--container-format <container-format>]
    [--disk-format <disk-format>]
    [--protected | --unprotected]
    [--public | --private | --community | --shared]
    [--property <key=value>]
    [--tag <tag>]
    [--architecture <architecture>]
    [--instance-id <instance-id>]
    [--kernel-id <kernel-id>]
    [--os-distro <os-distro>]
    [--os-version <os-version>]
    [--ramdisk-id <ramdisk-id>]
    [--deactivate | --activate]
    [--project <project>]
    [--project-domain <project-domain>]
    [--accept | --reject | --pending]
    <image>
openstack image unset [--tag <tag>] [--property <property-key>] <image>

# 删除镜像
openstack image delete <image> [<image> ...]

# 将镜像保存到本地
openstack image save [--file <filename>] <image>

# 列出镜像
openstack image member list
    [--sort-column SORT_COLUMN]
    [--project-domain <project-domain>]
    <image>

# 显示镜像信息
openstack image show [--human-readable] <image>


# 示例
# 上传镜像
openstack image create --public --disk-format qcow2 --container-format bare \
  --file cirros-0.5.1-x86_64-disk.img cirros-0.5.1-amd64
# 将卷上传为镜像，上传的QCOW2镜像，会自动shrink
# 注意，默认情况下只有Available状态的卷能够上传为镜像，In-use的用--force也不行
# Force upload to image is disabled, Force option will be ignored.
openstack image create --volume 840e9e25-192c-401b-83f5-898fd82839c4 --force centos8-amd64-prepared

计算代理是和Hypervisor相关的，且仅仅被 XenAPI hypervisor driver支持。

Nova相关的服务。

openstack compute service delete <service> [<service> ...]

openstack compute service list
    [--sort-column SORT_COLUMN]
    [--host <host>]
    [--service <service>]
    [--long]

openstack compute service set
    [--enable | --disable]
    [--disable-reason <reason>]
    [--up | --down]
    <host>
    <service>

显示虚拟机的控制台日志：

openstack console log show [--lines <num-lines>] <server>

打印各种类型的控制台URL：

openstack console url show
    [--novnc | --xvpvnc | --spice | --rdp | --serial | --mks]
    <server> 

基于某种策略对服务器进行分组。

openstack server group create [--policy <policy>] <name>

openstack server group delete <server-group> [<server-group> ...]

openstack server group list
    [--sort-column SORT_COLUMN]
    [--all-projects]
    [--long]

openstack server group show <server-group>

创建一个实例（虚拟机，也叫服务器server） 

openstack server create
    # --image 从镜像创建服务器的启动磁盘
    # --volume 将卷作为服务器的启动磁盘，会自动创建一个块设备，映射boot index为0
    #          在很多Hypervisor（例如libvirt/kvm）这个磁盘将是vda
    #          不要使用 –block-device-mapping  选项来为此磁盘创建重复的映射
    (--image <image> | --image-property <key=value> | --volume <volume>)
    # 服务器的密码
    [--password <password>]
    # 服务器的风格
    --flavor <flavor>
    # 加入安全组，可以指定多个
    [--security-group <security-group>]
    # 注入到此服务器的OpenSSH公钥
    [--key-name <key-name>]
    # 设置属性
    [--property <key=value>]
    # 在启动之前，注入到镜像中的文件。可以指定多个
    [--file <dest-filename=source-filename>]
    # 从metadata服务器来serve的用户数据文件。用于配置新实例
    [--user-data <user-data>]
    [--description <description>]
    # 在哪个AZ中创建此服务器，可以指定：
    #   <zone-name>:<host-name>:<node-name>
    #   <zone-name>::<node-name>
    #   <zone-name>:<host-name>
    #   <zone-name>
    [--availability-zone <zone-name>]
    # 指定在某个宿主机上创建实例
    [--host <host>]
    [--hypervisor-hostname <hypervisor-hostname>]
    # 和 --image 或 --image-property 一起使用时，该选项自动创建boot index 为0的块设备
    # 并且告知计算服务，从镜像创建卷+卷的大小（GB）。此卷在实例销毁后不会删除
    # 不能和 --volume 联用
    [--boot-from-volume <volume-size>]
    # 在服务器上创建额外的块设备，格式：
    #   <dev-name>=<id>:<type>:<size(GB)>:<delete-on-terminate>
    #     dev-name 为块设备名称，例如vdb xvdc
    #     id 为卷、卷快照、镜像的名字或ID
    #     type：volume, snapshot 或 image。默认volume
    #     size：卷的大小
    #     delete-on-terminate：true或false
    [--block-device-mapping <dev-name=mapping>]
    # 在服务器上创建NIC。要创建多个NIC，则指定多次
    #     net-id和port-id互斥，不能同时指定
    #     v4-fixed-ip 此NIC的IPv4固定IP地址
    #     v6-fixed-ip 此NIC的IPv6固定IP地址
    #     auto 由计算服务自动分配一个网络。不能和其它参数一起使用
    #     none 不连接到网络。不能和其它参数一起使用
    [--nic <net-id=net-uuid,v4-fixed-ip=ip-addr,v6-fixed-ip=ip-addr,port-id=port-uuid,auto,none>]
    # 创建一个NIC，并且连接到该网络。可以指定多次，以创建多个NIC并连接到多个网络
    [--network <network>]
    # 创建一个NIC，并且连接到该端口。可以指定多次，以创建多个NIC并连接到多个端口
    [--port <port>]
    # 提供给nova-scheduler的提示信息
    [--hint <key=value>]
    # 启用config drive
    [--use-config-drive | --no-config-drive | --config-drive <config-drive-volume>|True]
    # 启动的实例数量
    [--min <count>]
    [--max <count>]
    # 等待实例构建完成
    [--wait]
    [--tag <tag>]
    # 实例的名字
    <server-name>


# 从镜像启动虚拟机，并挂载一个非启动磁盘
## 创建非启动磁盘
openstack volume create --size 8 my-volume
## 创建虚拟机         从镜像创建
nova boot --flavor 2 --image 98901246-af91-43d8-b5e6-a4506aa8f369 \
# 添加块设备      源是卷        卷的ID                                   挂载为卷    虚拟机删除后保留卷  
  --block-device source=volume,id=d620d971-b160-4c4e-8652-2513d74e2080,dest=volume,shutdown=preserve \
  myInstanceWithVolume


# 从SOURCE创建启动卷，并从该卷启动虚拟机
# SOURCE： volume, snapshot, image, 或者 blank
# DEST：volume或local
nova boot --flavor FLAVOR --block-device \
  source=SOURCE,id=ID,dest=DEST,size=SIZE,shutdown=PRESERVE,bootindex=INDEX  NAME

# 从镜像创建一个可启动卷。如果指定--image参数，则Cinder自动将卷标记为可启动的
openstack volume create --image IMAGE_ID --size SIZE_IN_GB bootable_volume


# 挂载Swap或者临时磁盘到虚拟机
nova boot --flavor FLAVOR --image IMAGE_ID --swap 512  --ephemeral size=2 NAME

为服务器添加固定IP地址：

openstack server add fixed ip
    # 请求的固定IP地址
    [--fixed-ip-address <ip-address>]
    [--tag <tag>]
    <server>
    <network>

openstack server remove fixed ip <server> <ip-address>

为服务器添加浮动IP地址：

openstack server add floating ip
    # 和此浮动IP地址关联的固定IP地址，使用第一个具有此固定IP地址的、此服务器上的port
    [--fixed-ip-address <ip-address>]
    <server>
    # 分配给上述第一个服务器port的浮动IP地址
    <ip-address>

openstack server remove floating ip <server> <ip-address>

将服务器连接到某个网络 

openstack server add network [--tag <tag>] <server> <network>

openstack server remove network <server> <network>

将某个端口连接到服务器

openstack server add port [--tag <tag>] <server> <port>

openstack server remove port <server> <port>

将服务器添加到安全组

openstack server add security group <server> <group>

openstack server remove security group <server> <group>

挂载（Attach）一个卷给服务器

openstack server add volume
    # 服务器上的内部设备名
    [--device <device>]
    [--tag <tag>]
    # 如果服务器被销毁，此卷是否被删除
    [--enable-delete-on-termination | --disable-delete-on-termination]
    <server>
    <volume>

openstack server remove volume <server> <volume>

# 示例
openstack server add volume cirros-amd64 cirros-amd64-diskb

服务器迁移，就是将一台宿主机上的实例，转移到另外一台上运行。

OpenStack支持四种迁移模式：热迁移、冷迁移、升降配（resize）、重建（evacuation）

# 显示迁移历史的列表
openstack server migration list
    [--sort-column SORT_COLUMN]
    [--server <server>]
    [--host <host>]
    [--status <status>]
    [--type <type>]
    [--marker <marker>]
    [--limit <limit>]
    [--changes-since <changes-since>]
    [--changes-before <changes-before>]
    [--project <project>]
    [--user <user>]

扩/缩容服务器为新的flavor。实现方式是：

1. 创就一个新的服务器
2. 复制文件到新服务器

扩/缩容操作分为两步完成：第一步迁移，第二步确认

openstack server resize
    [--flavor <flavor> | --confirm | --revert]
    [--wait]
    <server>

openstack server resize confirm <server>

openstack server resize revert <server>

将服务器迁移到另外一个宿主机上。

迁移操作是基于resize操作实现的：

1. 创建一个新的实例，使用相同的flavor
2. 从原始磁盘上拷贝内容到新磁盘

和resize一样，迁移操作是分两步完成的：

1. 执行上述两步的迁移操作
2. 让用户确认，迁移是否成功并移除酒实例，还是执行revert操作 —— 删除新实例并重启老的

openstack server migrate
    # 不宕机迁移
    [--live-migration]
    # 目标主机 
    [ --host <hostname>]
    [--shared-migration | --block-migration]
    [--disk-overcommit | --no-disk-overcommit]
    [--wait]
    <server>

确认迁移

openstack server migrate confirm <server>

撤销迁移 

openstack server migrate revert <server>

将服务器在另外一个宿主机上重建。这个命令的使用场景是：实例已经运行，但是后来它所在的宿主机宕掉了。 也就是说，仅当管理此实例的compute service宕机了，才可以使用此命令。

如果服务器实例使用临时的（ephemeral）root磁盘，此磁盘位于非共享存储上，则使用原始的glance镜像重建服务器。连接到原实例的port、挂载的卷被保留。

如果服务器实例从volume启动，或者跟磁盘位于共享存储上，则新建实例会重用此启动盘。

暂停服务器，状态保存在内存中

openstack server pause <server> [<server> ...]

取消暂停服务器

openstack server unpause <server> [<server> ...]

暂停服务器，状态保存在磁盘中

openstack server suspend <server> [<server> ...]

从暂停中恢复

openstack server resume <server> [<server> ...]

回退状态为软删除的服务器

openstack server restore <server> [<server> ...] 

重启服务器

#                       强行立即重启
openstack server reboot [--hard | --soft] [--wait] <server>

启动服务器

openstack server start <server> [<server> ...]

停止服务器

openstack server stop <server> [<server> ...]

重建服务器

openstack server rebuild
    [--image <image>]
    [--password <password>]
    [--property <key=value>]
    [--description <description>]
    [--key-name <key-name> | --key-unset]
    [--wait]
    <server> 

让服务器进入rescue模式

openstack server rescue
    [--image <image>]
    [--password <password>]
    <server> 

从rescue模式恢复：

openstack server unrescue <server>

将服务器实例作为镜像，保存在glance中，然后在宿主机上删除此服务器 

openstack server shelve <server> [<server> ...] 

将shelve的实例恢复

openstack server unshelve
    [--availability-zone AVAILABILITY_ZONE]
    <server>
    [<server> ...] 

通过SSH连接到服务器

openstack server ssh
    [--login <login-name>]
    [--port <port>]
    [--identity <keyfile>]
    [--option <config-options>]
    [-4 | -6]
    [--public | --private | --address-type <address-type>]
    <server>


# 自动使用当前用户的SSH key
openstack server ssh --private -4 --login cirros cirros-amd64-0

创建服务器的Dump文件。这会触发一个crash dump（例如Linux的kdump） 

openstack server dump create <server> [<server> ...]

（软）删除服务器

openstack server delete [--wait] <server> [<server> ...]

设置服务器属性

openstack server set
    [--name <new-name>]
    [--root-password]
    [--property <key=value>]
    [--state <state>]
    [--description <description>]
    [--tag <tag>]
    <server>

openstack server unset
    [--property <key>]
    [--description]
    [--tag <tag>]
    <server>

锁定实例，这样非admin用户就不能对它进行任何操作。

openstack server lock [--reason <reason>] <server> [<server> ...]

解锁服务器

openstack server unpause <server> [<server> ...] 

openstack server list
    [--sort-column SORT_COLUMN]
    [--availability-zone <availability-zone>]
    [--reservation-id <reservation-id>]
    [--ip <ip-address-regex>]
    [--ip6 <ip-address-regex>]
    [--name <name-regex>]
    [--instance-name <server-name>]
    [--status <status>]
    [--flavor <flavor>]
    [--image <image>]
    [--host <hostname>]
    [--all-projects]
    [--project <project>]
    [--project-domain <project-domain>]
    [--user <user>]
    [--user-domain <user-domain>]
    [--long]
    [-n | --name-lookup-one-by-one]
    [--marker <server>]
    [--limit <num-servers>]
    [--deleted]
    [--changes-before <changes-before>]
    [--changes-since <changes-since>]
    [--locked | --unlocked]
    [--tags <tag>]
    [--not-tags <tag>]

#                     显示诊断信息
openstack server show [--diagnostics] <server>

备份一个运行中的服务器实例，将其磁盘保存为镜像，存放在Glance中。

# 创建备份
openstack server backup create
    # 备份镜像的名字，默认为服务器名
    [--name <image-name>]
    # 填充镜像的backup_type字段
    [--type <backup-type>]
    # 保存的备份数量
    [--rotate <count>]
    [--wait]
    <server>

从运行中的实例创建磁盘镜像，并存放到Glance中。

openstack server image create [--name <image-name>] [--wait] <server> 

服务器事件，记录了针对服务器的各种操作。事件由操作类型（create, delete, reboot ...）+ 操作结果（success, error） + 开始/结束时间组成。

# 事件列表
openstack server event list
    [--sort-column SORT_COLUMN]
    [--long]
    <server>

# 显示事件
openstack server event show <server> <request-id>

一个网络服务提供者，表示一个特定的、实现了网络服务的驱动：

openstack network service provider list [--sort-column SORT_COLUMN]

所谓网络，是指一个独立的（isolated）的L2网段。OpenStack具有两种类型的网络：

1. project：完全隔离的、不和其它项目共享的网络。自服务网络
2. provider：映射到现有的、数据中心中的物理网络，为server或其它资源提供外部网络访问

仅仅管理员可以创建provider网络

openstack network create
    # 是否允许跨项目共享
    [--share | --no-share]
    # 是否启用网络
    [--enable | --disable]
    # 所属项目
    [--project <project>]
    [--description <description>]
    # MTU设置
    [--mtu <mtu>]
    [--project-domain <project-domain>]
    # 在什么AZ中创建此网络。需要Network Availability Zone扩展
    # 此选项可以指定多次，表示网络跨越多个AZ
    [--availability-zone-hint <availability-zone>]
    # 是否启用端口安全，如果指定，则此网络上创建的端口自动应用安全设置
    [--enable-port-security | --disable-port-security]
    # 是否外部网络，如果是，则需要external-net扩展
    [--external | --internal]
    # 是否作为默认外部网络
    [--default | --no-default]
    # 应用到此网络的QoS策略
    [--qos-policy <qos-policy>]
    # 指定此网络是VLAN透明的
    [--transparent-vlan | --no-transparent-vlan]
    # 此虚拟网络所基于其实现的物理机制（physical mechanism）
    #   例如  flat, geneve, gre, local, vlan, vxlan
    [--provider-network-type <provider-network-type>]
    # 此虚拟网络所基于的物理网络的名字
    [--provider-physical-network <provider-physical-network>]
    # 对于VLAN网络，指定VLAN ID
    # 对于GENEVE/GRE/VXLAN，指定Tunnel ID
    [--provider-segment <provider-segment>]
    # 此网络的DNS domain，需要DNS integration扩展
    [--dns-domain <dns-domain>]
    [--tag <tag> | --no-tag]
    # IPv4的CIDR
    --subnet <subnet>
    <name>

openstack network delete <network> [<network> ...]

openstack network list
    [--sort-column SORT_COLUMN]
    [--external | --internal]
    [--long]
    [--name <name>]
    [--enable | --disable]
    [--project <project>]
    [--project-domain <project-domain>]
    [--share | --no-share]
    [--status <status>]
    [--provider-network-type <provider-network-type>]
    [--provider-physical-network <provider-physical-network>]
    [--provider-segment <provider-segment>]
    [--agent <agent-id>]
    [--tags <tag>[,<tag>,...]]
    [--any-tags <tag>[,<tag>,...]]
    [--not-tags <tag>[,<tag>,...]]
    [--not-any-tags <tag>[,<tag>,...]]

openstack network set
    [--name <name>]
    [--enable | --disable]
    [--share | --no-share]
    [--description <description]
    [--mtu <mtu]
    [--enable-port-security | --disable-port-security]
    [--external | --internal]
    [--default | --no-default]
    [--qos-policy <qos-policy> | --no-qos-policy]
    [--tag <tag>]
    [--no-tag]
    [--provider-network-type <provider-network-type>]
    [--provider-physical-network <provider-physical-network>]
    [--provider-segment <provider-segment>]
    [--dns-domain <dns-domain>]
    <network>
openstack network unset [--tag <tag> | --all-tag] <network>

openstack network show <network>

子网是一段IP地址以及关联的配置状态。当新的Port接入到网络中时，子网用于向Port分配IP地址。

openstack subnet create
    [--project <project>]
    [--project-domain <project-domain>]
    # --subnet-pool 该子网从此池中获得自己的CIDR
    # --use-default-subnet-pool 使用默认的子网池
    [--subnet-pool <subnet-pool> | --use-prefix-delegation USE_PREFIX_DELEGATION | --use-default-subnet-pool]
    # 从子网池中分配子网时，前缀的长度
    [--prefix-length <prefix-length>]
    # CIDR格式的子网IP地址范围
    [--subnet-range <subnet-range>]
    # 是否启用DHCP
    [--dhcp | --no-dhcp]
    # 是否在DNS中发布固定IP
    [--dns-publish-fixed-ip | --no-dns-publish-fixed-ip]
    # 指定子网的网关。三种形式：
    #   <ip-address> 将指定的IP地址作为网关
    #   auto 自动在子网内部选择网关地址，默认
    #   none 不使用网关
    [--gateway <gateway>]
    # 子网的IP版本，如果使用了subnet pool，则IP版本取决于子网池，该选项被忽略
    [--ip-version {4,6}]
    # IPv6 RA（Router Advertisement）模式
    [--ipv6-ra-mode {dhcpv6-stateful,dhcpv6-stateless,slaac}]
    # IPv6地址模式
    [--ipv6-address-mode {dhcpv6-stateful,dhcpv6-stateless,slaac}]
    # 关联到此子网的网段，网段属于某个网络
    [--network-segment <network-segment>]
    # 此子网所属的网络
    --network <network>
    [--description <description>]
    # 此子网的DHCP自动分配IP地址的范围。可以指定多个
    [--allocation-pool start=<ip-address>,end=<ip-address>]
    # 此子网使用的DNS服务器
    [--dns-nameserver <dns-nameserver>]
    # 为子网添加额外的路由，示例 destination=10.10.0.0/16,gateway=192.168.71.254 网关为下一跳地址
    [--host-route destination=<subnet>,gateway=<ip-address>]
    # 子网的服务类型，必须指定为有效的、某个网络端口的device owner，例如network:floatingip_agent_gateway
    # 可以指定多个，以支持多个服务类型
    [--service-type <service-type>]
    [--tag <tag> | --no-tag]
    <name>

openstack subnet delete <subnet> [<subnet> ...]

openstack subnet list
    [--sort-column SORT_COLUMN]
    [--long]
    [--ip-version <ip-version>]
    [--dhcp | --no-dhcp]
    [--service-type <service-type>]
    [--project <project>]
    [--project-domain <project-domain>]
    [--network <network>]
    [--gateway <gateway>]
    [--name <name>]
    [--subnet-range <subnet-range>]
    [--tags <tag>[,<tag>,...]]
    [--any-tags <tag>[,<tag>,...]]
    [--not-tags <tag>[,<tag>,...]]
    [--not-any-tags <tag>[,<tag>,...]]
openstack subnet show <subnet>

openstack subnet set
    [--name <name>]
    [--dhcp | --no-dhcp]
    [--dns-publish-fixed-ip | --no-dns-publish-fixed-ip]
    [--gateway <gateway>]
    [--network-segment <network-segment>]
    [--description <description>]
    [--tag <tag>]
    [--no-tag]
    [--allocation-pool start=<ip-address>,end=<ip-address>]
    [--no-allocation-pool]
    [--dns-nameserver <dns-nameserver>]
    [--no-dns-nameservers]
    [--host-route destination=<subnet>,gateway=<ip-address>]
    [--no-host-route]
    [--service-type <service-type>]
    <subnet>
openstack subnet unset
    [--allocation-pool start=<ip-address>,end=<ip-address>]
    [--dns-nameserver <dns-nameserver>]
    [--host-route destination=<subnet>,gateway=<ip-address>]
    [--service-type <service-type>]
    [--tag <tag> | --all-tag]
    <subnet>

子网池中包含若干CIDR格式的子网前缀，这些前缀用于分配给子网。

# 创建一个子网池
openstack subnet pool create
    # 子网池的前缀
    --pool-prefix <pool-prefix>
    # 子网池默认前缀长度
    [--default-prefix-length <default-prefix-length>]
    # 最小/最大前缀长度
    [--min-prefix-length <min-prefix-length>]
    [--max-prefix-length <max-prefix-length>]
    [--project <project>]
    [--project-domain <project-domain>]
    # 关联到此池的address scope对象的名字或ID
    [--address-scope <address-scope>]
    # 是否作为默认子网池
    [--default | --no-default]
    [--share | --no-share]
    [--description <description>]
    # 默认的，每个项目的配额 —— 可以从池中分配的IP数量
    [--default-quota <num-ip-addresses>]
    [--tag <tag> | --no-tag]
    <name>

openstack subnet pool delete <subnet-pool> [<subnet-pool> ...]

openstack subnet pool list
    [--sort-column SORT_COLUMN]
    [--long]
    [--share | --no-share]
    [--default | --no-default]
    [--project <project>]
    [--project-domain <project-domain>]
    [--name <name>]
    [--address-scope <address-scope>]
    [--tags <tag>[,<tag>,...]]
    [--any-tags <tag>[,<tag>,...]]
    [--not-tags <tag>[,<tag>,...]]
    [--not-any-tags <tag>[,<tag>,...]]
openstack subnet pool show <subnet-pool>

openstack subnet pool set
    [--name <name>]
    [--pool-prefix <pool-prefix>]
    [--default-prefix-length <default-prefix-length>]
    [--min-prefix-length <min-prefix-length>]
    [--max-prefix-length <max-prefix-length>]
    [--address-scope <address-scope> | --no-address-scope]
    [--default | --no-default]
    [--description <description>]
    [--default-quota <num-ip-addresses>]
    [--tag <tag>]
    [--no-tag]
    <subnet-pool>
openstack subnet pool unset [--tag <tag> | --all-tag] <subnet-pool>

表示IPv4或IPv6的地址范围，属于某个特定项目，可以被多个项目共享。

# 创建地址范围
openstack address scope create
    [--ip-version {4,6}]
    [--project <project>]
    [--project-domain <project-domain>]
    # 是否可以在项目之间共享
    [--share | --no-share]
    <name>

openstack address scope delete <address-scope> [<address-scope> ...]

openstack address scope list
    [--sort-column SORT_COLUMN]
    [--name <name>]
    [--ip-version <ip-version>]
    [--project <project>]
    [--project-domain <project-domain>]
    [--share | --no-share]

openstack address scope set
    [--name <name>]
    [--share | --no-share]
    <address-scope>

openstack address scope show <address-scope> 

虚拟路由器是一个逻辑组件，能够在不同网络之间分发数据包。虚拟路由器也提供L3和NAT转发功能，让虚拟网络中的服务器能够访问外部流量。

# 将端口添加到路由器
openstack router add port <router> <port>
openstack router remove port <router> <port>

# 将子网连接到路由器
openstack router add subnet <router> <subnet>
openstack router remove subnet <router> <subnet>

# 在路由器的路由表中添加一个静态路由
openstack router add route
    [--route destination=<subnet>,gateway=<ip-address>]
    <router>
openstack router remove route
    [--route destination=<subnet>,gateway=<ip-address>]
    <router>

# 创建路由器
openstack router create
    [--enable | --disable]
    # 集中还是分布式的
    [--distributed | --centralized]
    # 是否高可用
    [--ha | --no-ha]
    [--description <description>]
    [--project <project>]
    [--project-domain <project-domain>]
    [--availability-zone-hint <availability-zone>]
    [--tag <tag> | --no-tag]
    <name>

# 删除路由器
openstack router delete <router> [<router> ...]

# 列出路由器
openstack router list
    [--sort-column SORT_COLUMN]
    [--name <name>]
    [--enable | --disable]
    [--long]
    [--project <project>]
    [--project-domain <project-domain>]
    [--agent <agent-id>]
    [--tags <tag>[,<tag>,...]]
    [--any-tags <tag>[,<tag>,...]]
    [--not-tags <tag>[,<tag>,...]]
    [--not-any-tags <tag>[,<tag>,...]]

# 设置属性
openstack router set
    [--name <name>]
    [--description <description>]
    [--enable | --disable]
    [--distributed | --centralized]
    [--route destination=<subnet>,gateway=<ip-address>]
    [--no-route]
    [--ha | --no-ha]
    [--external-gateway <network>]
    [--fixed-ip subnet=<subnet>,ip-address=<ip-address>]
    [--enable-snat | --disable-snat]
    [--qos-policy <qos-policy> | --no-qos-policy]
    [--tag <tag>]
    [--no-tag]
    <router>
openstack router unset
    [--route destination=<subnet>,gateway=<ip-address>]
    [--external-gateway]
    [--qos-policy]
    [--tag <tag> | --all-tag]
    <router>

# 显示路由器信息
openstack router show <router> 

端口是网络上的接入点，它可以将单个设备（例如server上的NIC）连接到网络。端口也描述了其关联的网络配置，例如MAC地址、IP地址

openstack port create
    # 端口所属的网络
    --network <network>
    [--description <description>]
    # 端口的设备ID
    [--device <device-id>]
    # 端口的MAC地址
    [--mac-address <mac-address>]
    # 使用端口的实体，例如network:dhcp
    [--device-owner <device-owner>]
    # 端口的VNIC类型。默认normal
    # direct | direct-physical | macvtap | normal | baremetal | virtio-forwarder
    [--vnic-type <vnic-type>]
    # 在宿主机上分配端口
    [--host <host-id>]
    # 此端口所属的DNS域
    [--dns-domain dns-domain]
    # 此端口的DNS名称
    [--dns-name <dns-name>]
    # 调度此端口所需的NUMA亲和性策略
    [--numa-policy-required | --numa-policy-preferred | --numa-policy-legacy]
    # 此端口期望的IP和/或子网。可以指定多次
    [--fixed-ip subnet=<subnet>,ip-address=<ip-address> | --no-fixed-ip]
    [--binding-profile <binding-profile>]
    # 启用/禁用端口
    [--enable | --disable]
    # 启用uplink状态传播
    [--enable-uplink-status-propagation | --disable-uplink-status-propagation]
    [--project <project>]
    [--project-domain <project-domain>]
    # 额外分配给此端口的DHCP选项
    [--extra-dhcp-option name=<name>[,value=<value>,ip-version={4,6}]]
    # 关联到此端口的安全组
    [--security-group <security-group> | --no-security-group]
    # 关联到此端口的QoS策略
    [--qos-policy <qos-policy>]
    # 是否启用端口安全
    [--enable-port-security | --disable-port-security]
    # 添加允许的IP/MAC地址。可以指定多次
    # 不被允许的IP地址，不能作为发往此端口的IP目的地址
    [--allowed-address ip-address=<ip-address>[,mac-address=<mac-address>]]
    [--tag <tag> | --no-tag]
    <name>

openstack port delete <port> [<port> ...]

openstack port list
    [--sort-column SORT_COLUMN]
    [--device-owner <device-owner>]
    [--host <host-id>]
    [--network <network>]
    [--router <router> | --server <server> | --device-id <device-id>]
    [--mac-address <mac-address>]
    [--long]
    [--project <project>]
    [--project-domain <project-domain>]
    [--fixed-ip subnet=<subnet>,ip-address=<ip-address>,ip-substring=<ip-substring>]
    [--tags <tag>[,<tag>,...]]
    [--any-tags <tag>[,<tag>,...]]
    [--not-tags <tag>[,<tag>,...]]
    [--not-any-tags <tag>[,<tag>,...]]

openstack port set
    [--description <description>]
    [--device <device-id>]
    [--mac-address <mac-address>]
    [--device-owner <device-owner>]
    [--vnic-type <vnic-type>]
    [--host <host-id>]
    [--dns-domain dns-domain]
    [--dns-name <dns-name>]
    [--numa-policy-required | --numa-policy-preferred | --numa-policy-legacy]
    [--enable | --disable]
    [--name <name>]
    [--fixed-ip subnet=<subnet>,ip-address=<ip-address>]
    [--no-fixed-ip]
    [--binding-profile <binding-profile>]
    [--no-binding-profile]
    [--qos-policy <qos-policy>]
    [--security-group <security-group>]
    [--no-security-group]
    [--enable-port-security | --disable-port-security]
    [--allowed-address ip-address=<ip-address>[,mac-address=<mac-address>]]
    [--no-allowed-address]
    [--data-plane-status <status>]
    [--tag <tag>]
    [--no-tag]
    <port>
openstack port unset
    [--fixed-ip subnet=<subnet>,ip-address=<ip-address>]
    [--binding-profile <binding-profile-key>]
    [--security-group <security-group>]
    [--allowed-address ip-address=<ip-address>[,mac-address=<mac-address>]]
    [--qos-policy]
    [--data-plane-status]
    [--numa-policy]
    [--tag <tag> | --all-tag]
    <port>

openstack port show <port> 

安全组是虚拟的网络防火墙，网络中的服务器、端口等资源可以受其影响。

安全组是安全组规则的容器。

# 创建安全组
openstack security group create
    [--description <description>]
    [--project <project>]
    # 是否五状态
    [--stateful | --stateless]
    [--project-domain <project-domain>]
    [--tag <tag> | --no-tag]
    <name>

openstack security group delete <group> [<group> ...]

openstack security group list
    [--sort-column SORT_COLUMN]
    [--project <project>]
    [--project-domain <project-domain>]
    [--tags <tag>[,<tag>,...]]
    [--any-tags <tag>[,<tag>,...]]
    [--not-tags <tag>[,<tag>,...]]
    [--not-any-tags <tag>[,<tag>,...]]
    [--all-projects]

openstack security group set
    [--name <new-name>]
    [--description <description>]
    [--stateful | --stateless]
    [--tag <tag>]
    [--no-tag]
    <group>
openstack security group unset [--tag <tag> | --all-tag] <group>

openstack security group show <group>

安全组中的一条规则。

# 创建一条规则
openstack security group rule create
    # 此规则针对的远程IP，可以使用CIDR
    #   0.0.0.0/0 表示默认IPv4规则
    #   ::/0 表示默认IPv6规则
    [--remote-ip <ip-address> | --remote-group <group>]
    # 目标（远程）端口。可以使用端口范围，例如  137:139
    # 对于TCP/UDP必须，对于ICMP忽略此字段
    [--dst-port <port-range>]
    # 协议： 默认any表示任何协议
    #   ah, dccp, egp, esp, gre, icmp, igmp, ipv6-encap, ipv6-frag, ipv6-icmp, ipv6-nonxt, 
    #   ipv6-opts, ipv6-route, ospf, pgm, rsvp, sctp, tcp, udp, udplite, vrrp 
    [--protocol <protocol>]
    [--description <description>]
    # 针对特定的ICMP类型
    [--icmp-type <icmp-type>]
    [--icmp-code <icmp-code>]
    # 此规则针对入站还是出站流量，默认ingress
    [--ingress | --egress]
    # 以太网上的流量类型  IPv4, IPv6
    [--ethertype <ethertype>]
    [--project <project>]
    [--project-domain <project-domain>]
    # 所属的组
    <group>

openstack security group rule delete <rule> [<rule> ...]

openstack security group rule list
    [--sort-column SORT_COLUMN]
    [--protocol <protocol>]
    [--ethertype <ethertype>]
    [--ingress | --egress]
    [--long]
    [--all-projects]
    [<group>]

openstack security group rule show <rule>


# 完全开放默认安全组
openstack security group rule create --remote-ip 0.0.0.0/0  --protocol any --ingress --ethertype IPv4 default
openstack security group rule create --remote-ip ::/0  --protocol any --ingress --ethertype IPv6 default
openstack security group rule create --remote-ip 0.0.0.0/0  --protocol any --egress --ethertype IPv4 default
openstack security group rule create --remote-ip ::/0  --protocol any --egress --ethertype IPv6 default

可以让管理员快速的设置某个项目的外部连接性。每个项目只能有一个此对象。

openstack network auto allocated topology create
    [--project <project>]
    [--project-domain <project-domain>]
    [--check-resources]
    [--or-show]

openstack network auto allocated topology delete
    [--project <project>]
    [--project-domain <project-domain>]

扩展network flavor允许用户在创建资源时，选择管理员配置的“网络风格”

# 添加一个service profile到network flavor
openstack network flavor add profile <flavor> <service-profile>
openstack network flavor remove profile <flavor> <service-profile>

# 创建network flavor
openstack network flavor create
    # 此flavor应用到的网络服务类型，例如VPN
    # 执行 openstack network service provider list  获得网络服务类型列表
    --service-type <service-type>
    [--description DESCRIPTION]
    [--project <project>]
    [--project-domain <project-domain>]
    [--enable | --disable]
    <name>

openstack network flavor delete <flavor> [<flavor> ...]

openstack network flavor list [--sort-column SORT_COLUMN]

openstack network flavor set
    [--description DESCRIPTION]
    [--disable | --enable]
    [--name <name>]
    <flavor>

openstack network flavor show <flavor>

用于管理员创建/删除/列出/显示网络服务的profile。

openstack network flavor profile create
    [--project <project>]
    [--project-domain <project-domain>]
    [--description <description>]
    [--enable | --disable]
    [--driver DRIVER]
    [--metainfo METAINFO]

openstack network flavor profile delete
    <flavor-profile>
    [<flavor-profile> ...]

openstack network flavor profile list [--sort-column SORT_COLUMN]

openstack network flavor profile set
    [--project-domain <project-domain>]
    [--description <description>]
    [--enable | --disable]
    [--driver DRIVER]
    [--metainfo METAINFO]
    <flavor-profile>

openstack network flavor profile show <flavor-profile>

允许管理员来度量某个IP范围的流量。需要L3 metering extension

openstack network meter create
    [--description <description>]
    [--project <project>]
    [--project-domain <project-domain>]
    [--share | --no-share]
    <name>

openstack network meter delete <meter> [<meter> ...]

openstack network meter list [--sort-column SORT_COLUMN]

openstack network meter show <meter>

为某个meter设置度量网络流量的规则。需要L3 metering extension

openstack network meter rule create
    [--project <project>]
    [--project-domain <project-domain>]
    [--exclude | --include]
    [--ingress | --egress]
    [--remote-ip-prefix <remote-ip-prefix>]
    [--source-ip-prefix <remote-ip-prefix>]
    [--destination-ip-prefix <remote-ip-prefix>]
    <meter>

openstack network meter rule delete
    <meter-rule-id>
    [<meter-rule-id> ...]

openstack network meter rule list [--sort-column SORT_COLUMN]

openstack network meter rule show <meter-rule-id>

将一组网络QoS规则组合到一起，可以应用到一个网络或端口。

openstack network qos policy create
    [--description <description>]
    [--share | --no-share]
    [--project <project>]
    [--project-domain <project-domain>]
    [--default | --no-default]
    <name>

openstack network qos policy delete <qos-policy> [<qos-policy> ...]

openstack network qos policy list
    [--sort-column SORT_COLUMN]
    [--project <project>]
    [--project-domain <project-domain>]
    [--share | --no-share]

openstack network qos policy set
    [--name <name>]
    [--description <description>]
    [--share | --no-share]
    [--default | --no-default]
    <qos-policy>

openstack network qos policy show <qos-policy>

上述policy中的一个规则

openstack network qos rule create
    # QoS规则类型
    # minimum-bandwidth, dscp-marking, bandwidth-limit
    [--type <type>]
    # 最大带宽
    [--max-kbps <max-kbps>]
    # 最大突发带宽。如果不指定或者设置为0表示自动，为80%的最大带宽，适合于典型的TCP流量
    [--max-burst-kbits <max-burst-kbits>]
    # DSCP标记，可以是0，或者8-56之间的偶数（42 44 50 52 54不可以）
    [--dscp-mark <dscp-mark>]
    # 最小保障的带宽
    [--min-kbps <min-kbps>]
    # 此规则是用于入站还是出站的流量（从当前项目的角度）
    [--ingress | --egress]
    # 此规则加到哪个策略中
    <qos-policy>

openstack network qos rule delete <qos-policy> <rule-id>

openstack network qos rule list
    [--sort-column SORT_COLUMN]
    <qos-policy>

openstack network qos rule set
    [--max-kbps <max-kbps>]
    [--max-burst-kbits <max-burst-kbits>]
    [--dscp-mark <dscp-mark>]
    [--min-kbps <min-kbps>]
    [--ingress | --egress]
    <qos-policy>
    <rule-id>

openstack network qos rule show <qos-policy> <rule-id>

表示一个网络中的隔离的L2的段。一个（虚拟）网络可以包含多个段，同一个网络中的段的L2通信不被保证。

# 创建一个网络段
openstack network segment create
    [--description <description>]
    # 物理网络的名字
    [--physical-network <physical-network>]
    # 段的名字
    [--segment <segment>]
    # 此段属于的虚拟网络的名字
    --network <network>
    # 此段的网络类型：flat, geneve, gre, local, vlan, vxlan
    --network-type <network-type>
    <name>

openstack network segment delete
    <network-segment>
    [<network-segment> ...]

openstack network segment list
    [--sort-column SORT_COLUMN]
    [--long]
    [--network <network>]

openstack network segment set
    [--description <description>]
    [--name <name>]
    <network-segment>

openstack network segment show <network-segment>

用于多租户下的网络段分配。可以让管理员全局的，或者基于用户的，来控制网络段范围。

openstack network segment range create
    [--private | --shared]
    [--project <project>]
    [--project-domain <project-domain>]
    --network-type <network-type>
    [--physical-network <physical-network-name>]
    --minimum <minimum-segmentation-id>
    --maximum <maximum-segmentation-id>
    <name>

openstack network segment range delete
    <network-segment-range>
    [<network-segment-range> ...]

openstack network segment range list
    [--sort-column SORT_COLUMN]
    [--long]
    [--used | --unused]
    [--available | --unavailable]

openstack network segment range set
    [--name <name>]
    [--minimum <minimum-segmentation-id>]
    [--maximum <maximum-segmentation-id>]
    <network-segment-range>

openstack network segment range show <network-segment-range> 

所谓网络代理，负责（在节点上）处理各种任务，以实现虚拟网络。网络代理包括：

1. neutron-dhcp-agent，负责提供DHCP服务给虚拟机
2. neutron-l3-agent，负责在自服务网络中提供路由
3. neutron-metering-agent
4. neutron-lbaas-agent

# 添加网络到代理
openstack network agent add network [--dhcp] <agent-id> <network>
openstack network agent remove network [--dhcp] <agent-id> <network>

# 添加路由器到代理
openstack network agent add router [--l3] <agent-id> <router>
openstack network agent remove router [--l3] <agent-id> <router>

# 删除代理
openstack network agent delete <network-agent> [<network-agent> ...]

# 设置代理属性
openstack network agent set
    [--description <description>]
    [--enable | --disable]
    <network-agent>

# 列出代理
openstack network agent list
    [--sort-column SORT_COLUMN]
    [--agent-type <agent-type>]
    [--host <host>]
    [--network <network> | --router <router>]
    [--long]

# 显示代理详细信息
openstack network agent show <network-agent> 

显示网络可用的IP地址

# IP可用数量
openstack ip availability list

# 显示详细信息
openstack ip availability show <network>

管理浮动IP

# 创建一个浮动IP
openstack floating ip create
    # 在哪个子网上创建浮动IP
    [--subnet <subnet>]
    # 浮动IP授予哪个端口
    [--port <port>]
    # 浮动IP的值
    [--floating-ip-address <ip-address>]
    # 映射到浮动IP的固定IP
    [--fixed-ip-address <ip-address>]
    # 浮动IP的QoS策略
    [--qos-policy <qos-policy>]
    [--description <description>]
    [--project <project>]
    # 浮动IP的DNS名
    [--dns-domain <dns-domain>]
    [--dns-name <dns-name>]
    [--project-domain <project-domain>]
    # 添加标记
    [--tag <tag> | --no-tag]
    # 从什么网络来分配浮动IP
    <network>
openstack floating ip unset
    [--port]
    [--qos-policy]
    [--tag <tag> | --all-tag]
    <floating-ip>

openstack floating ip delete <floating-ip> [<floating-ip> ...]
openstack floating ip set
    [--port <port>]
    [--fixed-ip-address <ip-address>]
    [--description <description>]
    [--qos-policy <qos-policy> | --no-qos-policy]
    [--tag <tag>]
    [--no-tag]
    <floating-ip>

openstack floating ip show <floating-ip>
openstack floating ip list
    [--sort-column SORT_COLUMN]
    [--network <network>]
    [--port <port>]
    [--fixed-ip-address <ip-address>]
    [--floating-ip-address <ip-address>]
    [--long]
    [--status <status>]
    [--project <project>]
    [--project-domain <project-domain>]
    [--router <router>]
    [--tags <tag>[,<tag>,...]]
    [--any-tags <tag>[,<tag>,...]]
    [--not-tags <tag>[,<tag>,...]]
    [--not-any-tags <tag>[,<tag>,...]]

浮动IP池管理

openstack floating ip pool list [--sort-column SORT_COLUMN]

创建浮动IP端口转发规则

openstack floating ip port forwarding create
    # 端口上的固定IPv4地址，浮动IP将其作为转发目标
    --internal-ip-address <internal-ip-address>
    # 转发到的端口
    --port <port>
    # 固定地址上的端口
    --internal-protocol-port <port-number>
    # 浮动IP上的端口
    --external-protocol-port <port-number>
    # 协议
    --protocol <protocol>
    [--description <description>]
    # 此转发规则针对的浮动IP（的IP或ID）
    <floating-ip>

管理卷服务

openstack volume service list
    [--host <host>]
    [--service <service>]
    [--long]

openstack volume service set
    [--enable | --disable]
    [--disable-reason <reason>]
    <host>
    <service>

管理卷

# 创建卷
openstack volume create
    # 卷的大小，单位GB
    [--size <size>]
    # 卷的类型
    [--type <volume-type>]
    # 将镜像、快照或者另外一个卷，作为新卷的数据来源
    [--image <image> | --snapshot <snapshot> | --source <volume> ]
    [--description <description>]
    # 指定一个alternate用户、项目
    [--user <user>]
    [--project <project>]
    # 在指定可用区中创建卷
    [--availability-zone <availability-zone>]
    # 将卷加入到一致性组
    [--consistency-group <consistency-group>]
    [--property <key=value> [...] ]
    # 提供给卷调度器的提示信息
    [--hint <key=value> [...] ]
    # 卷是否需要支持多重挂载
    [--multi-attach]
    # 是否将卷标记为可启动磁盘
    [--bootable | --non-bootable]
    # 是否只读卷
    [--read-only | --read-write]
    <name>
# 删除卷
openstack volume delete
    [--force | --purge]
    <volume> [<volume> ...]

# 列出卷
openstack volume list
    [--project <project> [--project-domain <project-domain>]]
    [--user <user> [--user-domain <user-domain>]]
    [--name <name>]
    [--status <status>]
    [--all-projects]
    [--long]
    [--limit <num-volumes>]
    [--marker <volume>]
# 显示卷的详细信息
openstack volume show
    <volume>

# 设置卷属性
openstack volume set
    [--name <name>]
    [--size <size>]
    [--description <description>]
    [--no-property]
    [--property <key=value> [...] ]
    [--image-property <key=value> [...] ]
    [--state <state>]
    [--attached | --detached ]
    [--type <volume-type>]
    [--retype-policy <retype-policy>]
    [--bootable | --non-bootable]
    [--read-only | --read-write]
    <volume>
openstack volume unset
    [--property <key>]
    [--image-property <key>]
    <volume>

管理卷类型

openstack volume type create
    [--description <description>]
    [--public | --private]
    [--property <key=value> [...] ]
    [--project <project>]
    [--project-domain <project-domain>]
    [--encryption-provider <provider>]
    [--encryption-cipher <cipher>]
    [--encryption-key-size <key-size>]
    [--encryption-control-location <control-location>]
    <name>
openstack volume type delete
    <volume-type> [<volume-type> ...]

openstack volume type list
    [--long]
    [--default | --public | --private]
    [--encryption-type]
openstack volume type show
    [--encryption-type]
    <volume-type>


openstack volume type set
    [--name <name>]
    [--description <description>]
    [--property <key=value> [...] ]
    [--project <project>]
    [--project-domain <project-domain>]
    [--encryption-provider <provider>]
    [--encryption-cipher <cipher>]
    [--encryption-key-size <key-size>]
    [--encryption-control-location <control-location>]
    <volume-type>
openstack volume type unset
    [--property <key> [...] ]
    [--project <project>]
    [--project-domain <project-domain>]
    [--encryption-type]
    <volume-type>

# 显示卷后端特性
openstack volume backend capability show
    [--sort-column SORT_COLUMN]
    <host>

# 列出后端池
openstack volume backend pool list [--sort-column SORT_COLUMN] [--long] 

将卷迁移到一个新的宿主机 

openstack volume migrate
    # 目标主机
    --host <host>
    # 使用一般性的，基于复制的迁移。跳过存储驱动可能的优化
    [--force-host-copy]
    # 锁定卷，防止迁移被其它操作中止
    [--lock-volume]
    <volume>

管理卷的快照

# 创建一个卷快照
openstack volume snapshot create
    # 目标卷
    [--volume <volume>]
    [--description <description>]
    # 即使在使用中，也创建快照
    [--force]
    [--property <key=value> [...] ]
    [--remote-source <key=value> [...]]
    <snapshot-name>
openstack volume snapshot delete
    [--force]
    <snapshot> [<snapshot> ...]


# 列出和显示
openstack volume snapshot list
    [--all-projects]
    [--project <project> [--project-domain <project-domain>]]
    [--long]
    [--limit <num-snapshots>]
    [--marker <snapshot>]
    [--name <name>]
    [--status <status>]
    [--volume <volume>]
openstack volume snapshot show
    <snapshot>

# 设置属性
openstack volume snapshot set
    [--name <name>]
    [--description <description>]
    [--no-property]
    [--property <key=value> [...] ]
    [--state <state>]
    <snapshot>
openstack volume snapshot unset
    [--property <key>]
    <snapshot>

管理卷备份

# 创建卷备份
openstack volume backup create
    [--name <name>]
    [--description <description>]
    # 保存到哪个对象容器
    [--container <container>]
    # 备份快照
    [--snapshot <snapshot>]
    # 允许备份使用中的卷
    [--force]
    # 进行增量备份
    [--incremental]
    <volume>

# 删除卷备份
openstack volume backup delete [--force] <backup> [<backup> ...]

# 列出卷备份
openstack volume backup list
    [--sort-column SORT_COLUMN]
    [--long]
    [--name <name>]
    [--status <status>]
    [--volume <volume>]
    [--marker <volume-backup>]
    [--limit <num-backups>]
    [--all-projects]

# 显示备份详细信息
openstack volume backup show <backup>

# 导出卷备份详细信息
openstack volume backup record export <backup>

# 导入卷备份详细信息
openstack volume backup record import
    <backup_service>
    <backup_metadata>

# 设置属性
openstack volume backup set
    [--name <name>]
    [--description <description>]
    [--state <state>]
    <backup>

从备份中恢复卷

openstack volume backup restore <backup> <volume>

管理卷关联的QoS规格，将QoS规格关联到卷类型

# 关联QoS规格到一个卷类型
openstack volume qos associate
    <qos-spec>
    <volume-type>
volume qos disassociate

# 创建一个QoS规格
openstack volume qos create
    [--consumer <consumer>]
    [--property <key=value> [...] ]
    <name>

# 删除一个QoS规格
volume qos delete

# 列出和显示
volume qos list
openstack volume qos show
    <qos-spec>

# 设置属性
openstack volume qos set
    [--property <key=value> [...] ]
    <qos-spec>
openstack volume qos unset
    [--property <key> [...] ]
    <qos-spec> 

可以让一组卷同时进行快照，以保证数据一致性

# 将卷加入/移除一致性组
openstack consistency group add volume
    <consistency-group>
    <volume> [<volume> ...]
openstack consistency group remove volume
    <consistency-group>
    <volume> [<volume> ...]


# 创建一致性组
openstack consistency group create
    --volume-type <volume-type> | --consistency-group-source <consistency-group> | --consistency-group-snapshot <consistency-group-snapshot>
    [--description <description>]
    [--availability-zone <availability-zone>]
    [<name>]

# 删除一致性组
openstack consistency group delete
    # 即使出错也强制删除
    [--force]
    <consistency-group> [<consistency-group> ...]



openstack consistency group list
    [--all-projects]
    [--long]
openstack consistency group set
    [--name <name>]
    [--description <description>]
    <consistency-group>
openstack consistency group show
    <consistency-group>

定义Object Storage V1中的一个命名空间。

管理对象存储中的对象。

# 上传对象到container
openstack object create
    [--sort-column SORT_COLUMN]
    [--name <name>]
    <container>
    <filename>
    [<filename> ...]

# 删除对象
openstack object delete <container> <object> [<object> ...]

# 列出对象
openstack object list
    [--sort-column SORT_COLUMN]
    [--delimiter <delimiter>]
    [--marker <marker>]
    [--end-marker <end-marker>]
    [--limit <num-objects>]
    [--long]
    [--all]
    <container>

# 下载对象到本地
openstack object save [--file <filename>] <container> <object>

# 设置对象属性
openstack object set --property <key =value> <container> <object>
openstack object unset --property <key> <container> <object>

# 显示对象信息
openstack object show <container> <object>

账户是container - objects树结构的最根部。

openstack object store account set --property <key =value>
openstack object store account unset --property <key>

openstack object store account show 

很多功能和openstack命令重复，建议使用openstack命令，仅仅在使用某些高级特性时，才需要底层的nova命令。

OS_USERNAME
OS_PASSWORD
OS_PROJECT_NAME
OS_PROJECT_ID
OS_PROJECT_DOMAIN_NAME
OS_PROJECT_DOMAIN_ID
OS_USER_DOMAIN_NAME
OS_USER_DOMAIN_ID
# Keystone端点URL
OS_AUTH_URL
OS_COMPUTE_API_VERSION
OS_REGION_NAME
# 逗号分隔的，受信任的镜像证书ID
OS_TRUSTED_IMAGE_CERTIFICATE_IDS

为虚拟机添加安全组

列出指定虚拟机的安全组

将虚拟机从安全组移除

创建agent build， 类似的agent-delete、agent-list、agent-modify命令完成相关CRUD操作

管理服务器聚合， 类似的aggregate-delete、aggregate-list、aggregate-update、aggregate-show命令完成相关CRUD操作

添加虚拟机到聚合中。类似的aggregate-remove-host用于移除虚拟机

缓存镜像到聚合的所有虚拟机中

更新和聚合关联的元数据

创建（基于策略的）虚拟机分组。 类似的server-group-delete、server-group-list、server-group-get命令完成相关CRUD操作

列出可用区

列出虚拟机

修改虚拟机的名字或描述

显示单个虚拟机的详细信息

SSH到虚拟机

启动虚拟机

停止虚拟机

通过创建backup类型的快照，来备份一个虚拟机

启动一个新的虚拟机

从元数据服务器上清除某个虚拟机的管理密码，不会改变实例的密码

获取虚拟机的管理密码，调用元数据服务器，而不是虚拟机自身

设置虚拟机密码

获取虚拟机控制台日志

重置虚拟机状态

锁定虚拟机，非管理员将无法对虚拟机进行操作

解锁虚拟机

在内存中暂停虚拟机

解除内存中暂停的虚拟机

暂停虚拟机到磁盘

恢复暂停到磁盘的虚拟机

重启虚拟机

重启虚拟机进入救援模式 —— 从虚拟机的初始镜像或另外一个特定镜像启动虚拟机，将当前book disk挂载为非boot disk

重启虚拟机，进入正常模式

触发虚拟机crash dump

立即关机，同时删除实例

恢复一个软删除的实例

强制删除一个虚拟机

重建（关机、re-image、启动）虚拟机

保存虚拟机为镜像

将镜像化的虚拟机恢复

将shelved的虚拟机从宿主机上删除

设置/删除虚拟机的元数据

获取虚拟机诊断信息

重建失败宿主机上的某个虚拟机

迁移虚拟机

修改虚拟机规格，即flavor

确认修改规格操作

撤销尚未确认的resize操作，虚拟机恢复原状

对指定的虚拟机进行在线迁移

中止正在进行的在线迁移。需要Nova API版本2.24+

强制结束正在进行的在线迁移

显示某次虚拟机迁移的详细信息

列出指定虚拟机的迁移

列出所有迁移

添加一个或多个tag到虚拟机，类似的server-tag-delete、server-tag-delete-all、server-tag-list、server-tag-set完成相应CRUD操作

为某个租户增加某个flavor的权限。类似的flavor-access-remove移除某个租户访问某个flavor的权限

查看某个flavor的访问权限列表

创建一个flavor。类似的 flavor-delete、flavor-list、flavor-update、flavor-show命令完成相关CRUD操作。

为某个flavor设置或清除extra_spec。

达到虚拟机的RDP控制台

得到寻机的串口控制台

得到虚拟机的Spice控制台

得到虚拟机的VNC控制台

重建失败宿主机上的所有实例

对指定宿主机上所有虚拟机执行在线迁移操作

对指定宿主机上所有虚拟机执行迁移操作

设置/删除宿主机上所有的虚拟机的元数据

列出可用的Hypervisor

列出基于指定Hypervisor的虚拟机

查看Hypervisor的详细信息

显示所有Hypervisor的总和统计信息

显示指定Hypervisor的已启动时间

通过获取虚拟机快照，来创建新的镜像

列出针对指定虚拟机的操作历史

为虚拟机添加一个网络接口（Port）

列出连接到虚拟机的Port

刷新虚拟机的网络信息

重置虚拟机的网络

添加一个卷给虚拟机

将某个卷从虚拟机移除

列出所有添加到虚拟机的卷

将指定的、已经添加到虚拟机的卷的数据，拷贝到另外一个可用（没有被其它虚拟机使用）的卷上，然后将当前挂载的卷换成新的（接收数据拷贝的哪个）

添加访问虚拟机的密钥。类似的 keypair-delete、keypair-list、keypair-show命令完成相关CRUD操作。

显示一个quota class的配额信息

更新quota class的配额值

列出租户的默认配额

为一个用户/租户删除配额，配额值恢复为默认

显示指定用户/租户的配额

为指定用户/租户更新配额

显示单个租户的用量信息

列出所有租户的用量信息

列出所有API 版本

删除服务

禁用服务

启用服务

强制停止服务

列出运行中的服务

用于bash自动补全。脚本文件位于：/etc/bash_completion.d/nova，可以直接拷贝到其它机器使用

列出针对某个用户的，存储（总计、备份、快照、卷等）用量的硬限制

创建一个卷的备份

删除一个卷备份

导出备份元数据

导入备份元数据

列出所有备份

显式的更新备份状态

从一个备份恢复

显示备份详细信息

更新一个备份

创建一个卷

删除一个或多个卷

尝试扩展一个卷的尺寸

进行故障转移，要求卷是replicated

强制删除卷，不管其状态如何

冻结并且禁用指定的卷主机

显示卷的后端的统计信息、属性

显示卷的池信息：

cinder get-pools 

+----------+---------------------+
| Property | Value               |
+----------+---------------------+
| name     | openstack-3@lvm#LVM |
+----------+---------------------+
+----------+---------------------+
| Property | Value               |
+----------+---------------------+
| name     | openstack-4@lvm#LVM |
+----------+---------------------+
+----------+---------------------+
| Property | Value               |
+----------+---------------------+
| name     | openstack-2@lvm#LVM |
+----------+---------------------+
+----------+---------------------+
| Property | Value               |
+----------+---------------------+
| name     | openstack-2@nfs#nfs |
+----------+---------------------+

 每个主机上的lvm后端，独立作为一个池。但是在各主机上都配置了的、指向同一NFS export的，只显示了一个池

列出所有卷

将卷迁移到一个新的主机上

为指定的卷类型设置QoS规格

创建一个QoS规格

删除一个QoS规格

解除一个QoS规格和一个卷类型的关联

解除一个QoS规格的所有关联

列出QoS规格的关联

设置/删除QoS规格的某个属性

列出所有的QoS规格

列出一个配额类（quota class）的所有配额属性

更新配额类的属性

列出租户的默认配额

为一个租户删除配额

显示某个租户的当前配额

更新一个租户的配额

列出一个租户的配额使用情况

列出一个租户的速率限制

重命名卷

在Cinder数据库中显式的重置卷的状态

修改卷的类型

将某个卷回退到某个快照

禁用一个卷服务：

cinder service-disable  openstack-4@nfs  cinder-volume

要删除卷服务，需要：

cinder-manage service remove  cinder-volume openstack-4@nfs 

创建卷快照

删除卷快照

列出卷快照

管理卷快照

设置或删除快照元数据

查看快照元数据

重命名快照

显式的重置快照状态

显示卷快照的信息

停止管理卷快照

接受一个卷转移（volume transfer）

创建一个卷转移

撤销一个卷转移

列出所有卷转移

显示卷转移的信息

授予指定项目（租户）访问某个卷类型的权限

列出卷类型的访问权限

移除卷类型的访问权限

配置好一个卷后端后，需要使用该命令，创建对应的卷类型，并且将类型关联到后端：

cinder type-create nfs-fast
cinder type-key nfs-fast set volume_backend_name=nfs-fast

cinder type-create nfs-slow
cinder type-key nfs-slow set volume_backend_name=nfs-slow

显示默认使用的卷类型：

cinder type-default
+--------------------------------------+-------------+---------------------+-----------+
| ID                                   | Name        | Description         | Is_Public |
+--------------------------------------+-------------+---------------------+-----------+
| 464dc192-cc63-4aab-8466-6d4f41cd0fb4 | __DEFAULT__ | Default Volume Type | True      |
+--------------------------------------+-------------+---------------------+-----------+

通过type-update修改默认卷类型的名字，会导致出错。你必须同步修改控制节点的cinder.conf：

default_volume_type = lvm

删除卷类型

设置/删除卷类型的额外规格（extra_spec）

列出所有卷类型

显示一个卷类型的详细信息

根据ID来更新一个卷类型的名字、描述、是否公开：

cinder type-update --name __DEFAULT__ 464dc192-cc63-4aab-8466-6d4f41cd0fb4

停止管理卷

将卷上传到镜像服务，作为镜像使用

本章按照官网的样例架构，搭建最小化的OpenStack集群。此集群和生产环境架构的不同之处是：

1. 网络代理（networking agents）部署在控制器节点上，而非专用的网络节点
2. 自服务网络（self-service networks）的隧道（Overlay）流量，通过管理网络（management network）而非专用网络传递

此集群包含如下角色的节点：

1. Controller：要求2张NIC
   1. 部署Identity Service、Image Service、计算服务的管理部分、网络服务的管理部分、Web仪表盘，以及多种网络代理
   2. 部署支持性服务，包括SQL数据库、消息代理、NTP
   3. 可选的，部署块存储服务、对象存储服务、编排服务、遥测服务的部分组件
2. Compute：要求2张NIC
   1. 部署计算服务的Hypervisor部分，能够操控Instance。默认Hypervisor是KVM
   2. 部署一个网络代理，用于将Instance连接到虚拟网络，并通过安全组为Instance提供防火墙服务
3. Block Storage：可选的，为Instance提供块存储、共享文件系统服务。在本示例环境中，计算节点和块存储节点之间的流量通过管理网络传输，生产环境下应该有独立的存储网络
4. Object Storage：可选的，用于对象存储的服务

推荐使用两套物理网络：

1. 管理网络（management network，10.1.0.0/16）：通过NAT连接到互联网。绝大部分情况下，节点需要连接到外网（例如安装软件包）时，都应该通过管理网
2. 提供者网络（provider network，10.0.0.0/16）：这是虚拟机的工作负载流量所使用的网络，在：
   1. 网络选项一（提供者网络）下，虚拟机直接连接到此网络
   2. 网络选项二（自服务网络）下，虚拟机连接到自服务网络，然后NAT到此网络以获得外部连接

此集群可以选用两种虚拟网络之一。

Provider networks，也就是外部网络。以最简单的方式部署OpenStack网络服务，通常基于L2（桥接/交换）服务和网络VLAN分段实现。这种选项将虚拟网络桥接到物理网络，依赖于物理网络基础设施完成L3服务。

此外，一个DHCP服务用于为Instance提供IP地址。

这种选项不支持一些高级特性，例如LBaaS、FWaaS。

所谓自服务，是指非特权账户在不需要管理员介入的情况下，管理虚拟化基础设施 —— 例如网络的能力。

这种选项通过提供L3（路由）服务来增强提供者网络，使用的是类似VXLAN之类的overlay segmentation技术。虚拟网络到物理网络的路由通过NAT实现。

OpenStack用户可以在不了解数据网络（data network）底层基础设施的情况下，创建虚拟网络。包括VLAN网络（如果L2插件被相应的配置）。 

安装软件：

sudo -H pip install python-openstackclient  --ignore-installed PyYAML
# placement插件
sudo -H pip install osc-placement

# 修复错误，将下面两个文件开头的import queue 改为 import Queue as queue
sudo vim /usr/local/lib/python2.7/dist-packages/openstack/utils.py
sudo vim /usr/local/lib/python2.7/dist-packages/openstack/cloud/openstackcloud.py

配置Shell自动完成： 

openstack complete | sudo tee /etc/bash_completion.d/osc.bash_completion > /dev/null

OpenStack由一系列独立安装的、相互协作的组件构成。

dnf -y install centos-release-openstack-ussuri
yum config-manager --set-enabled powertools
dnf install https://dl.fedoraproject.org/pub/epel/epel-release-latest-8.noarch.rpm
dnf -y upgrade

dnf -y install telnet htop bridge-utils xterm

略，参考Ubuntu的时钟同步

Keystone为OpenStack提供身份（Identity）服务。Keystone可以提供四种Token（代表请求者身份），样例环境使用Fernet Token，同时基于Apache HTTP Server来处理请求。

首先，你需要安装一个数据库： 

# 安装mariadb模块
dnf -y install mariadb mariadb-server python2-PyMySQL

创建并修改配置文件：

[mysqld]
bind-address = 10.1.0.10

default-storage-engine = innodb
innodb_file_per_table = on
max_connections = 4096
collation-server = utf8_general_ci
character-set-server = utf8

启用服务：

systemctl enable mariadb.service
systemctl start mariadb.service

启用安全配置：

mysql_secure_installation 

安装RabbitMQ：

dnf -y install rabbitmq-server

systemctl enable rabbitmq-server.service
systemctl start rabbitmq-server.service

创建一个RabbitMQ用户：

rabbitmqctl add_user openstack openstack

为用户openstack授予配置、读写权限：

rabbitmqctl set_permissions openstack ".*" ".*" ".*"

Identity Service使用Memcached来缓存Tokens。

安装软件：

dnf -y install memcached python3-memcached

 修改配置：

OPTIONS="-l 0.0.0.0"

启动服务：

systemctl enable memcached.service
systemctl start memcached.service

OpenStack组件可能需要使用Etcd来实现分布式键锁定、配置存储、跟踪服务是否存活。

安装软件：

dnf -y install etcd

修改配置文件：

#[Member]
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="http://10.1.0.10:2380"
ETCD_LISTEN_CLIENT_URLS="http://10.1.0.10:2379"
ETCD_NAME="openstack"
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://10.1.0.10:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://10.1.0.10:2379"
ETCD_INITIAL_CLUSTER="openstack=http://10.1.0.10:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster-01"
ETCD_INITIAL_CLUSTER_STATE="new"

启动服务：

systemctl enable etcd
systemctl start etcd

为Keystone创建数据库和用户：

CREATE DATABASE IF NOT EXISTS keystone;

GRANT ALL PRIVILEGES ON keystone.* TO 'keystone'@'localhost' IDENTIFIED BY 'keystone';

GRANT ALL PRIVILEGES ON keystone.* TO 'keystone'@'%' IDENTIFIED BY 'keystone';

然后，安装以下包： 

dnf -y install openstack-keystone httpd
dnf -y install python3-mod_wsgi

编辑Keystone配置文件：

[database]
# ...
connection = mysql+pymysql://keystone:keystone@os.gmem.cc/keystone


[token]
provider = fernet

初始化数据库：

su -s /bin/sh -c "keystone-manage db_sync" keystone

初始化Fernet密钥存储库：

#                            运行keystone的操作系统用户和组
keystone-manage fernet_setup --keystone-user keystone --keystone-group keystone
keystone-manage credential_setup --keystone-user keystone --keystone-group keystone

启动Identity服务：

keystone-manage bootstrap --bootstrap-password keystone \
  --bootstrap-admin-url http://os.gmem.cc:5000/v3/ \
  --bootstrap-internal-url http://os.gmem.cc:5000/v3/ \
  --bootstrap-public-url http://os.gmem.cc:5000/v3/ \
  --bootstrap-region-id china

编辑Apache配置文件： 

ServerName os.gmem.cc

将Keystone的配置文件链接到Apache配置目录：

ln -s /usr/share/keystone/wsgi-keystone.conf /etc/httpd/conf.d/

启动Apache服务：

systemctl enable httpd.service
systemctl start httpd.service

为了后续使用OpenStack工具时进行身份验证，你需要设置环境变量（密码来自上面的 keystone-manage bootstrap 步骤）：

export OS_USERNAME=admin
export OS_PASSWORD=keystone
export OS_PROJECT_NAME=admin
export OS_USER_DOMAIN_NAME=Default
export OS_PROJECT_DOMAIN_NAME=Default
export OS_AUTH_URL=http://os.gmem.cc:5000/v3
export OS_IDENTITY_API_VERSION=3 

现在，我们需要需要创建一些OpenStack对象：

# 创建一个域
# openstack domain create --description "An Example Domain" example

# 创建一个项目
# 示例环境为每个服务创建一个用户，这些用户在此项目中获得授权
openstack project create --domain default --description "Service Project" service


# 常规操作（非管理）应该使用非特权的项目和用户进行
openstack project create --domain default --description "Gmem Project" gmem
openstack user create --domain default --password gmem gmem
openstack role create gmem
openstack role add --project gmem --user gmem gmem 

Glance为OpenStack提供（虚拟机）镜像服务，Glance支持多种后端存储，本样例环境下我们直接存放在文件系统中。

首先，需要为Glance创建数据库：

CREATE DATABASE IF NOT EXISTS glance;

GRANT ALL PRIVILEGES ON glance.* TO 'glance'@'localhost' IDENTIFIED BY 'glance';
GRANT ALL PRIVILEGES ON glance.* TO 'glance'@'%' IDENTIFIED BY 'glance';

使用OpenStack命令行来创建Glance的凭证信息，注意需要进行上述环境变量设置： 

openstack user create --domain default --password glance glance

为service项目中的glance用户添加admin角色：

openstack role add --project service --user glance admin

创建Glance服务： 

# 服务的类型
openstack service create --name glance --description "OpenStack Image" image

为Glance服务添加一个端点：

openstack endpoint create --region china image public http://os.gmem.cc:9292

下面，需要安装和配置Glance组件。安装软件包：

dnf -y install openstack-glance

修改配置文件：

[database]
connection = mysql+pymysql://glance:glance@os.gmem.cc/glance


[keystone_authtoken]
www_authenticate_uri  = http://os.gmem.cc:5000
auth_url = http://os.gmem.cc:5000
memcached_servers = os.gmem.cc:11211
auth_type = password
project_domain_name = Default
user_domain_name = Default
project_name = service
username = glance
password = glance


[paste_deploy]
flavor = keystone


[glance_store]
stores = file,http
default_store = file
filesystem_store_datadir = /var/lib/glance/images/

初始化Glance数据库：

su -s /bin/sh -c "glance-manage db_sync" glance

启动服务：

systemctl enable openstack-glance-api.service
systemctl start openstack-glance-api.service

为了测试OpenStack，建议使用CirrOS镜像。

wget http://download.cirros-cloud.net/0.4.0/cirros-0.4.0-x86_64-disk.img

openstack image create --public --disk-format qcow2 --container-format bare \
  --file cirros-0.4.0-x86_64-disk.img cirros-0.4.0-amd64 

在Stein版本之前，placement 的代码在Nova中，服务在compute REST API（nova-api）中。

Placement提供了WSGI脚本placement-api，可以在Apache/Nginx之类的WSGI-capable服务器中使用。取决于你的安装方式，该脚本可能位于/usr/bin或/usr/local/bin下面。

为Placement创建数据库：

CREATE DATABASE IF NOT EXISTS placement;
GRANT ALL PRIVILEGES ON placement.* TO 'placement'@'localhost' IDENTIFIED BY 'placement';
GRANT ALL PRIVILEGES ON placement.* TO 'placement'@'%' IDENTIFIED BY 'placement';

创建用户和端点：

openstack user create --domain default --password placement placement

openstack role add --project service --user placement admin

openstack service create --name placement --description "Placement API" placement

openstack endpoint create --region china placement public  http://os.gmem.cc:8778
openstack endpoint create --region china placement internal http://os.gmem.cc:8778
openstack endpoint create --region china placement admin http://os.gmem.cc:8778

安装和配置Placement组件：

dnf -y install openstack-placement-api

修改配置文件：

[placement_database]
connection = mysql+pymysql://placement:placement@os.gmem.cc/placement


[api]
auth_strategy = keystone


[keystone_authtoken]
auth_url = http://os.gmem.cc:5000/v3
memcached_servers = os.gmem.cc:11211
auth_type = password
project_domain_name = Default
user_domain_name = Default
project_name = service
username = placement
password = placement

初始化数据库：

su -s /bin/sh -c "placement-manage db sync" placement

修改Apache配置文件（否则可能计算节点nova报 You don't have permission to access this resource）：

<Directory /usr/bin>
  Require all granted
</Directory>

重启Apache服务：

systemctl restart httpd

创建数据库：

CREATE DATABASE IF NOT EXISTS nova_api;
CREATE DATABASE IF NOT EXISTS nova;
CREATE DATABASE IF NOT EXISTS nova_cell0;

GRANT ALL PRIVILEGES ON nova_api.* TO 'nova'@'localhost' IDENTIFIED BY 'nova';
GRANT ALL PRIVILEGES ON nova_api.* TO 'nova'@'%' IDENTIFIED BY 'nova';

GRANT ALL PRIVILEGES ON nova.* TO 'nova'@'localhost' IDENTIFIED BY 'nova';
GRANT ALL PRIVILEGES ON nova.* TO 'nova'@'%' IDENTIFIED BY 'nova';

GRANT ALL PRIVILEGES ON nova_cell0.* TO 'nova'@'localhost' IDENTIFIED BY 'nova';
GRANT ALL PRIVILEGES ON nova_cell0.* TO 'nova'@'%' IDENTIFIED BY 'nova';

创建用户和端点：

openstack user create --domain default --password nova nova
openstack role add --project service --user nova admin
openstack service create --name nova  --description "OpenStack Compute" compute

openstack endpoint create --region china compute public   http://os.gmem.cc:8774/v2.1
openstack endpoint create --region china compute internal http://os.gmem.cc:8774/v2.1
openstack endpoint create --region china compute admin    http://os.gmem.cc:8774/v2.1

安装组件：

dnf -y install openstack-nova-api openstack-nova-conductor openstack-nova-novncproxy openstack-nova-scheduler

修改配置文件： 

[DEFAULT]
enabled_apis = osapi_compute,metadata
transport_url = rabbit://openstack:openstack@os.gmem.cc:5672/
; 管理网络的IP地址
my_ip = 10.1.0.10

[api_database]
connection = mysql+pymysql://nova:nova@os.gmem.cc/nova_api

[database]
connection = mysql+pymysql://nova:nova@os.gmem.cc/nova

[api]
auth_strategy = keystone

[keystone_authtoken]
www_authenticate_uri = http://os.gmem.cc:5000/
auth_url = http://os.gmem.cc:5000/
memcached_servers = os.gmem.cc:11211
auth_type = password
project_domain_name = Default
user_domain_name = Default
project_name = service
username = nova
password = nova

[vnc]
enabled = true
server_listen = $my_ip
server_proxyclient_address = $my_ip

[glance]
api_servers = http://os.gmem.cc:9292

[oslo_concurrency]
lock_path = /var/lib/nova/tmp

[placement]
region_name = china
project_domain_name = Default
project_name = service
auth_type = password
user_domain_name = Default
auth_url = http://os.gmem.cc:5000/v3
username = placement
password = placement

[neutron]
; 参考：安装Neutron

[cinder]
; 参考：安装Cinder

初始化数据库：

su -s /bin/sh -c "nova-manage api_db sync" nova

su -s /bin/sh -c "nova-manage cell_v2 map_cell0" nova

su -s /bin/sh -c "nova-manage cell_v2 create_cell --name=cell1 --verbose" nova

su -s /bin/sh -c "nova-manage db sync" nova

校验一下，确保cell0和cell1正确的注册了： 

su -s /bin/sh -c "nova-manage cell_v2 list_cells" nova

启动服务：

systemctl enable \
    openstack-nova-api.service \
    openstack-nova-scheduler.service \
    openstack-nova-conductor.service \
    openstack-nova-novncproxy.service

systemctl start \
    openstack-nova-api.service \
    openstack-nova-scheduler.service \
    openstack-nova-conductor.service \
    openstack-nova-novncproxy.service

安装软件：

dnf -y install openstack-nova-compute

修改配置文件：

[DEFAULT]
enabled_apis = osapi_compute,metadata
; 替换为该计算节点上，管理网络的IP
my_ip = 10.1.0.10

[DEFAULT]
transport_url = rabbit://openstack:openstack@os.gmem.cc

[api]
auth_strategy = keystone

[keystone_authtoken]
www_authenticate_uri = http://os.gmem.cc:5000/
auth_url = http://os.gmem.cc:5000/
memcached_servers = os.gmem.cc:11211
auth_type = password
project_domain_name = Default
user_domain_name = Default
project_name = service
username = nova
password = nova

[vnc]
enabled = true
server_listen = 0.0.0.0
server_proxyclient_address = $my_ip
novncproxy_base_url = http://os.gmem.cc:6080/vnc_auto.html

[glance]
api_servers = http://os.gmem.cc:9292

[oslo_concurrency]
lock_path = /var/lib/nova/tmp

[placement]
region_name = china
project_domain_name = Default
project_name = service
auth_type = password
user_domain_name = Default
auth_url = http://os.gmem.cc:5000/v3
username = placement
password = placement

[libvirt]
virt_type = kvm

[neutron]
; 参考：安装Neutron

[cinder]
; 参考：安装Cinder

启动服务：

systemctl enable libvirtd.service openstack-nova-compute.service
systemctl start libvirtd.service openstack-nova-compute.service

如果nova-compute启动失败，检查日志： /var/log/nova/nova-compute.log。

最后，将该节点加入到cell数据库中：

# 检查计算服务列表
openstack compute service list --service nova-compute

# 发现计算服务主机
# 需要在控制节点上执行
su -s /bin/sh -c "nova-manage cell_v2 discover_hosts --verbose" nova

# 如果希望自动发现新的主机，可以配置控制节点的/etc/nova/nova.conf：
# [scheduler]
# discover_hosts_in_cells_interval = 300

创建数据库：

CREATE DATABASE IF NOT EXISTS neutron;

GRANT ALL PRIVILEGES ON neutron.* TO 'neutron'@'localhost'  IDENTIFIED BY 'neutron';
GRANT ALL PRIVILEGES ON neutron.* TO 'neutron'@'%' IDENTIFIED BY 'neutron';

创建用户和端点：

openstack user create --domain default --password neutron neutron

openstack role add --project service --user neutron admin

openstack service create --name neutron --description "OpenStack Networking" network

openstack endpoint create --region china network public   http://os.gmem.cc:9696
openstack endpoint create --region china network internal http://os.gmem.cc:9696
openstack endpoint create --region china network admin    http://os.gmem.cc:9696

如果使用提供者网络，也就是直接将VM添加到外部网络，不提供自服务网络（以及路由器、浮动IP等），则需要使用admin或其它特权账户。步骤如下：

1. 安装软件：
   

   dnf -y install openstack-neutron openstack-neutron-ml2 openstack-neutron-linuxbridge ebtables 

2. 配置Neutron：
   

   [database]
   connection = mysql+pymysql://neutron:neutron@os.gmem.cc/neutron
   
   [DEFAULT]
   core_plugin = ml2
   service_plugins =
   
   transport_url = rabbit://openstack:openstack@os.gmem.cc
   
   auth_strategy = keystone
   
   notify_nova_on_port_status_changes = true
   notify_nova_on_port_data_changes = true
   
   [keystone_authtoken]
   www_authenticate_uri = http://os.gmem.cc:5000
   auth_url = http://os.gmem.cc:5000
   memcached_servers = os.gmem.cc:11211
   auth_type = password
   project_domain_name = default
   user_domain_name = default
   project_name = service
   username = neutron
   password = neutron
   
   [nova]
   auth_url = http://os.gmem.cc:5000
   auth_type = password
   project_domain_name = default
   user_domain_name = default
   region_name = china
   project_name = service
   username = nova
   password = nova
   
   [oslo_concurrency]
   lock_path = /var/lib/neutron/tmp

3. 配置Modular Layer2（ML2）插件。此插件使用Linux bridge来为虚拟机构建L2 VNI：

   [ml2]
   ; 启用Flat/VLAN网络
   type_drivers = flat,vlan
   ; 禁用自服务网络
   tenant_network_types =
   ; 启用 Linux bridge mechanism 
   mechanism_drivers = linuxbridge
   ; 启用端口安全扩展驱动
   extension_drivers = port_security
   
   [ml2_type_flat]
   ; 配置提供者虚拟网络为Flat网络
   flat_networks = provider
   
   [securitygroup]
   ; 增强安全组规则的性能
   enable_ipset = true 

4.  配置Linux Bridge agent，此Agent为VM构建L2 VNI，并处理安全组：

   [linux_bridge]
   ; 这里填写底层的提供者网络的设备名
   physical_interface_mappings = provider:eth0
   
   [vxlan]
   ; 禁用VXLAN
   enable_vxlan = false
   
   [securitygroup]
   ; 启用安全组，配置基于iptables的防火墙驱动
   enable_security_group = true
   firewall_driver = neutron.agent.linux.iptables_firewall.IptablesFirewallDriver

5. 确保宿主机内核支持Network bridge filters：

   # 二层的网桥在转发包时也会被iptables的FORWARD规则所过滤
   net.bridge.bridge-nf-call-iptables  1
   net.bridge.bridge-nf-call-ip6tables 1

   此外，为了支持网桥，需要加载内核模块

   br_netfilter

6.  配置DHCP代理，此代理为虚拟网络提供DHCP服务：

   [DEFAULT]
   interface_driver = linuxbridge
   dhcp_driver = neutron.agent.linux.dhcp.Dnsmasq
   enable_isolated_metadata = true

如果使用自服务网络，不需要特权用户就可以管理网络（包括路由）并在自服务网络和提供者网络之间创建连接，也可以为VM提供浮动IP，以便从外部访问VM。步骤如下：

1. 安装软件，同上
2. 配置Neutron，基本同上：
   

   [database]
   connection = mysql+pymysql://neutron:neutron@os.gmem.cc/neutron
   
   [DEFAULT]
   ; 同样使用ML2插件
   core_plugin = ml2
   ; 启用路由服务，允许IP重叠
   service_plugins = router
   allow_overlapping_ips = true
   
   transport_url = rabbit://openstack:openstack@os.gmem.cc
   
   auth_strategy = keystone
   
   notify_nova_on_port_status_changes = true
   notify_nova_on_port_data_changes = true
   
   [keystone_authtoken]
   www_authenticate_uri = http://os.gmem.cc:5000
   auth_url = http://os.gmem.cc:5000
   memcached_servers = os.gmem.cc:11211
   auth_type = password
   project_domain_name = default
   user_domain_name = default
   project_name = service
   username = neutron
   password = neutron
   
   [nova]
   auth_url = http://os.gmem.cc:5000
   auth_type = password
   project_domain_name = default
   user_domain_name = default
   region_name = china
   project_name = service
   username = nova
   password = nova
   
   [oslo_concurrency]
   lock_path = /var/lib/neutron/tmp

3.  配置Modular Layer2（ML2）插件：

   [ml2]
   ; 启用Flat/VLAN/VXLAN
   type_drivers = flat,vlan,vxlan
   ; 启用自服务网络，基于VXLAN
   tenant_network_types = vxlan
   ; 启用Linux网桥，以及Layer-2 Population
   mechanism_drivers = linuxbridge,l2population
   ; 启用端口安全扩展驱动
   extension_drivers = port_security
   
   [ml2_type_flat]
   ; 配置提供者虚拟网络为Flat网络
   flat_networks = provider
   
   [ml2_type_vxlan]
   ; 设置VXLAN网络标识符的范围
   vni_ranges = 1:1000
   
   [securitygroup]
   ; 增强安全组规则的性能
   enable_ipset = true

4. 配置Linux Bridge agent：
   

   [linux_bridge]
   ; 这里填写底层的提供者网络的设备名
   physical_interface_mappings = provider:eth0
   
   [vxlan]
   ; 启用VXLAN
   enable_vxlan = true
   ; 用于处理Overlay网络的底层网络的本机IP地址
   local_ip = 10.1.0.10
   l2_population = true
   
   [securitygroup]
   ; 启用安全组，配置基于iptables的防火墙驱动
   enable_security_group = true
   firewall_driver = neutron.agent.linux.iptables_firewall.IptablesFirewallDriver 

5. 确保宿主机内核支持Network bridge filters，同上

6.  配置DHCP，同上

7. 配置L3代理，此代理为自服务VNI提供路由、NAT：
   

   [DEFAULT]
   interface_driver = linuxbridge

自服务网络是overlay网络，使用VXLAN之类的协议，这些协议具有额外的头，导致实际可能负载减小，如果VM不知道此VNI的特征，会自动设置过大的MTU 1500。Neutron提供的DHCP能自动给VM提供正确的MTU。但是，某些云镜像不使用DHCP，或者忽略DHCP的MTU选项，需要注意。

执行完上述两种网络选项之一后，继续配置元数据代理（metadata agent） ，元数据代理代替虚拟机（附加Instance ID、Tenant ID等请求头）访问Nova metadata API，获取虚拟机镜像的配置信息：

[DEFAULT]
nova_metadata_host = os.gmem.cc
; 设置适当的共享密钥
metadata_proxy_shared_secret = openstack

 配置计算服务（Nova）来使用网络服务：

[neutron]
auth_url = http://os.gmem.cc:5000
auth_type = password
project_domain_name = default
user_domain_name = default
region_name = china
project_name = service
username = neutron
password = neutron
service_metadata_proxy = true
metadata_proxy_shared_secret = openstack

将ML2配置链接为Neutron插件主配置文件：

ln -s /etc/neutron/plugins/ml2/ml2_conf.ini /etc/neutron/plugin.ini

初始化数据库： 

su -s /bin/sh -c "neutron-db-manage --config-file /etc/neutron/neutron.conf \
  --config-file /etc/neutron/plugins/ml2/ml2_conf.ini upgrade head" neutron

重启Nova： 

systemctl restart openstack-nova-api.service

启动Neutron：  

systemctl enable neutron-server.service \
  neutron-linuxbridge-agent.service neutron-dhcp-agent.service \
  neutron-metadata-agent.service
systemctl start neutron-server.service \
  neutron-linuxbridge-agent.service neutron-dhcp-agent.service \
  neutron-metadata-agent.service

如果使用自服务网络选项，还需要启用L3服务： 

systemctl enable neutron-l3-agent.service
systemctl start neutron-l3-agent.service

安装软件： 

dnf -y install openstack-neutron-linuxbridge ebtables ipset

配置身份验证、消息队列： 

[DEFAULT]
transport_url = rabbit://openstack:openstack@os.gmem.cc

auth_strategy = keystone


[keystone_authtoken]
www_authenticate_uri = http://os.gmem.cc:5000
auth_url = http://os.gmem.cc:5000
memcached_servers = os.gmem.cc:11211
auth_type = password
project_domain_name = default
user_domain_name = default
project_name = service
username = neutron
password = neutron

[oslo_concurrency]
lock_path = /var/lib/neutron/tmp

配置网络选项。如果使用提供者网络：

1.  配置Linux bridge Agent：
   

   [linux_bridge]
   physical_interface_mappings = provider:eth0
   
   [vxlan]
   enable_vxlan = false
   
   [securitygroup]
   enable_security_group = true
   firewall_driver = neutron.agent.linux.iptables_firewall.IptablesFirewallDriver

2. 确保内核参数（通常需要保证内核模块br_netfilter已加载 ）：

   net.bridge.bridge-nf-call-iptables 1
   net.bridge.bridge-nf-call-ip6tables 1

如果使用自服务网络：

1.  配置Linux bridge Agent：
   

   [linux_bridge]
   physical_interface_mappings = provider:eth0
   
   [vxlan]
   enable_vxlan = true
   local_ip = 10.1.0.11
   l2_population = true
   
   [securitygroup]
   enable_security_group = true
   firewall_driver = neutron.agent.linux.iptables_firewall.IptablesFirewallDriver

2. 同上 

配置计算服务，让它使用网络服务：

[neutron]
auth_url = http://os.gmem.cc:5000
auth_type = password
project_domain_name = default
user_domain_name = default
region_name = china
project_name = service
username = neutron
password = neutron

重启Nova：

systemctl restart openstack-nova-compute.service

启动Linux bridge Agent：

systemctl enable neutron-linuxbridge-agent.service
systemctl start neutron-linuxbridge-agent.service

列出已加载的扩展列表，确保Neutron相关进程启动：

openstack extension list --network

校验Neutron代理都已经启动： 

openstack network agent list

应该启动的代理包括：

1. 控制节点的元数据代理、DHCP代理、Linux bridge代理
2. 计算节点的Linux bridge代理
3. 如果使用自服务网络，控制节点还有L3代理

样例环境中，使用存储节点上的空白磁盘/dev/sdb ，基于LVM划分初逻辑卷，然后通过iSCSI协议暴露给虚拟机。

CREATE DATABASE IF NOT EXISTS cinder;

GRANT ALL PRIVILEGES ON cinder.* TO 'cinder'@'localhost' IDENTIFIED BY 'cinder';
GRANT ALL PRIVILEGES ON cinder.* TO 'cinder'@'%' IDENTIFIED BY 'cinder';

创建用户和端点：

openstack user create --domain default --password cinder cinder

openstack role add --project service --user cinder admin

openstack service create --name cinderv2 --description "OpenStack Block Storage" volumev2
openstack service create --name cinderv3 --description "OpenStack Block Storage" volumev3

openstack endpoint create --region china volumev2 public http://os.gmem.cc:8776/v2/%\(project_id\)s
openstack endpoint create --region china volumev2 internal http://os.gmem.cc:8776/v2/%\(project_id\)s
openstack endpoint create --region china volumev2 admin http://os.gmem.cc:8776/v2/%\(project_id\)s

openstack endpoint create --region china volumev3 public http://os.gmem.cc:8776/v3/%\(project_id\)s
openstack endpoint create --region china volumev3 internal http://os.gmem.cc:8776/v3/%\(project_id\)s
openstack endpoint create --region china volumev3 admin http://os.gmem.cc:8776/v3/%\(project_id\)s

安装组件：

dnf -y install openstack-cinder

修改配置文件：

[DEFAULT]
transport_url = rabbit://openstack:openstack@os.gmem.cc
auth_strategy = keystone
; 管理网络接口的IP地址
my_ip = 10.1.0.10

[database]
connection = mysql+pymysql://cinder:cinder@os.gmem.cc/cinder

[keystone_authtoken]
www_authenticate_uri = http://os.gmem.cc:5000
auth_url = http://os.gmem.cc:5000
memcached_servers = os.gmem.cc:11211
auth_type = password
project_domain_name = default
user_domain_name = default
project_name = service
username = cinder
password = cinder

[oslo_concurrency]
lock_path = /var/lib/cinder/tmp

初始化数据库：

su -s /bin/sh -c "cinder-manage db sync" cinder

配置Nova来使用存储服务： 

[cinder]
os_region_name = china

重新启动Nova：

systemctl restart openstack-nova-api.service

启动Cinder服务： 

systemctl enable openstack-cinder-api.service openstack-cinder-scheduler.service
systemctl start openstack-cinder-api.service openstack-cinder-scheduler.service

在本样例环境下，需要LVM支持：

yum install lvm2 device-mapper-persistent-data

systemctl enable lvm2-lvmetad.service
systemctl start lvm2-lvmetad.service

在/dev/sdb上创建LVM物理卷，并创建名为cinder-volumes的卷组：

pvcreate /dev/sdb

vgcreate cinder-volumes /dev/sdb

只有虚拟机实例能够访问块设备卷。但是，存储节点的底层OS负责管理卷关联的块设备。默认情况下，LVM卷扫描工具会扫描/dev/目录来寻找包含卷的块设备。如果某个OpenStack项目使用基于LVM的卷，扫描工具会扫描卷并缓存结果，这可能导致很多问题。因此，你必须重新配置LVM，让它仅仅扫描包含cinder-volumes卷组的设备：

devices {
# a表示允许允许使用的卷，r表示拒绝使用的卷     
#                       拒绝所有其它的卷    
filter = [ "a/sdb/", "r/.*/"]

安装组件： 

dnf -y install openstack-cinder targetcli python3-keystone

修改配置文件： 

[DEFAULT]
transport_url = rabbit://openstack:openstack@os.gmem.cc
auth_strategy = keystone
; 此节点启用的存储后端
enabled_backends = lvm
; 配置镜像服务的API地址
glance_api_servers = http://os.gmem.cc:9292
; 管理网络接口的IP地址
my_ip = 10.1.0.11

[database]
connection = mysql+pymysql://cinder:cinder@os.gmem.cc/cinder

[keystone_authtoken]
www_authenticate_uri = http://os.gmem.cc:5000
auth_url = http://os.gmem.cc:5000
memcached_servers = os.gmem.cc:11211
auth_type = password
project_domain_name = default
user_domain_name = default
project_name = service
username = cinder
password = cinder

[oslo_concurrency]
lock_path = /var/lib/cinder/tmp

[lvm]
volume_driver = cinder.volume.drivers.lvm.LVMVolumeDriver
volume_group = cinder-volumes
target_protocol = iscsi
target_helper = lioadm

启动服务：

systemctl enable openstack-cinder-volume.service target.service
systemctl start openstack-cinder-volume.service target.service

OpenStack Dashboard组件，即Horizon，此组件仅仅依赖于Identity。

安装软件：

dnf -y install openstack-dashboard

修改配置文件：

OPENSTACK_HOST = "os.gmem.cc"

WEBROOT = '/dashboard/'

# 允许哪些主机访问仪表盘
ALLOWED_HOSTS = ['os.gmem.cc']


# 配置基于Memcache的分布式会话存储
SESSION_ENGINE = 'django.contrib.sessions.backends.cache'
CACHES = {
    'default': {
         'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache',
         'LOCATION': 'os.gmem.cc:11211',
    }
}

# 启用Identity API v3
OPENSTACK_KEYSTONE_URL = "http://%s/identity/v3" % OPENSTACK_HOST

# 确保Domain支持
OPENSTACK_KEYSTONE_MULTIDOMAIN_SUPPORT = True

# 配置API版本
OPENSTACK_API_VERSIONS = {
    "identity": 3,
    "image": 2,
    "volume": 3,
}

# 默认访问的Domain
OPENSTACK_KEYSTONE_DEFAULT_DOMAIN = "Default"

# 通过仪表盘创建的用户的默认角色
OPENSTACK_KEYSTONE_DEFAULT_ROLE = "user"

# 配置网络
OPENSTACK_NEUTRON_NETWORK = {
    # 如果使用提供者网络，需要禁用router
    'enable_router': False,
    'enable_quotas': False,
    'enable_distributed_router': False,
    'enable_ha_router': False,
    'enable_lb': False,
    'enable_firewall': False,
    'enable_vpn': False,
    'enable_fip_topology_check': False,
}

TIME_ZONE = "Asia/Shanghai"

修改配置文件：

WSGIDaemonProcess dashboard
WSGIProcessGroup dashboard
WSGISocketPrefix run/wsgi

WSGIApplicationGroup %{GLOBAL}

WSGIScriptAlias /dashboard /usr/share/openstack-dashboard/openstack_dashboard/wsgi/django.wsgi
Alias /dashboard/static /usr/share/openstack-dashboard/static

<Directory /usr/share/openstack-dashboard/openstack_dashboard/wsgi>
  Options All
  AllowOverride All
  Require all granted
</Directory>

<Directory /usr/share/openstack-dashboard/static>
  Options All
  AllowOverride All
  Require all granted
</Directory>

重启服务：

systemctl restart httpd.service memcached.service

此后你应该可以通过：http://os.gmem.cc访问仪表盘。

修改horizon主配置文件：

# 添加以下配置
USE_SSL = True
CSRF_COOKIE_SECURE = True
SESSION_COOKIE_SECURE = True
SESSION_COOKIE_HTTPONLY = True

修改Dashboard的httpd配置：

WSGISocketPrefix run/wsgi

<VirtualHost *:443>
  ServerName os.gmem.cc

  SSLEngine On
  SSLCertificateFile /etc/httpd/ssl/os.gmem.cc.crt
  SSLCACertificateFile /etc/httpd/ssl/os.gmem.cc.crt
  SSLCertificateKeyFile /etc/httpd/ssl/os.gmem.cc.key
  SetEnvIf User-Agent ".*MSIE.*" nokeepalive ssl-unclean-shutdown

  Header add Strict-Transport-Security "max-age=15768000"

  WSGIDaemonProcess dashboard
  WSGIProcessGroup dashboard

  WSGIApplicationGroup %{GLOBAL}

  WSGIScriptAlias /dashboard /usr/share/openstack-dashboard/openstack_dashboard/wsgi/django.wsgi
  Alias /dashboard/static /usr/share/openstack-dashboard/static

  <Directory /usr/share/openstack-dashboard/openstack_dashboard/wsgi>
    Options All
    AllowOverride All
    Require all granted
  </Directory>

  <Directory /usr/share/openstack-dashboard/static>
    Options All
    AllowOverride All
    Require all granted
  </Directory>
</VirtualHost>

安装必要的httpd模块：

dnf -y install mod_ssl 

在启动实例之前，你需要创建必要的VNI。如果使用网络选项一，则虚拟机通过Provider（External）网络连接到PNI（基于bridging/switching）。

网络架构如下图：

使用下面的命令在OpenStack中创建一个名为provider的网络：

# share 表示允许所有project使用此虚拟网络
# external 表示网络是外部的，默认值internal
openstack network create  --share --external \
# 此虚拟网络所基于的物理网络
# 此名字对应的物理网络接口在linuxbridge_agent.ini中定义
#   physical_interface_mappings = provider:eth0
  --provider-physical-network provider \
# 此虚拟网络的物理实现机制（physical mechanism）
  --provider-network-type flat \
# 网络的名字
  provider

为上述网络创建一个子网：

openstack subnet create --network provider \
# 子网中，用于分配给虚拟机实例的IP地址范围，此IP地址范围由DHCP agent管理
  --allocation-pool start=10.0.100.1,end=10.0.1.255 \
# DNS服务器地址              底层物理网络的网关地址
  --dns-nameserver 10.0.0.1 --gateway 10.0.0.1 \
# 底层物理网络的CIDR
  --subnet-range 10.0.0.0/16 provider

前面我们提到过两个网络选项，如果使用选项1，则参考上一小节的内容创建虚拟网络。如果使用选项2，则在创建上述provider网络之后，还需要参考本节内容。

网络架构如下：

使用选项2时，需要创建一个自服务（私有）的虚拟网络，并通过NAT连接到物理网络。此虚拟网络提供DHCP服务器，并且分配IP地址给实例。在这种私有网络中的实例可以直接访问外部网络（NAT），但是外部网络不能直接访问这些实例，除非给实例分配浮动IP。

修改环境变量，使用用户gmem来操作。

创建名为gmem的自服务网络：

openstack network create gmem-net

非特权用户通常无法为上述命令指定额外的参数。OpenStack会依据下面的配置文件来自动选择参数：

[ml2]
tenant_network_types = vxlan

[ml2_type_vxlan]
vni_ranges = 1:1000

创建子网： 

openstack subnet create --network gmem-net \
#                           子网的网关地址，不是物理网络上的网关地址
  --dns-nameserver 10.1.0.1 --gateway 192.168.100.1 \
# 子网的CIDR
  --subnet-range 192.168.100.0/24 gmem-subnet

自服务网络通过一个虚拟路由器，连接到提供者网络：

openstack router create gmem-router

将上述子网添加为此虚拟路由器的一个接口（interface）： 

openstack router add subnet gmem-router gmem-subnet

将在提供者网络上的生成一个“网关“，连接到路由器：

openstack router set gmem-router --external-gateway provider

到控制节点上进行校验，确保虚拟网络正常工作：

# 检查网络命名空间，应该至少看到：
#   一个qrouter开头的
#   二个qdhcp开头的
ip netns


# 列出路由器的端口，确定提供者网络上的网关地址
openstack port list --router router


# 确认可以从控制节点，或者物理网络上任何节点来访问上述网关地址  

所谓Flavor就是虚拟机的规格，例如内存多大，CPU几个，磁盘几个，等等。最小的默认Flavor消耗512MB内存，这里我们创建一个仅消耗64MB内存的Flavor：

openstack flavor create --id 0 --vcpus 1 --ram 64 --disk 1 m1.nano

大部分的云镜像支持基于PKI的身份验证，而不是密码。在启动实例之前，我们需要为计算服务创建密钥： 

openstack keypair create --public-key /home/alex/Documents/puTTY/gmem.crt default

openstack keypair list

默认的安全组应用到所有的实例， 此安全组禁止对实例的所有远程访问。对于Linux镜像例如CirrOS，我们至少应该允许ICMP（ping）以及SSH：

openstack security group rule create --proto icmp default

openstack security group rule create --proto tcp --dst-port 22 default

列出可用的基础资源：

openstack flavor list
# +----+---------+-----+------+-----------+-------+-----------+
# | ID | Name    | RAM | Disk | Ephemeral | VCPUs | Is Public |
# +----+---------+-----+------+-----------+-------+-----------+
# | 0  | m1.nano |  64 |    1 |         0 |     1 | True      |
# +----+---------+-----+------+-----------+-------+-----------+

openstack image list
# +--------------------------------------+--------------------+--------+
# | ID                                   | Name               | Status |
# +--------------------------------------+--------------------+--------+
# | 5b337b93-96c6-4803-b0e2-bc0bce0afde9 | cirros-0.5.1-amd64 | active |
# +--------------------------------------+--------------------+--------+

openstack network list
# +--------------------------------------+----------+--------------------------------------+
# | ID                                   | Name     | Subnets                              |
# +--------------------------------------+----------+--------------------------------------+
# | 500cd78a-a05c-4b93-b399-06b26cc108de | provider | 9be1305c-a641-40f0-bd1b-6617e96025e6 |
# +--------------------------------------+----------+--------------------------------------+

openstack security group list
# +--------------------------------------+---------+------------------------+----------------------------------+------+
# | ID                                   | Name    | Description            | Project                          | Tags |
# +--------------------------------------+---------+------------------------+----------------------------------+------+
# | f5b0e967-5903-4b6b-9b9d-8e39a07b52da | default | Default security group | e1c4a3403e1b46cd969e4d626b5cf799 | []   |
# +--------------------------------------+---------+------------------------+----------------------------------+------+

openstack server create --flavor m1.nano --image cirros-0.5.1-amd64 \
  --nic net-id=500cd78a-a05c-4b93-b399-06b26cc108de --security-group default \
  --key-name default cirros-amd64-0

当虚拟机构建完毕后，其状态会从BUILD变为ACTIVE：

openstack server list 

CirrOS的默认用户密码是cirros / gocubsgo，确认可以登陆。

在虚拟机的宿主机上，可以看到OpenStack创建了一个网桥，连接了提供者物理网络和虚拟机（的tap设备）：

brctl show
# bridge name     bridge id               STP enabled     interfaces
# brq1305444e-cf          8000.100000000012       no              eth0
#                                                         tapa87f2880-fc 

Keystone是OpenStack的Identity服务，它负责身份验证、授权，以及一系列其它服务。Keystone可以集成到外部的用户管理系统，例如LDAP。

Keystone通常是用户首先与之交互的服务，随后用户使用他的Identity来访问其它OpenStack服务。OpenStack组件也需要访问Keystone来验证用户声明的Identity是否合法。

用户或者服务，可以利用服务目录来得到其它服务（Openstack组件）的位置，服务目录（Service catalog）也是Keystone提供的服务之一。

每个服务可以提供1-N个端点，每个端点可以是admin/internal（可能仅限于OpenStack所在主机访问）/public（可能允许Internet访问）三种类型之一。在生产环境中，这些不同类型的端点可能出于安全方面的考虑，存放在不同的网络中，供不同类型的用户访问。

代表单个API消费者：

1. 用户就是一个有身份验证信息的API消费实体
2. 用户可以属于多个项目/角色

代表一组User的集合。

代表OpenStack中基本的所有权单元 —— OpenStack中各种计算资源都是归属于某个特定项目的。而Project则是归属于某个Domain的。

租户（Tenant）在OpenStack中，就是项目，其目的就是隔离计算资源。

是Project、User、Role、Group的高层次容器，后面三者仅仅属于唯一一个domain。Keystone默认提供一个名为Defulat的domain。

Keystone由三类组件构成。

中心化的HTTP服务器，对外提供鉴权的RESTful接口

集成在Server里面，用于访问存放在OpenStack外部（例如LDAP或MySQL数据库）的身份信息。

运行在使用Identity service的那些OpenStack组件中，负责拦截针对这些组件的请求，抽取用户凭证信息，发送到上述Server执行鉴权。

这些Modules基于Python Web Server Gateway Interface和OpenStack组件集成。

K版本之后，通常选择Fernet Token。

Nova，即OpenStack Compute组件，负责host和管理云主机，是IaaS系统的核心组成部分。可以管理的云主机类型包括虚拟机、物理机（依赖ironic），并对容器提供有限的支持。

Nova和Keystone交互进行身份验证。Placement负责计算资源的跟踪和选择（作为实例的宿主），Glance提供虚拟机镜像，这些组件配合就能让实例运行起来。

OpenStack自身不提供虚拟化软件，而是通过“驱动”和底层的Hypervisor进行交互。交互工作主要由Nova完成。

Nova由一系列分布式的组件构成，每种组件具有自己的职责。面向用户的是一个REST API。内部组件主要通过RPC消息传递机制通信。

API组件监听到请求后，通常会进行数据库读写操作，可选的，会将RPC消息发送给其它Nova组件，然后将REST响应发给客户端。RPC消息是通过 oslo.messaging 库完成的，这个库是基于消息队列的抽象。

大部分组件可以运行在多台宿主机上，并且其中具有一个manager负责监听RPC消息、执行一些周期性工作。一个主要的例外是nova-compute，此组件和它管理的Hypervisor（除了VMware或Ironic驱动）对应，每个Hypervisor对应一个nova-compute。

Nova具有一个逻辑的、中心化的、被所有组件共享的数据库。为了辅助OpenStack升级，对数据库的访问基于一个对象层，此对象层确保一个升级后的控制平面，仍然能和低版本的nova-compute进行交互。具体实现上，nova-compute通过中心化的nova-conductor间接的访问数据库，后者提供基于RPC的接口。

安装在控制节点上。提供OpenStack Compute API，负责确保一些策略，发起大部分编排活动（例如运行实例）。

安装在控制节点上。处理处理获取实例元数据的请求。

安装在计算节点上。Worker守护进程，负责调用Hypervisor API，在计算节点上创建、终结虚拟机实例。支持的Hypervisor API包括：

1. XenAPI for XenServer/XCP
2. libvirt for KVM or QEMU
3. VMwareAPI for VMware

该组件的大概工作流程是：

1. 从消息队列里接受Action
2. 调用一系列的系统命令，启动虚拟机
3. 在数据库中更新实例状态

从队列中取出虚拟机实例的请求，然后决定将其调度在哪台计算节点上。

协调nova-compute s服务和数据库之间的交互。避免nova-compute直接访问数据库。该模块支持水平扩容，避免将其部署在nova-compute运行的节点。

提供一个代理，用于通过VNC协议连接到运行中的实例。

提供一个代理，用于通过SPICE协议连接到运行中的实例，支持HTML5客户端。

这个服务目前已经独立出去，它负责跟踪资源库存、使用情况。

这是一个中心化的Hub，用于在不同组件之间传递消息。通常使用RabbitMQ。

存储云基础设施的构建时、运行时状态，包括：

1. 可用的实例类型
2. 使用着哦个的实例
3. 可用的网络
4. 项目
5. ……

任何SQLAlchemy支持的RDBMS都可以。

为了支持Nova部署的水平扩展，Nova引入了分片机制，每个分片叫Cell。利用Cell：

1. 可以在单个Region中将计算节点的数量扩容到成千上万。每个Cell具有自己的数据库、消息队列，这是可扩容的关键
2. 实现故障隔离的特性（一个Cell故障，其它Cell还可以正常工作）
3. 作为一种分组机制，可以将类似的硬件放在同一Cell中

Cell V1的特性：

1. 捕获并中继消息给Cell
2. 处理竞态条件
3. 两级调度架构

Cell V1的缺点：

1. 不支持安全组、主机聚合、可用区等特性
2. 顶级调度功能很弱

当Nova API接收到针对实例的前请求后，实例的信息将从数据库读取，其中包含实例的宿主机名字。如果需要针对实例进行其它操作（通常都需要），那么宿主机名字将用来计算出消息队列的名字，RPC消息随后被写入消息队列，可以到达正确的计算节点。

引入Cell后，上述逻辑将变成：

1. 查找实例的三元组：宿主机名称、数据库连接信息、消息队列连接信息
2. 连接到数据库，获取实例记录
3. 连接到消息队列，并根据宿主机名称，选额消息队列，发送RPC消息

引入Cell V2后，不存在没有Cell的部署架构。Cell V2的优势包括：

1. 数据库、消息队列的分片，成为Nova的一等特性
2. 不需要在顶级复制Cell数据库，Nova API需要自己的数据库，存放例如实例索引的信息
3. 在gloabl和local数据元素之间划分好了界限。Flavor、Keypair之类的全局性质对象，仅仅需要存储在顶级。这样计算节点更加无状态化，不会被全局数据的修改所干扰

所有Nova部署中，都需要一个名为API的数据库，一个特殊的Cell数据库cell0，1-N个cell的数据库。高层次的跟踪信息存放在API数据库中，哪些从未调度成功的实例，存放在cell0。所有成功调度的/运行的实例，都放在其它cell数据库中。

你需要将API数据库的信息配置在nova.conf：

[api_database]
connection = mysql+pymysql://nova:nova@os.gmem.cc/nova_api?charset=utf8

由于cell数据库数量不定，此外任何部署都至少有cell0和cell1（唯一的Cell使用），因此这些Cell的连接信息，是写在API数据库中（而不是静态编写在文件）的。

# 后续命令需要读写API数据库，因此首先执行api_db sync子命令来初始化schema
su -s /bin/sh -c "nova-manage api_db sync" nova

# 为cell0的数据库创建记录
nova-manage cell_v2 map_cell0 --database_connection \
  mysql+pymysql://nova:nova@os.gmem.cc/nova_cell0
# 如果不指定--database_connection，就像样例环境那样，则自动使用[database]/connection字段
# 中的连接串，但是在结尾添加_cell0后缀

由于cell0中不会存在任何宿主机，不需要对它进行进一步配置。

现在，你需要创建第一个常规cell： 

# 如果不指定 --database_connection、--transport-url，就像样例环境那样，
# 则自动使用 [database]/connection 和 [DEFAULT]/transport_url
su -s /bin/sh -c "nova-manage cell_v2 create_cell --name=cell1 --verbose" nova

nova-manage cell_v2 create_cell --verbose --name cell1 \
  --database_connection mysql+pymysql://nova:nova@os.gmem.cc/nova
  --transport-url rabbit://openstack:openstack@os.gmem.cc

如果为cell1准备的数据库是空白的，你需要同步数据库schema：

su -s /bin/sh -c "nova-manage db sync" nova

现在，cell1中没有任何宿主机，因此nova-scheduler不会把实例调度到此cell中。

使用下面的命令，可以扫描数据库中计算节点的记录，并将其添加到刚刚创建的cell中。执行命令之前，至少需要安装一个计算节点并添加到cell。

nova-manage cell_v2 discover_hosts

上述命令会连接到所有cell数据库，扫描将自己注册到cell的宿主机，然后在API数据库中映射这些宿主机，这样nova-scheduler就可以进行调度了。

任何时候，你加入新的宿主机到cell，都需要调用此命令（或者启用自动发现）。

我们知道计算节点通过消息队列和控制平面通信，也不会直接访问数据库。实际上，计算节点属于哪个cell，就看它通过哪个消息队列连接。你只需要配置计算节点的nova.conf：

[DEFAULT]
; 设置为某个cell的--transport-url 
transport_url = rabbit://openstack:openstack@os.gmem.cc

然后再启动nova-compute服务，最后验证、确保节点在下面命令的输出中： 

nova service-list --binary nova-compute

就将计算节点添加到cell中了。 

要实现自动发现添加到cell的计算节点，并通过到API数据库，可以配置所有nova-scheduler节点的nova.conf：

[scheduler]
; 300秒执行一次发现
discover_hosts_in_cells_interval = 300 

到目前为止（V版），还不支持跨Cell迁移实例。影响的操作包括resize/evacuate/migrate等。

如果Cell不可达，那么针对租户的用量统计信息可能不准确。

从T版开始，可以配置在Placement服务+API数据库上进行Quota统计，这样宕掉/性能很差的Cell不会导致用量统计不准确。

多Cell环境下，列出实例的结果可能没有排序、分页可能不正确。

从S版开始，元数据服务可以运行为两种模式之一：全局/PerCell。使用api.local_metadata_per_cell配置项

Nova将它启动的实例的配置信息呈现为元数据。cloud-init之类的助手会在虚拟机初始化时，利用元数据进行配置工作，例如设置虚拟机root密码。

通过元数据服务、或者config drive，元数据变的可（被实例使）用。你还可以通过nova api的user data特性来定制实例的元数据。

控制节点上的Neutron元数据代理服务，负责代替虚拟机Nova metadata API。并自动设置正确的Instance ID、Tenant ID等请求头。

元数据服务为实例提供了一种获取自身元数据的REST API。实例可以通过169.254.169.254或者fe80::a9fe:a9fe访问此REST API，如此奇怪的地址是兼容Amazon EC2的考虑。在Openstack里面，这两个IP通过iptables映射到控制节点。

所有上述三类元数据，都可以通过此REST API访问：

# OpenStack metadata API
curl http://169.254.169.254/openstack
# EC2-compatible API
curl http://169.254.169.254
# 都会显示若干目录（版本信息）
# 2012-08-10
# 2013-04-04
# 2013-10-17
# 2015-10-15
# 2016-06-30
# 2016-10-06
# 2017-02-22
# 2018-08-27
# latest

Config drive是一种特殊的drive，在实例boot时添加。实例可以挂载此drive，读取其中的文件，从而获取（通常应该从metadata service获取的）信息。

下面的命令示意了如何使用在创建实例时使用config drive：

#                       使用config drive
openstack server create --config-drive true --image my-image-name \
#                               传递一个user data文件
    --flavor 1 --key-name mykey --user-data ./my-user-data.txt \
#   传递两个元数据键值对
    --property role=webservers --property essential=false MYINSTANCE

如果客户机操作系统支持udev，则可以这样挂载config drive： 

mkdir -p /mnt/config
mount /dev/disk/by-label/config-2 /mnt/config

否则，这样识别config drive对应的块设备：

blkid -t LABEL="config-2" -odevice
# /dev/vdb

config drive中的文件目录结构，和metadata service的URL结构对应：

cd /mnt/config
find . -maxdepth 2
# .
# EC2兼容的元数据放在这里
# ./ec2
# ./ec2/2009-04-04
# ./ec2/latest
# OpenStack元数据放在这里
# ./openstack
# ./openstack/2012-08-10
# ./openstack/2013-04-04
# ./openstack/2013-10-17
# ./openstack/2015-10-15
# ./openstack/2016-06-30
# ./openstack/2016-10-06
# ./openstack/2017-02-22
# ./openstack/latest

OpenStack元数据基于JSON格式分发： 

1. meta_data.json：提供Nova相关的信息
2.  network_data.json：提供从Neutron获取的，网络相关信息

示例：

// curl http://169.254.169.254/openstack/2018-08-27/meta_data.json
{
   "random_seed": "yu5ZnkqF2CqnDZVAfZgarG...",
   "availability_zone": "nova",
   "keys": [
       {
         "data": "ssh-rsa AAAAB3NzaC1y...== Generated by Nova\n",
         "type": "ssh",
         "name": "mykey"
       }
   ],
   "hostname": "test.novalocal",
   "launch_index": 0,
   "meta": {
      "priority": "low",
      "role": "webserver"
   },
   "devices": [
       {
         "type": "nic",
         "bus": "pci",
         "address": "0000:00:02.0",
         "mac": "00:11:22:33:44:55",
         "tags": ["trusted"]
       },
       {
         "type": "disk",
         "bus": "ide",
         "address": "0:0",
         "serial": "disk-vol-2352423",
         "path": "/dev/sda",
         "tags": ["baz"]
       }
   ],
   "project_id": "f7ac731cc11f40efbc03a9f9e1d1d21f",
   "public_keys": {
       "mykey": "ssh-rsa AAAAB3NzaC1y...== Generated by Nova\n"
   },
   "name": "test"
}


// curl http://169.254.169.254/openstack/2018-08-27/network_data.json
{
    "links": [
        {
            "ethernet_mac_address": "fa:16:3e:9c:bf:3d",
            "id": "tapcd9f6d46-4a",
            "mtu": null,
            "type": "bridge",
            "vif_id": "cd9f6d46-4a3a-43ab-a466-994af9db96fc"
        }
    ],
    "networks": [
        {
            "id": "network0",
            "link": "tapcd9f6d46-4a",
            "network_id": "99e88329-f20d-4741-9593-25bf07847b16",
            "type": "ipv4_dhcp"
        }
    ],
    "services": [
        {
            "address": "8.8.8.8",
            "type": "dns"
        }
    ]
}

兼容Amazon EC2 metadata service 2009-04-04版本。这意味着，为EC2设计的虚拟机镜像，可以和OpenStack一起工作。

EC2 API为每个元数据暴露了独立的URL：

# curl http://169.254.169.254/2009-04-04/meta-data/
ami-id
ami-launch-index
ami-manifest-path
block-device-mapping/
hostname
instance-action
instance-id
instance-type
kernel-id
local-hostname
local-ipv4
placement/
public-hostname
public-ipv4
public-keys/
ramdisk-id
reservation-id
security-groups

# curl http://169.254.169.254/2009-04-04/meta-data/block-device-mapping/
ami

# curl http://169.254.169.254/2009-04-04/meta-data/placement/
availability-zone

# curl http://169.254.169.254/2009-04-04/meta-data/public-keys/
0=mykey

# curl http://169.254.169.254/2009-04-04/meta-data/public-keys/0/openssh-key
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAAAgQDYVEprvtYJXVOBN0XNKVVRNCRX6BlnNbI+US\
LGais1sUWPwtSg7z9K9vhbYAPUZcq8c/s5S9dg5vTHbsiyPCIDOKyeHba4MUJq8Oh5b2i71/3B\
ISpyxTBH/uZDHdslW2a+SrPDCeuMMoss9NFhBdKtDkdG9zyi0ibmCP6yMdEX8Q== Generated\
by Nova

就是一小段blob，OpenStack不知道它内容的意义。传递user data： 

openstack server create --image ubuntu-cloudimage --flavor 1 \
    --user-data mydata.file TEST

在客户机里面访问user data： 

# OpenStack
http://169.254.169.254/openstack/{version}/user_data
# EC2
http://169.254.169.254/{version}/user-data

支持cloud-init的镜像，可以利用user data，定制实例的初始化过程。

这类数据可以通过metadata service或config drive读取。对于前者： 

// curl http://169.254.169.254/openstack/2018-08-27/vendor_data2.json
{
    "testing": {
        "value1": 1
    }
}

cloud-init是一个在主要Linux发行版中都支持的包，用于在云环境（例如OpenStack）中初始化虚拟机实例。cloud-init在虚拟机第一次运行时执行。

cloud-init集成到系统启动的五个Stage，以发挥作用：

cloud-init需要判断实例是否第一次启动。在第一次启动时，会运行

per-instance

per-boot

在运行的时候，cloud-init会将内部状态缓存起来，共后续boot读取。缓存存在，意味着两种情况之一：

1. 实例不是第一次启动
2. 文件系统被挂载给一个新实例，该实例是第一次启动。将一个OpenStack卷上传为镜像，然后从此镜像启动新实例，就会导致这种情况

默认情况下，cloud-init检查缓存中的实例ID，和运行时获取的实例ID，来判断是上述两种情况的哪一种。

使用命令

cloud-init clean

cloud-init的主配置文件位于

/etc/cloud/cloud.cfg

/etc/cloud/cloud.cfg.d

# 需要添加到系统中的用户，特殊值default特指system_info.default_user
users:
 - default

# 禁止root登陆
disable_root: 1
# 禁用密码登陆
ssh_pwauth:   0

mount_default_fields: [~, ~, 'auto', 'defaults,nofail,x-systemd.requires=cloud-init.service', '0', '2']
resize_rootfs_tmp: /dev
ssh_deletekeys:   1
ssh_genkeytypes:  ~
syslog_fix_perms: ~
disable_vmware_customization: false

# 每个Stage都包含一系列的模块，可以启用/禁用
cloud_init_modules:
 - disk_setup
 - migrator
 - bootcmd
 - write-files
 - growpart
 - resizefs
 - set_hostname
 - update_hostname
 - update_etc_hosts
 - rsyslog
 - users-groups
 - ssh

cloud_config_modules:
 - mounts
 - locale
 - set-passwords
 - rh_subscription
 - yum-add-repo
 - package-update-upgrade-install
 - timezone
 - puppet
 - chef
 - salt-minion
 - mcollective
 - disable-ec2-metadata
 - runcmd

cloud_final_modules:
 - rightscale_userdata
 - scripts-per-once
 - scripts-per-boot
 - scripts-per-instance
 - scripts-user
 - ssh-authkey-fingerprints
 - keys-to-console
 - phone-home
 - final-message
 - power-state-change

system_info:
  # 默认用户信息
  default_user:
    name: centos
    lock_passwd: true
    gecos: Cloud User
    groups: [adm, systemd-journal]
    sudo: ["ALL=(ALL) NOPASSWD:ALL"]
    shell: /bin/bash
  distro: rhel
  paths:
    cloud_dir: /var/lib/cloud
    templates_dir: /etc/cloud/templates
  ssh_svcname: sshd

# vim:syntax=yaml

用户数据支持多种形式：

# cloud-init devel make-mime --list-types
cloud-boothook
cloud-config
cloud-config-archive
cloud-config-jsonp
jinja2
part-handler
upstart-job
x-include-once-url
x-include-url
x-shellscript

cloud-init devel make-mime -a config.yaml:cloud-config \
                           -a script.sh:x-shellscript > user-data

#!

#include

#cloud-config

#cloud-config
# Add groups to the system
# The following example adds the ubuntu group with members 'root' and 'sys'
# and the empty group cloud-users.
groups:
  - ubuntu: [root,sys]
  - cloud-users

# Add users to the system. Users are added after groups are added.
# Note: Most of these configuration options will not be honored if the user
#       already exists. Following options are the exceptions and they are
#       applicable on already-existing users:
#       - 'plain_text_passwd', 'hashed_passwd', 'lock_passwd', 'sudo',
#         'ssh_authorized_keys', 'ssh_redirect_user'.
users:
  - default
  - name: foobar
    gecos: Foo B. Bar
    primary_group: foobar
    groups: users
    selinux_user: staff_u
    expiredate: '2012-09-01'
    ssh_import_id: foobar
    lock_passwd: false
    passwd: $6$j212wezy$7H/1LT4f9/N3wpgNunhsIqtMj62OKiS3nyNwuizouQc3u7MbYCarYeAHWYPYb2FT.lbioDm2RrkJPb9BZMN1O/
  - name: barfoo
    gecos: Bar B. Foo
    sudo: ALL=(ALL) NOPASSWD:ALL
    groups: users, admin
    ssh_import_id: None
    lock_passwd: true
    ssh_authorized_keys:
      - <ssh pub key 1>
      - <ssh pub key 2>
  - name: cloudy
    gecos: Magic Cloud App Daemon User
    inactive: '5'
    system: true
  - name: fizzbuzz
    sudo: False
    ssh_authorized_keys:
      - <ssh pub key 1>
      - <ssh pub key 2>
  - snapuser: joe@joeuser.io
  - name: nosshlogins
    ssh_redirect_user: true

# Valid Values:
#   name: The user's login name
#   expiredate: Date on which the user's account will be disabled.
#   gecos: The user name's real name, i.e. "Bob B. Smith"
#   homedir: Optional. Set to the local path you want to use. Defaults to
#           /home/<username>
#   primary_group: define the primary group. Defaults to a new group created
#           named after the user.
#   groups:  Optional. Additional groups to add the user to. Defaults to none
#   selinux_user:  Optional. The SELinux user for the user's login, such as
#           "staff_u". When this is omitted the system will select the default
#           SELinux user.
#   lock_passwd: Defaults to true. Lock the password to disable password login
#   inactive: Number of days after password expires until account is disabled
#   passwd: The hash -- not the password itself -- of the password you want
#           to use for this user. You can generate a safe hash via:
#               mkpasswd --method=SHA-512 --rounds=4096
#           (the above command would create from stdin an SHA-512 password hash
#           with 4096 salt rounds)
#
#           Please note: while the use of a hashed password is better than
#               plain text, the use of this feature is not ideal. Also,
#               using a high number of salting rounds will help, but it should
#               not be relied upon.
#
#               To highlight this risk, running John the Ripper against the
#               example hash above, with a readily available wordlist, revealed
#               the true password in 12 seconds on a i7-2620QM.
#
#               In other words, this feature is a potential security risk and is
#               provided for your convenience only. If you do not fully trust the
#               medium over which your cloud-config will be transmitted, then you
#               should use SSH authentication only.
#
#               You have thus been warned.
#   no_create_home: When set to true, do not create home directory.
#   no_user_group: When set to true, do not create a group named after the user.
#   no_log_init: When set to true, do not initialize lastlog and faillog database.
#   ssh_import_id: Optional. Import SSH ids
#   ssh_authorized_keys: Optional. [list] Add keys to user's authorized keys file
#   ssh_redirect_user: Optional. [bool] Set true to block ssh logins for cloud
#       ssh public keys and emit a message redirecting logins to
#       use <default_username> instead. This option only disables cloud
#       provided public-keys. An error will be raised if ssh_authorized_keys
#       or ssh_import_id is provided for the same user.
#
#       ssh_authorized_keys.
#   sudo: Defaults to none. Accepts a sudo rule string, a list of sudo rule
#         strings or False to explicitly deny sudo usage. Examples:
#
#         Allow a user unrestricted sudo access.
#             sudo:  ALL=(ALL) NOPASSWD:ALL
#
#         Adding multiple sudo rule strings.
#             sudo:
#               - ALL=(ALL) NOPASSWD:/bin/mysql
#               - ALL=(ALL) ALL
#
#         Prevent sudo access for a user.
#             sudo: False
#
#         Note: Please double check your syntax and make sure it is valid.
#               cloud-init does not parse/check the syntax of the sudo
#               directive.
#   system: Create the user as a system user. This means no home directory.
#   snapuser: Create a Snappy (Ubuntu-Core) user via the snap create-user
#             command available on Ubuntu systems.  If the user has an account
#             on the Ubuntu SSO, specifying the email will allow snap to
#             request a username and any public ssh keys and will import
#             these into the system with username specifed by SSO account.
#             If 'username' is not set in SSO, then username will be the
#             shortname before the email domain.
#

# Default user creation:
#
# Unless you define users, you will get a 'ubuntu' user on ubuntu systems with the
# legacy permission (no password sudo, locked user, etc). If however, you want
# to have the 'ubuntu' user in addition to other users, you need to instruct
# cloud-init that you also want the default user. To do this use the following
# syntax:
#   users:
#     - default
#     - bob
#     - ....
#  foobar: ...
#
# users[0] (the first user in users) overrides the user directive.
#
# The 'default' user above references the distro's config:
# system_info:
#   default_user:
#     name: Ubuntu
#     plain_text_passwd: 'ubuntu'
#     home: /home/ubuntu
#     shell: /bin/bash
#     lock_passwd: True
#     gecos: Ubuntu
#     groups: [adm, audio, cdrom, dialout, floppy, video, plugdev, dip, netdev]

#cloud-config
# vim: syntax=yaml
#
# This is the configuration syntax that the write_files module
# will know how to understand. encoding can be given b64 or gzip or (gz+b64).
# The content will be decoded accordingly and then written to the path that is
# provided. 
#
# Note: Content strings here are truncated for example purposes.
write_files:
- encoding: b64
  content: CiMgVGhpcyBmaWxlIGNvbnRyb2xzIHRoZSBzdGF0ZSBvZiBTRUxpbnV4...
  owner: root:root
  path: /etc/sysconfig/selinux
  permissions: '0644'
- content: |
    # My new /etc/sysconfig/samba file

    SMBDOPTIONS="-D"
  path: /etc/sysconfig/samba
- content: !!binary |
    f0VMRgIBAQAAAAAAAAAAAAIAPgABAAAAwARAAAAAAABAAAAAAAAAAJAVAAAAAAAAAAAAAEAAOAAI
    AEAAHgAdAAYAAAAFAAAAQAAAAAAAAABAAEAAAAAAAEAAQAAAAAAAwAEAAAAAAADAAQAAAAAAAAgA
    AAAAAAAAAwAAAAQAAAAAAgAAAAAAAAACQAAAAAAAAAJAAAAAAAAcAAAAAAAAABwAAAAAAAAAAQAA
    ....
  path: /bin/arch
  permissions: '0555'
- encoding: gzip
  content: !!binary |
    H4sIAIDb/U8C/1NW1E/KzNMvzuBKTc7IV8hIzcnJVyjPL8pJ4QIA6N+MVxsAAAA=
  path: /usr/bin/hello
  permissions: '0755'

#cloud-config
# vim: syntax=yaml
#
# Add yum repository configuration to the system
#
# The following example adds the file /etc/yum.repos.d/epel_testing.repo
# which can then subsequently be used by yum for later operations.
yum_repos:
  # The name of the repository
  epel-testing:
    # Any repository configuration options
    # See: man yum.conf
    #
    # This one is required!
    baseurl: http://download.fedoraproject.org/pub/epel/testing/5/$basearch
    enabled: false
    failovermethod: priority
    gpgcheck: true
    gpgkey: file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL
    name: Extra Packages for Enterprise Linux 5 - Testing

#cloud-config

# Add primary apt repositories
#
# To add 3rd party repositories, see cloud-config-apt.txt or the
# Additional apt configuration and repositories section.
#
#
# Default: auto select based on cloud metadata
#  in ec2, the default is <region>.archive.ubuntu.com
# apt:
#   primary:
#     - arches [default]
#       uri:
#     use the provided mirror
#       search:
#     search the list for the first mirror.
#     this is currently very limited, only verifying that
#     the mirror is dns resolvable or an IP address
#
# if neither mirror is set (the default)
# then use the mirror provided by the DataSource found.
# In EC2, that means using <region>.ec2.archive.ubuntu.com
#
# if no mirror is provided by the DataSource, but 'search_dns' is
# true, then search for dns names '<distro>-mirror' in each of
# - fqdn of this host per cloud metadata
# - localdomain
# - no domain (which would search domains listed in /etc/resolv.conf)
# If there is a dns entry for <distro>-mirror, then it is assumed that there
# is a distro mirror at http://<distro>-mirror.<domain>/<distro>
#
# That gives the cloud provider the opportunity to set mirrors of a distro
# up and expose them only by creating dns entries.
#
# if none of that is found, then the default distro mirror is used
apt:
  primary:
    - arches: [default]
      uri: http://us.archive.ubuntu.com/ubuntu/
# or
apt:
  primary:
    - arches: [default]
      search:
        - http://local-mirror.mydomain
        - http://archive.ubuntu.com
# or
apt:
  primary:
    - arches: [default]
      search_dns: True

#cloud-config
# Update apt database on first boot (run 'apt-get update').
# Note, if packages are given, or package_upgrade is true, then
# update will be done independent of this setting.
#
# Default: false
# Aliases: apt_update
package_update: true

#cloud-config

# Upgrade the instance on first boot
# (ie run apt-get upgrade)
#
# Default: false
# Aliases: apt_upgrade
package_upgrade: true

#cloud-config
#
# This is an example file to configure an instance's trusted CA certificates
# system-wide for SSL/TLS trust establishment when the instance boots for the
# first time.
#
# Make sure that this file is valid yaml before starting instances.
# It should be passed as user-data when starting the instance.

ca-certs:
  # If present and set to True, the 'remove-defaults' parameter will remove
  # all the default trusted CA certificates that are normally shipped with
  # Ubuntu.
  # This is mainly for paranoid admins - most users will not need this
  # functionality.
  remove-defaults: true

  # If present, the 'trusted' parameter should contain a certificate (or list
  # of certificates) to add to the system as trusted CA certificates.
  # Pay close attention to the YAML multiline list syntax.  The example shown
  # here is for a list of multiline certificates.
  trusted: 
  - |
   -----BEGIN CERTIFICATE-----
   YOUR-ORGS-TRUSTED-CA-CERT-HERE
   -----END CERTIFICATE-----
  - |
   -----BEGIN CERTIFICATE-----
   YOUR-ORGS-TRUSTED-CA-CERT-HERE
   -----END CERTIFICATE-----

#cloud-config
#
# This is an example file to automatically configure resolv.conf when the
# instance boots for the first time.
#
# Ensure that your yaml is valid and pass this as user-data when starting
# the instance. Also be sure that your cloud.cfg file includes this
# configuration module in the appropriate section.
#
manage_resolv_conf: true

resolv_conf:
  nameservers: ['8.8.4.4', '8.8.8.8']
  searchdomains:
    - foo.example.com
    - bar.example.com
  domain: example.com
  options:
    rotate: true
    timeout: 1

#cloud-config

# boot commands
# default: none
# this is very similar to runcmd, but commands run very early
# in the boot process, only slightly after a 'boothook' would run.
# bootcmd should really only be used for things that could not be
# done later in the boot process.  bootcmd is very much like
# boothook, but possibly with more friendly.
# - bootcmd will run on every boot
# - the INSTANCE_ID variable will be set to the current instance id.
# - you can use 'cloud-init-per' command to help only run once
bootcmd:
  - echo 192.168.1.130 us.archive.ubuntu.com >> /etc/hosts
  - [ cloud-init-per, once, mymkfs, mkfs, /dev/vdb ]

#cloud-config

# run commands
# default: none
# runcmd contains a list of either lists or a string
# each item will be executed in order at rc.local like level with
# output to the console
# - runcmd only runs during the first boot
# - if the item is a list, the items will be properly executed as if
#   passed to execve(3) (with the first arg as the command).
# - if the item is a string, it will be simply written to the file and
#   will be interpreted by 'sh'
#
# Note, that the list has to be proper yaml, so you have to quote
# any characters yaml would eat (':' can be problematic)
runcmd:
 - [ ls, -l, / ]
 - [ sh, -xc, "echo $(date) ': hello world!'" ]
 - [ sh, -c, echo "=========hello world'=========" ]
 - ls -l /root
 # Note: Don't write files to /tmp from cloud-init use /run/somedir instead.
 # Early boot environments can race systemd-tmpfiles-clean LP: #1707222.
 - mkdir /run/mydir
 - [ wget, "http://slashdot.org", -O, /run/mydir/index.html ]

#cloud-config

# Install additional packages on first boot
#
# Default: none
#
# if packages are specified, this apt_update will be set to true
#
# packages may be supplied as a single package name or as a list
# with the format [<package>, <version>] wherein the specifc
# package version will be installed.
packages:
 - pwgen
 - pastebinit
 - [libpython2.7, 2.7.3-0ubuntu3.1]

#cloud-config

# set up mount points
# 'mounts' contains a list of lists
#  the inner list are entries for an /etc/fstab line
#  ie : [ fs_spec, fs_file, fs_vfstype, fs_mntops, fs-freq, fs_passno ]
#
# default:
# mounts:
#  - [ ephemeral0, /mnt ]
#  - [ swap, none, swap, sw, 0, 0 ]
#
# in order to remove a previously listed mount (ie, one from defaults)
# list only the fs_spec.  For example, to override the default, of
# mounting swap:
# - [ swap ]
# or
# - [ swap, null ]
#
# - if a device does not exist at the time, an entry will still be
#   written to /etc/fstab.
# - '/dev' can be ommitted for device names that begin with: xvd, sd, hd, vd
# - if an entry does not have all 6 fields, they will be filled in
#   with values from 'mount_default_fields' below.
#
# Note, that you should set 'nofail' (see man fstab) for volumes that may not
# be attached at instance boot (or reboot).
#
mounts:
 - [ ephemeral0, /mnt, auto, "defaults,noexec" ]
 - [ sdc, /opt/data ]
 - [ xvdh, /opt/data, "auto", "defaults,nofail", "0", "0" ]
 - [ dd, /dev/zero ]

# mount_default_fields
# These values are used to fill in any entries in 'mounts' that are not
# complete.  This must be an array, and must have 6 fields.
mount_default_fields: [ None, None, "auto", "defaults,nofail", "0", "2" ]


# swap can also be set up by the 'mounts' module
# default is to not create any swap files, because 'size' is set to 0
swap:
  filename: /swap.img
  size: "auto" # or size in bytes
  maxsize: size in bytes

#cloud-config

## poweroff or reboot system after finished
# default: none
#
# power_state can be used to make the system shutdown, reboot or
# halt after boot is finished.  This same thing can be acheived by
# user-data scripts or by runcmd by simply invoking 'shutdown'.
# 
# Doing it this way ensures that cloud-init is entirely finished with
# modules that would be executed, and avoids any error/log messages
# that may go to the console as a result of system services like
# syslog being taken down while cloud-init is running.
#
# If you delay '+5' (5 minutes) and have a timeout of
# 120 (2 minutes), then the max time until shutdown will be 7 minutes.
# cloud-init will invoke 'shutdown +5' after the process finishes, or
# when 'timeout' seconds have elapsed.
#
# delay: form accepted by shutdown.  default is 'now'. other format
#        accepted is '+m' (m in minutes)
# mode: required. must be one of 'poweroff', 'halt', 'reboot'
# message: provided as the message argument to 'shutdown'. default is none.
# timeout: the amount of time to give the cloud-init process to finish
#          before executing shutdown.
# condition: apply state change only if condition is met.
#            May be boolean True (always met), or False (never met),
#            or a command string or list to be executed.
#            command's exit code indicates:
#               0: condition met
#               1: condition not met
#            other exit codes will result in 'not met', but are reserved
#            for future use.
#
power_state:
  delay: "+30"
  mode: poweroff
  message: Bye Bye
  timeout: 30
  condition: True

#cloud-config

# add each entry to ~/.ssh/authorized_keys for the configured user or the
# first user defined in the user definition directive.
ssh_authorized_keys:
  - ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAGEA3FSyQwBI6Z+nCSjUUk8EEAnnkhXlukKoUPND/RRClWz2s5TCzIkd3Ou5+Cyz71X0XmazM3l5WgeErvtIwQMyT1KjNoMhoJMrJnWqQPOt5Q8zWd9qG7PBl9+eiH5qV7NZ mykey@host
  - ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA3I7VUf2l5gSn5uavROsc5HRDpZdQueUq5ozemNSj8T7enqKHOEaFoU2VoPgGEWC9RyzSQVeyD6s7APMcE82EtmW4skVEgEGSbDc1pvxzxtchBj78hJP6Cf5TCMFSXw+Fz5rF1dR23QDbN1mkHs7adr8GW4kSWqU7Q7NDwfIrJJtO7Hi42GyXtvEONHbiRPOe8stqUly7MvUoN+5kfjBM8Qqpfl2+FNhTYWpMfYdPUnE7u536WqzFmsaqJctz3gBxH9Ex7dFtrxR4qiqEr9Qtlu3xGn7Bw07/+i1D+ey3ONkZLN+LQ714cgj8fRS4Hj29SCmXp5Kt5/82cD/VN3NtHw== smoser@brickies

# Send pre-generated SSH private keys to the server
# If these are present, they will be written to /etc/ssh and
# new random keys will not be generated
#  in addition to 'rsa' and 'dsa' as shown below, 'ecdsa' is also supported
ssh_keys:
  rsa_private: |
    -----BEGIN RSA PRIVATE KEY-----
    MIIBxwIBAAJhAKD0YSHy73nUgysO13XsJmd4fHiFyQ+00R7VVu2iV9Qcon2LZS/x
    1cydPZ4pQpfjEha6WxZ6o8ci/Ea/w0n+0HGPwaxlEG2Z9inNtj3pgFrYcRztfECb
    1j6HCibZbAzYtwIBIwJgO8h72WjcmvcpZ8OvHSvTwAguO2TkR6mPgHsgSaKy6GJo
    PUJnaZRWuba/HX0KGyhz19nPzLpzG5f0fYahlMJAyc13FV7K6kMBPXTRR6FxgHEg
    L0MPC7cdqAwOVNcPY6A7AjEA1bNaIjOzFN2sfZX0j7OMhQuc4zP7r80zaGc5oy6W
    p58hRAncFKEvnEq2CeL3vtuZAjEAwNBHpbNsBYTRPCHM7rZuG/iBtwp8Rxhc9I5w
    ixvzMgi+HpGLWzUIBS+P/XhekIjPAjA285rVmEP+DR255Ls65QbgYhJmTzIXQ2T9
    luLvcmFBC6l35Uc4gTgg4ALsmXLn71MCMGMpSWspEvuGInayTCL+vEjmNBT+FAdO
    W7D4zCpI43jRS9U06JVOeSc9CDk2lwiA3wIwCTB/6uc8Cq85D9YqpM10FuHjKpnP
    REPPOyrAspdeOAV+6VKRavstea7+2DZmSUgE
    -----END RSA PRIVATE KEY-----

  rsa_public: ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAGEAoPRhIfLvedSDKw7XdewmZ3h8eIXJD7TRHtVW7aJX1ByifYtlL/HVzJ09nilCl+MSFrpbFnqjxyL8Rr/DSf7QcY/BrGUQbZn2Kc22PemAWthxHO18QJvWPocKJtlsDNi3 smoser@localhost

  dsa_private: |
    -----BEGIN DSA PRIVATE KEY-----
    MIIBuwIBAAKBgQDP2HLu7pTExL89USyM0264RCyWX/CMLmukxX0Jdbm29ax8FBJT
    pLrO8TIXVY5rPAJm1dTHnpuyJhOvU9G7M8tPUABtzSJh4GVSHlwaCfycwcpLv9TX
    DgWIpSj+6EiHCyaRlB1/CBp9RiaB+10QcFbm+lapuET+/Au6vSDp9IRtlQIVAIMR
    8KucvUYbOEI+yv+5LW9u3z/BAoGBAI0q6JP+JvJmwZFaeCMMVxXUbqiSko/P1lsa
    LNNBHZ5/8MOUIm8rB2FC6ziidfueJpqTMqeQmSAlEBCwnwreUnGfRrKoJpyPNENY
    d15MG6N5J+z81sEcHFeprryZ+D3Ge9VjPq3Tf3NhKKwCDQ0240aPezbnjPeFm4mH
    bYxxcZ9GAoGAXmLIFSQgiAPu459rCKxT46tHJtM0QfnNiEnQLbFluefZ/yiI4DI3
    8UzTCOXLhUA7ybmZha+D/csj15Y9/BNFuO7unzVhikCQV9DTeXX46pG4s1o23JKC
    /QaYWNMZ7kTRv+wWow9MhGiVdML4ZN4XnifuO5krqAybngIy66PMEoQCFEIsKKWv
    99iziAH0KBMVbxy03Trz
    -----END DSA PRIVATE KEY-----

  dsa_public: ssh-dss AAAAB3NzaC1kc3MAAACBAM/Ycu7ulMTEvz1RLIzTbrhELJZf8Iwua6TFfQl1ubb1rHwUElOkus7xMhdVjms8AmbV1Meem7ImE69T0bszy09QAG3NImHgZVIeXBoJ/JzByku/1NcOBYilKP7oSIcLJpGUHX8IGn1GJoH7XRBwVub6Vqm4RP78C7q9IOn0hG2VAAAAFQCDEfCrnL1GGzhCPsr/uS1vbt8/wQAAAIEAjSrok/4m8mbBkVp4IwxXFdRuqJKSj8/WWxos00Ednn/ww5QibysHYULrOKJ1+54mmpMyp5CZICUQELCfCt5ScZ9GsqgmnI80Q1h3Xkwbo3kn7PzWwRwcV6muvJn4PcZ71WM+rdN/c2EorAINDTbjRo97NueM94WbiYdtjHFxn0YAAACAXmLIFSQgiAPu459rCKxT46tHJtM0QfnNiEnQLbFluefZ/yiI4DI38UzTCOXLhUA7ybmZha+D/csj15Y9/BNFuO7unzVhikCQV9DTeXX46pG4s1o23JKC/QaYWNMZ7kTRv+wWow9MhGiVdML4ZN4XnifuO5krqAybngIy66PMEoQ= smoser@localhost

# By default, the fingerprints of the authorized keys for the users
# cloud-init adds are printed to the console. Setting
# no_ssh_fingerprints to true suppresses this output.
no_ssh_fingerprints: false

# By default, (most) ssh host keys are printed to the console. Setting
# emit_keys_to_console to false suppresses this output.
ssh:
  emit_keys_to_console: false

#cloud-config
# Cloud-init supports the creation of simple partition tables and file systems
# on devices.

# Default disk definitions for AWS
# --------------------------------
# (Not implemented yet, but provided for future documentation)

disk_setup:
  ephmeral0:
    table_type: 'mbr'
    layout: True
    overwrite: False

fs_setup:
  - label: None,
    filesystem: ext3
    device: ephemeral0
    partition: auto

# Default disk definitions for Microsoft Azure
# ------------------------------------------

device_aliases: {'ephemeral0': '/dev/sdb'}
disk_setup:
  ephemeral0:
    table_type: mbr
    layout: True
    overwrite: False

fs_setup:
  - label: ephemeral0
    filesystem: ext4
    device: ephemeral0.1
    replace_fs: ntfs


# Data disks definitions for Microsoft Azure
# ------------------------------------------

disk_setup:
  /dev/disk/azure/scsi1/lun0:
    table_type: gpt
    layout: True
    overwrite: True

fs_setup:
  - device: /dev/disk/azure/scsi1/lun0
    partition: 1
    filesystem: ext4


# Default disk definitions for SmartOS
# ------------------------------------

device_aliases: {'ephemeral0': '/dev/vdb'}
disk_setup:
  ephemeral0:
    table_type: mbr
    layout: False
    overwrite: False

fs_setup:
  - label: ephemeral0
    filesystem: ext4
    device: ephemeral0.0

# Caveat for SmartOS: if ephemeral disk is not defined, then the disk will
#    not be automatically added to the mounts.


# The default definition is used to make sure that the ephemeral storage is
# setup properly.

# "disk_setup": disk partitioning
# --------------------------------

# The disk_setup directive instructs Cloud-init to partition a disk. The format is:

disk_setup:
  ephmeral0:
    table_type: 'mbr'
    layout: 'auto'
  /dev/xvdh:
    table_type: 'mbr'
    layout:
      - 33
      - [33, 82]
      - 33
    overwrite: True

# The format is a list of dicts of dicts. The first value is the name of the
# device and the subsequent values define how to create and layout the
# partition.
# The general format is:
#   disk_setup:
#     <DEVICE>:
#       table_type: 'mbr'
#       layout: <LAYOUT|BOOL>
#       overwrite: <BOOL>
#
# Where:
#   <DEVICE>: The name of the device. 'ephemeralX' and 'swap' are special
#               values which are specific to the cloud. For these devices
#               Cloud-init will look up what the real devices is and then
#               use it.
#
#               For other devices, the kernel device name is used. At this
#               time only simply kernel devices are supported, meaning
#               that device mapper and other targets may not work.
#
#               Note: At this time, there is no handling or setup of
#               device mapper targets.
#
#   table_type=<TYPE>: Currently the following are supported:
#                   'mbr': default and setups a MS-DOS partition table
#                   'gpt': setups a GPT partition table
#
#               Note: At this time only 'mbr' and 'gpt' partition tables
#                   are allowed. It is anticipated in the future that
#                   we'll also have "RAID" to create a mdadm RAID.
#
#   layout={...}: The device layout. This is a list of values, with the
#               percentage of disk that partition will take.
#               Valid options are:
#                   [<SIZE>, [<SIZE>, <PART_TYPE]]
#
#               Where <SIZE> is the _percentage_ of the disk to use, while
#               <PART_TYPE> is the numerical value of the partition type.
#
#               The following setups two partitions, with the first
#               partition having a swap label, taking 1/3 of the disk space
#               and the remainder being used as the second partition.
#                 /dev/xvdh':
#                   table_type: 'mbr'
#                   layout:
#                     - [33,82]
#                     - 66
#                   overwrite: True
#
#               When layout is "true" it means single partition the entire
#               device.
#
#               When layout is "false" it means don't partition or ignore
#               existing partitioning.
#
#               If layout is set to "true" and overwrite is set to "false",
#               it will skip partitioning the device without a failure.
#
#   overwrite=<BOOL>: This describes whether to ride with saftey's on and
#               everything holstered.
#
#               'false' is the default, which means that:
#                   1. The device will be checked for a partition table
#                   2. The device will be checked for a file system
#                   3. If either a partition of file system is found, then
#                       the operation will be _skipped_.
#
#               'true' is cowboy mode. There are no checks and things are
#                   done blindly. USE with caution, you can do things you
#                   really, really don't want to do.
#
#
# fs_setup: Setup the file system
# -------------------------------
#
# fs_setup describes the how the file systems are supposed to look.

fs_setup:
  - label: ephemeral0
    filesystem: 'ext3'
    device: 'ephemeral0'
    partition: 'auto'
  - label: mylabl2
    filesystem: 'ext4'
    device: '/dev/xvda1'
  - cmd: mkfs -t %(filesystem)s -L %(label)s %(device)s
    label: mylabl3
    filesystem: 'btrfs'
    device: '/dev/xvdh'

# The general format is:
#   fs_setup:
#     - label: <LABEL>
#       filesystem: <FS_TYPE>
#       device: <DEVICE>
#       partition: <PART_VALUE>
#       overwrite: <OVERWRITE>
#       replace_fs: <FS_TYPE>
#
# Where:
#   <LABEL>: The file system label to be used. If set to None, no label is
#     used.
#
#   <FS_TYPE>: The file system type. It is assumed that the there
#     will be a "mkfs.<FS_TYPE>" that behaves likes "mkfs". On a standard
#     Ubuntu Cloud Image, this means that you have the option of ext{2,3,4},
#     and vfat by default.
#
#   <DEVICE>: The device name. Special names of 'ephemeralX' or 'swap'
#     are allowed and the actual device is acquired from the cloud datasource.
#     When using 'ephemeralX' (i.e. ephemeral0), make sure to leave the
#     label as 'ephemeralX' otherwise there may be issues with the mounting
#     of the ephemeral storage layer.
#
#     If you define the device as 'ephemeralX.Y' then Y will be interpetted
#     as a partition value. However, ephermalX.0 is the _same_ as ephemeralX.
#
#   <PART_VALUE>:
#     Partition definitions are overwriten if you use the '<DEVICE>.Y' notation.
#
#     The valid options are:
#     "auto|any": tell cloud-init not to care whether there is a partition
#       or not. Auto will use the first partition that does not contain a
#       file system already. In the absence of a partition table, it will
#       put it directly on the disk.
#
#       "auto": If a file system that matches the specification in terms of
#       label, type and device, then cloud-init will skip the creation of
#       the file system.
#
#       "any": If a file system that matches the file system type and device,
#       then cloud-init will skip the creation of the file system.
#
#       Devices are selected based on first-detected, starting with partitions
#       and then the raw disk. Consider the following:
#           NAME     FSTYPE LABEL
#           xvdb
#           |-xvdb1  ext4
#           |-xvdb2
#           |-xvdb3  btrfs  test
#           \-xvdb4  ext4   test
#
#         If you ask for 'auto', label of 'test, and file system of 'ext4'
#         then cloud-init will select the 2nd partition, even though there
#         is a partition match at the 4th partition.
#
#         If you ask for 'any' and a label of 'test', then cloud-init will
#         select the 1st partition.
#
#         If you ask for 'auto' and don't define label, then cloud-init will
#         select the 1st partition.
#
#         In general, if you have a specific partition configuration in mind,
#         you should define either the device or the partition number. 'auto'
#         and 'any' are specifically intended for formating ephemeral storage or
#         for simple schemes.
#
#       "none": Put the file system directly on the device.
#
#       <NUM>: where NUM is the actual partition number.
#
#   <OVERWRITE>: Defines whether or not to overwrite any existing
#     filesystem.
#
#     "true": Indiscriminately destroy any pre-existing file system. Use at
#         your own peril.
#
#     "false": If an existing file system exists, skip the creation.
#
#   <REPLACE_FS>: This is a special directive, used for Microsoft Azure that
#     instructs cloud-init to replace a file system of <FS_TYPE>. NOTE:
#     unless you define a label, this requires the use of the 'any' partition
#     directive.
#
# Behavior Caveat: The default behavior is to _check_ if the file system exists.
#   If a file system matches the specification, then the operation is a no-op.

#cloud-config
#
# growpart entry is a dict, if it is not present at all
# in config, then the default is used ({'mode': 'auto', 'devices': ['/']})
#
#  mode:
#    values:
#     * auto: use any option possible (any available)
#             if none are available, do not warn, but debug.
#     * growpart: use growpart to grow partitions
#             if growpart is not available, this is an error.
#     * off, false
#
# devices:
#   a list of things to resize.
#   items can be filesystem paths or devices (in /dev)
#   examples:
#     devices: [/, /dev/vdb1]
#
# ignore_growroot_disabled:
#   a boolean, default is false.
#   if the file /etc/growroot-disabled exists, then cloud-init will not grow
#   the root partition.  This is to allow a single file to disable both
#   cloud-initramfs-growroot and cloud-init's growroot support.
#
#   true indicates that /etc/growroot-disabled should be ignored
#
growpart:
  mode: auto
  devices: ['/']
  ignore_growroot_disabled: false

#upstart-job

#cloud-boothook

#part-handler

def list_types():
    # return a list of mime-types that are handled by this module
    return(["text/plain", "text/go-cubs-go"])

def handle_part(data,ctype,filename,payload):
    # data: the cloudinit object
    # ctype: '__begin__', '__end__', or the specific mime-type of the part
    # filename: the filename for the part, or dynamically generated part if
    #           no filename is given attribute is present
    # payload: the content of the part (empty for begin or end)
    if ctype == "__begin__":
       print "my handler is beginning"
       return
    if ctype == "__end__":
       print "my handler is ending"
       return

    print "==== received ctype=%s filename=%s ====" % (ctype,filename)
    print payload
    print "==== end ctype=%s filename=%s" % (ctype, filename)

#part-handler

所谓实例数据，是指cloud-init用来配置实例的所有数据的集合。数据来源包括：

1. 云环境的元数据服务（metadata）
2. 用户定制的，提供给实例的config-drive
3. 镜像中的cloud-config seed files
4. 提供文件/元数据服务提供的vendor-data
5. 创建实例时提供的user-data

也就是说，上节的user-data是instance-data的一部分。

在OpenStack中，Flavor定义了实例的规格 —— 计算、内存、存储资源的硬件规格。Flavor也可以用来定义实例可以在哪些宿主机上启动。

# 确保虚拟机只能消耗50%的物理CPU能力
openstack flavor set FLAVOR-NAME \
    --property quota:cpu_quota=10000 \
    --property quota:cpu_period=20000

# 限制每秒最多写入10MB到磁盘
openstack flavor set FLAVOR-NAME \
    --property quota:disk_write_bytes_sec=10485760

允许使用的资源的配额可以针对项目（租户）或者用户进行设置。

使用下面的命令查看默认配额值：

openstack quota show --default

要查看某个用户的配额，执行：

nova quota-show --user USER --tenant PROJECT

主机聚合是一种对宿主机进行分区的机制，聚合中的主机常常具有类似的硬件/性能特征。一个主机可以属于多个聚合。

引入主机聚合最初是为了使用Xen资源池，但是现在作为一种机制，允许管理员将一系列键值对（属性）同时分配到多台主机。

主机聚合不直接对用户暴露，管理员可以将Flavor映射到主机聚合 —— 只需要为聚合设置匹配Flavor的额外规格说明的元数据，即可完成映射。

管理员也可以将一组主机划分为AZ，与主机聚合不同，AZ是面向用户的概念，而且主机仅能属于一个AZ。

要让Nova调度器支持主机聚合，需要配置：

[filter_scheduler]
enabled_filters=...,AggregateInstanceExtraSpecsFilter

# 在nova可用区中创建一个SSD磁盘的主机的聚合（后面假设聚合的ID为1）
openstack aggregate create --zone nova fast-io

# 为聚合设置元数据
openstack aggregate set --property ssd=true 1

# 添加主机到聚合
openstack aggregate add host 1 node1
openstack aggregate add host 1 node2


# 创建一个Flavor
openstack flavor create --id 6 --ram 8192 --disk 80 --vcpus 4 ssd.large

# 映射Flavor到聚合
openstack flavor set \
# 设置scope为aggregate_instance_extra_specs的额外规格，
#                                             键值和聚合元数据一致
    --property aggregate_instance_extra_specs:ssd=true ssd.large

在Placement中，Aggregate表示相关的资源提供者（resource provider）的分组。在Placement中，Nova的计算节点就是资源提供者。因此，节点在Placement中也可以被加入到聚合。

使用下面的命令，可以查询计算节点的UUID，并将其加入到Placement聚合中：

openstack --os-compute-api-version=2.53 hypervisor list
# +--------------------------------------+---------------------+-----------------+-----------------+-------+
# | ID                                   | Hypervisor Hostname | Hypervisor Type | Host IP         | State |
# +--------------------------------------+---------------------+-----------------+-----------------+-------+
# | 815a5634-86fb-4e1e-8824-8a631fee3e06 | node1               | QEMU            | 192.168.1.123   | up    |
# +--------------------------------------+---------------------+-----------------+-----------------+-------+

openstack --os-placement-api-version=1.2 resource provider aggregate set \
    --aggregate df4c74f3-d2c4-4991-b461-f1a678e1d161 \
    815a5634-86fb-4e1e-8824-8a631fee3e06

从Nova 18.0.0开始，添加主机到Host Aggregate中后，会自动修改对应的Placement聚合。不需要手工操作。删除时类似。

为了使用Placement来进行租户隔离，必须存在和Host Aggregate在UUID+成员关系上匹配的Placement Aggregate。调度过滤器AggregateMultiTenancyIsolation会使用聚合元数据。

需要设置 scheduler.limit_tenants_to_placement_aggregate  = True才能启用此特性。

配置示例：

# 创建主机聚合
openstack --os-compute-api-version=2.53 aggregate create myagg
# +-------------------+--------------------------------------+
# | Field             | Value                                |
# +-------------------+--------------------------------------+
# | availability_zone | None                                 |
# | created_at        | 2018-03-29T16:22:23.175884           |
# | deleted           | False                                |
# | deleted_at        | None                                 |
# | id                | 4                                    |
# | name              | myagg                                |
# | updated_at        | None                                 |
# | uuid              | 019e2189-31b3-49e1-aff2-b220ebd91c24 |
# +-------------------+--------------------------------------+

# 添加节点到主机聚合
openstack --os-compute-api-version=2.53 aggregate add host myagg node1

# 获取租户ID
openstack project list -f value | grep 'demo'
9691591f913949818a514f95286a6b90 demo

# 设置此聚合仅仅给租户使用
openstack aggregate set --property filter_tenant_id=9691591f913949818a514f95286a6b90 myagg

# 将主机加入到聚合
openstack --os-placement-api-version=1.2 resource provider aggregate set \
    --aggregate 019e2189-31b3-49e1-aff2-b220ebd91c24 \
    815a5634-86fb-4e1e-8824-8a631fee3e06

nova aggregate-cache-images my-aggregate image1 image2

Nova组件nova-scheduler负责决定在哪台计算节点上创建虚拟机。 在调度的场景下，术语host表示运行了nova-compute服务的哪些节点。

调度器的基本配置项是：

[scheduler]
driver = filter_scheduler

[filter_scheduler]
available_filters = nova.scheduler.filters.all_filters
enabled_filters = AvailabilityZoneFilter, ComputeFilter, ComputeCapabilitiesFilter, ImagePropertiesFilter, ServerGroupAntiAffinityFilter, ServerGroupAffinityFilter

默认的调度器驱动是 filter_scheduler，在默认配置下，该调度器选择满足以下所有条件的宿主机：

1. AvailabilityZoneFilter：位于请求的AZ中
2. ComputeFilter：能够服务请求
3. ComputeCapabilitiesFilter：满足实例类型的extra_specs（来自Flavor）
4. ImagePropertiesFilter：满足实例镜像属性中的架构、Hypervisor类型、虚拟机模式属性
5. ServerGroupAntiAffinityFilter：满足服务器组的反亲和设置——和组中的其它虚拟机不再同一宿主机上
6. ServerGroupAffinityFilter：满足服务器组亲和设置

当执行nova evacuate命令重建虚拟机时，调度器服务遵循管理员给出的目标宿主机，如果管理员没有指定目标宿主机，则由调度器来选择适当的宿主机。

从R版开始，调度器包含一个前置的过滤步骤，其目的时提升效率，减少候选的主机。

下面是一些常用的预过滤器：

前面我们提到过，nova.scheduler.filter_scheduler.FilterScheduler是默认的调度器（驱动）。它使用过滤器、权重来选择宿主机。

配置项 [filter_scheduler]/available_filters 列出调度器可以使用的过滤器集合，此配置项可以指定多次：

[filter_scheduler]
; 所有自带过滤器
available_filters = nova.scheduler.filters.all_filters
; 加上这个自己编写的过滤器
available_filters = myfilter.MyFilter

配置项 [filter_scheduler]/filter_scheduler.enabled_filters 列出当前nova-scheduler启用的过滤器。

{
    "server": {
        "name": "server-1",
        "imageRef": "cedef40a-ed67-4d10-800e-17455edce175",
        "flavorRef": "1"
    },
    "os:scheduler_hints": {
        "different_host": [
            "a0cf03a5-d921-4877-bb5c-86d26cf818e1",
            "8c19174f-4220-44f0-824a-cd1eeef10287"
        ]
    }
}

openstack server create --image cedef40a-ed67-4d10-800e-17455edce175 \
  --flavor 1 --hint different_host=a0cf03a5-d921-4877-bb5c-86d26cf818e1 \
  # 调度提示
  --hint different_host=8c19174f-4220-44f0-824a-cd1eeef10287 server-1

openstack image set --architecture arm --property img_hv_type=qemu img-uuid

[filter_scheduler]
isolated_hosts = server1, server2
isolated_images = 342b492c-128f-4a42-8d3a-c5088cf27d13, ebd267a6-ca86-4d6c-9a0e-bd132d6b7d09 

openstack server create --image 827d564a-e636-4fc4-a376-d36f7ebe1747 \
  --flavor 1 --hint query='[">=","$free_ram_mb",1024]' server1

openstack server create --image cedef40a-ed67-4d10-800e-17455edce175 \
  --flavor 1 --hint same_host=a0cf03a5-d921-4877-bb5c-86d26cf818e1 \
  --hint same_host=8c19174f-4220-44f0-824a-cd1eeef10287 server-1

openstack server group create --policy affinity group-1
openstack server create --image IMAGE_ID --flavor 1 \
  --hint group=SERVER_GROUP_UUID server-1

openstack server create --image cedef40a-ed67-4d10-800e-17455edce175 \
  --flavor 1 --hint build_near_host_ip=192.168.1.1 --hint cidr=/24 server-1

经过过滤后，可能仍然有多个宿主机满足需求。那么，到底选择哪一个？这时需要基于权重来确定。

一个宿主机的最初权重由它拥有的硬件资源来确定，每当调度新的实例到它上面，宿主机的权重值就变小。 

权重计算算法的参数，配置在nova.conf中：

[DEFAULT]

; 注意：主机聚合可以覆盖这里的权重因子设置
; 内存权重因子
ram_weight_multiplier
; 磁盘权重因子
disk_weight_multiplier
; 处理器权重因子
cpu_weight_multiplier
; IO负载权重因子，负数表示倾向于选择轻负载的宿主机
io_ops_weight_multiplier

; 进行权重判断后，会返回N个最适合主机，然后在随机从中取一个作为最终宿主机
; 该选项决定N的大小
scheduler_host_subset_size

; 默认权重值最大的获胜
scheduler_weight_classes = nova.scheduler.weights.all_weighers

[filter_scheduler]
; 对于主机组进行软亲和时时候
soft_affinity_weight_multiplier
; 对于主机组进行软反亲和时时候
soft_anti_affinity_weight_multiplier
; 对于最近发生创建虚拟机失败的宿主机，设置权重因子
; 设置为负数，则最近失败的主机更加少的机会被选择
build_failure_weight_multiplier
; 在跨Cell移动实例时，使用该权重因子
cross_cell_move_weight_multiplier 

从S版开始，nova-compute会基于计算驱动的capabilities报告为COMPUTE_开头的（资源提供者的）Trait（特性）。

通过配置Flavor，可以指定实例要求、禁止哪些Trait。例如，某个主机聚合支持multi-attach卷，你可以限制某个Flavor仅仅调度到这个主机聚合：

1. 为Flavor设置extra_specs：

   trait:COMPUTE_VOLUME_MULTI_ATTACH=required

2. 按照常规方式限制Flavor到主机聚合

openstack --os-compute-api-version=2.53 hypervisor list
# 列出trait
openstack --os-placement-api-version 1.6 resource provider trait list 8fa133f5-a41e-4ef6-a485-cb0d6e167860 

关于基于计算驱动capabilities定义的Trait，需要注意：

1. 计算服务拥有这些COMPUTE_开头的Trait的控制权，nova-compute服务启动后，或者update_available_resource定时任务执行后，会自动添加/擅长Traits
2. 用户自定义的Trait，不会被删除。除非定义的Trait以COMPUTE_开头
3. 如果用户通过命令：

   openstack resource provider trait delete

    删除某个资源提供者的COMPUTE_*，计算服务会在重启时再次添加

在OpenStack中，可用区是一个用户可见的逻辑的云分区。在创建主机时，用户可以指定，创建到哪个可用区。

可用区没有在数据库中建模，而是定义为主机聚合的元数据。为主机聚合添加特定的元数据，即可将其中的主机加入到某个可用区。

需要注意主机聚合和AZ的不同：

1. 宿主机可以属于多个主机聚合，但是只能属于一个AZ
2. 默认情况下，主机是默认AZ的成员，即使它不属于任何主机聚合

其它OpenStack服务，例如网络、块存储服务，也有可用区的概念，但是实现方式各不相同。

默认AZ的名字，可以在nova.conf中配置：

[DEFAULT]
default_availability_zone = nova

该配置项指定计算服务（nova-compute组件）的默认可用区的名字。 

可用区是在主机聚合上设置的：

# --os-compute-api-version=2.53
openstack aggregate create zircon
openstack aggregate add host zircon centos-11
openstack aggregate add host zircon centos-12
openstack aggregate add host zircon centos-13

# 设置聚合的可用区
openstack aggregate set --property availability_zone=zircon zircon

将主机聚合关联到可用区的操作，需要提前规划。聚合中任何主机上已经实例，则无法设置可用区。

导致实例所在宿主机改变的操作包括 evacuate, resize, cold migrate, live migrate 以及 unshelve。其中只有evacuate和live migrate可以绕过调度器，强制指定目标主机。

如果满足以下条件之一，迁移后的实例限定在特定的AZ中：

1. 创建实例时，指定了availability_zone参数，即指明在特地AZ中创建实例
2. 虽然没有指定availability_zone，但是API service配置了 default_schedule_zone
3. 2.77版本之后，Unshelve实例时，指定了availability_zone
4. cinder.cross_az_attach设置为False，default_schedule_zone也没有设置，但是实例使用了卷，这样会调度到卷所在的AZ

如果实例没有在特定AZ内创建，则它可以被自由的移动到其它AZ， AvailabilityZoneFilter不做任何事情。

需要注意，如果实例在某个AZ内创建的情况下，通过evacuate或者live migrate将其移动到另外一个AZ的主机上，是个危险的操作。因为假设后续你又resize实例，调度器会将其转移到原先的AZ。

Noava的配置项cinder.cross_az_attach，用于限制实例和它使用的卷在相同的AZ中。如果设置为False，则计算和存储资源会位于相同AZ，如果无法满足，则请求会失败：

1. 创建实例时，将一个已存在的卷挂载给它，那么实例将创建到卷所在的AZ
2. 创建实例时，需要创建一个新卷挂载给它，那么Nova将会在实例所在的AZ中创建卷

关于在Nova中使用、创建、管理卷，参考openstack server create。

Nova从Q版开始支持Cinder的多重挂载。前提条件：

1. Compute API最小版本是2.6
2. 底层的Hypervisor驱动必须支持将卷挂载到多个客户机。使用libvirt驱动时，libvirt必须大于3.10，qemu必须大于2.10
3. 不支持swap一个正在使用的multiattach卷

OpenStack支持多种控制台来连接到客户机，包括VNC、SPICE、Serial、RDP、MKS（VMware vSphere）。推荐仅仅部署一种类型的控制台支持，此外需要注意某些Hypervisor不支持某些控制台类型。

为了连接到虚拟机控制台，计算节点的5900-5999端口必须开启。

不管使用哪种控制台，都需要部署console proxy服务。该服务负责：

1. 提供用户所在的公共网络和虚拟机所在的私有网络之间的桥梁
2. 中介Token验证
3. 屏蔽Hypervisor相关的连接细节，给用户一致的体验

对于某些Hypervisor + Console驱动的组合，控制台代理是Hypervisor/其它外部服务提供的。其它的则由Nova提供控制台代理服务。Nova控制台代理的工作方式如下（以基于noVNC的VNC控制台为例）：

1. 用户访问OpenStack API，获取控制台访问URL，例如：http://ip:port/?path=%3Ftoken%3Dxyz
2. 用户在浏览器打开控制台
3. 浏览器连接到代理
4. 代理校验用户的Token，映射Token到私有网络中的、实例的VNC服务器的地址:端口
5. 计算节点在vnc.server_proxyclient_address中指定代理应该如何连接到本机的VNC服务器，代理通过此地址连接到VNC服务器

要启用基于noVNC的VNC控制台，OpenStack需要部署以下额外组件：

1. 一个或多个 nova-novncproxy服务，以支持基于浏览器的noVNC客户端。在简单部署场景中，此服务运行在nova-api所在机器上，因为它是公共、私有网络之间的桥梁

VNC是很多Hypervisor和客户端支持的图形化控制台。noVNC支持通过浏览器访问VNC。

配置nova-novncproxy服务：

[vnc]
novncproxy_host = 0.0.0.0
novncproxy_port = 6082

配置nova-compute服务： 

[vnc]
enabled = True
novncproxy_base_url = http://os.gmem.cc:6082/vnc_auto.html
server_listen = 127.0.0.1
server_proxyclient_address = 127.0.0.1

使用串口控制台（serial console）可以检查虚拟机的内核输出，查看其它虚拟消息。串口控制台在虚拟机的网络连接不可用时特别有效。

从J版开始，OpenStack支持可读写的串口控制台。你需要在计算节点上配置：

[serial_console]
; ...
enabled = true
base_url = ws://os.gmem.cc:6083/
; 监听虚拟控制台请求的地址
listen = 0.0.0.0
; 控制台代理连接到哪个网络接口，通常管理网
proxyclient_address = MANAGEMENT_INTERFACE_IP_ADDRESS

使用下面的命令后的串口控制台的WS地址：

nova get-serial-proxy INSTANCE_NAME

Nova支持注入密码到虚拟机的管理员用户，密码会打印在openstack server create命令的输出中。

默认情况下，仪表盘会显示管理员密码并允许修改。如果希望禁用此特性：

PENSTACK_HYPERVISOR_FEATURES = {
...
    'can_set_password': False,
}

对于使用libvirt后端的Hypervisor（KVM/QEMU/LXC），管理员密码注入默认禁用，要启用需要修改：

[libvirt]
inject_password=true

[libvirt]
; 使用KVM以提升性能
virt_type = kvm
; 创建的实例的CPU模式，参考
; https://blog.gmem.cc/libvirt-study-note#cpu-mode
cpu_mode=host-passthrough

默认情况下，很多placement相关的OpenStackt命令不可用，需要安装osc-placement插件。

默认情况下，使用的Placement API版本是1.0。要使用其它版本，需要指定

--os-placement-api-version

export OS_PLACEMENT_API_VERSION=1.6 

OpenStack Networking组件，即Neutron，允许你创建网络接口设备、将网络接口设备Attach到虚拟网络。Neutron基于插件化机制设计，用以支持不同的网络设备以及软件。

Neutron负责管理虚拟网络基础设施（Virtual Networking Infrastructure，VNI）的方方面面、以及物理网络基础设施（Physical Networking Infrastructure，PNI）的访问/接入层面。

Neutron支持防火墙、VPN等高级网络特性。

Neutron提供网络、子网、路由器的抽象，这些抽象模拟相应物理实体的特性。例如，网络包含子网，路由器负责再不同子网/网络之间进行封包路由。

任何给定的网络方案（set up），至少包含一个外部网络（External network）。与其它网络不同，外部网络不仅仅是虚拟网络，他是真实物理网络（可以访问OpenStack外部）的一种视图。外部网络上的IP地址，可以从OpenStack外部直接访问到。

除了外部网络之外，任何网络方案至少包含一个内部网络（Internal network），内部网络是虚拟（软件定义的）网络，直接将VM连接在一起。

为了从外部访问VM（或者反之），需要添加虚拟路由器。每个路由器包含一个网关，通向外部网络；包含1-N个接口，通往内部网络。和物理路由器类似，连接到同一个路由器的子网之间可以相互访问。VM可以通过路由器的网关访问外部网络。

当有什么连接到一个子网时，那个连接点（connection）就称为端口（port）。你将外部网络的IP地址分配到内部网络的（由于VM连接到子网而产生的）端口上，这样，外部实体就能直接访问VM。

Neutron支持安全组（security groups），安全组让管理员可以按组来定义防火墙规则。一个VM可以归属1-N个安全组，Neutron根据安全组中的规则，来阻止VM访问端口、端口范围。

一个典型的Netron部署，包含了多个服务（service）和代理（agent），这些组件可能运行在一个或多个节点上。

接受API请求，并路由给适当的OpenStack Networking plug-in进行处理。作为访问数据库的中心点。

Neutron使用插件化的架构，各种可拔插功能依赖于plugin和agent实现。

使用通用/厂商特定的技术，来提供网络分段（segmentation）和隔离（isolation），也就是划分出子网（network number相同的主机位于同一个子网，子网是个以太网）。

L2代理应当运行在任何需要网络连接、提供虚拟接口安全性的节点上，包括计算、网络节点。

OpenStack自带了Cisco 虚拟/物理交换机、NEC OpenFlow产品、Open vSwitch、Linux Bridging、VMware NSX产品的代理。

运行在网络节点上，提供东西向、南北向的路由能力，并提供FWaaS、VPNaaS之类的高级特性。

用于再Neutron服务器和各种代理之间进行消息交换，也用作某些特定插件存储网络状态的数据库。

主配置文件neutron.conf，neutron-server和各种Agent都会读取。该文件包含用于Neutron内部RPC的oslo.messaging配置，并且会包含一些和主机相关的信息。此配置文件还包括database、nova、keystone的凭证信息。

此外neutron-server可能会加载plugin特定的配置文件。而Agent则不会加载。原因是插件配置主要是全局范围的选项。

每个不同的Agent可能有自己的配置文件，他们应当在主配置之后加载。因此其中的配置项优先级更高。代理配置文件中，可能包含主机特定的配置，例如local_ip。

模块化L2（Modular Layer 2 ，ML2）插件是Neutron的L2框架，它允许你在一个部署中使用多种L2网络技术。ML2的扩展点是两种不同类型的驱动

网络类型驱动，定义了OpenStack网络的技术分类，例如VxLAN、flat。

每种实现技术都对应了一个ML2 Type驱动。这些驱动会维护任何需要的、和网络类型相关的状态。它会验证Provider网络上和网络类型有关的信息，并且负责在项目的网络中分配一个空闲的段。

网络机制驱动，定义了OpenStack网络的实现技术，例如flat网络可以利用Linux bridge或者OVS来实现。

Mechanism驱动会利用Type驱动所产生的信息，并且确保这些信息并应用。

Mechanism驱动能通过RPC利用L2代理，也能够直接和外部控制器/设备进行交互。

Mechanism驱动和Type驱动的搭配，不是任意的：

在ML2的主配置文件/etc/neutron/plugins/ml2/ml2_conf.ini中配置：

[ml2]
; 支持的Type驱动列表
type_drivers = flat,vlan,vxlan,gre


; flat相关配置
[ml2_type_flat]
; 可以从中创建flat网络的物理网络（physical_network）的名称
; 设置为*则允许使用任何物理网络名
; 设置为空则禁用flat网络
flat_networks = provider


; vlan相关配置
[ml2_type_vlan]
; 格式 <physical_network>:<vlan_min>:<vlan_max> 或者 <physical_network>
; 指定可用作VLAN provider以及租户网络的物理网络名称，以及可分配的VLAN Tag范围
network_vlan_ranges = provider:0:200


; vxlan相关配置
[ml2_type_vxlan]
; 格式 <vni_min>:<vni_max>,<vni_min>:<vni_max>... 列出VxLAN VNI ID范围
vni_ranges = 
; VxLAN的多播组，如果配置，所有广播流量发送到此组；如果不配置，禁用multicast VxLAN模式
vxlan_group =

在ML2的主配置文件/etc/neutron/plugins/ml2/ml2_conf.ini中配置：

[ml2]
;支持的Mech驱动列表
mechanism_drivers = ovs,l2pop

更多的配置查看相关Agent的配置文件。

该代理通过配置Linux Bridge来为OpenStack资源实现L2网络。配置文件路径 /etc/neutron/plugins/ml2/linuxbridge_agent.ini

[DEFAULT]
; 是否打开DEBUG级别的日志，默认INFO
debug = False

[agent]
; 每隔多少秒，Agent来轮询本地设备的变化情况
polling_interval = 2
; 封装为外层IP报文时，设置的DSCP值。用于overlay网络。0-63之间的整数
dscp = 
; 如果设置为True，则从内层封包取得DSCP，设置到外层封包上
dscp_inherit = False
; 使用的扩展列表
extensions = 

[linux_bridge]
; 格式：<physical_network>:<physical_interface>,<physical_network>:<physical_interface>...
; 将物理网络名称映射到Agent节点上的物理网络接口名。这样flat和VLAN网络才能利用这些网络
physical_interface_mappings = provider:eth0
; 格式：<physical_network>:<physical_bridge>
bridge_mappings

[securitygroup]
; 此L2代理使用的安全组防火墙驱动
firewall_driver = 
; 是否启用neutron security group API，如果不使用安全组，或者使用nova security group API，则禁用
enable_security_group = True
; 十分启用IPSet提升iptables的性能
enable_ipset = True
; 逗号分隔的，允许的ethertypes。0x开头的16进制形式
permitted_ethertypes = 

[vxlan]
; 此Agent是否支持VxLAN
enable_vxlan = Tre
; VxLAN接口协议包的TTL
ttl =
; VxLAN接口协议包的TOS，已经废弃，使用agent段的dscp选项代替
tos = 
; VxLAN接口的多播组
; 如果指定组地址的范围，必须使用CIDR格式
vxlan_group = 224.0.0.1
; 本地的Overlay(Tunnel)网络端点的IP地址，使用一个IPv4/IPv6的、位于宿主机网络接口上的地址
local_ip = 
; VxLAN包的UDP源地址范围
udp_srcport_min = 
udp_srcport_max = 
; VxLAN的UDP目的地址
udp_dstport = 
; 使用Local ARP responder，它提供本地响应，而非在overlay范围内进行ARP广播
; Local ARP responder和allowed-address-pairs扩展存在兼容性问题
arp_responder = 
; 描述组播地址和VLAN（VNI ID）之间的映射关系
; <multicast address>:<vni_min>:<vni_max> 逗号分隔
multicast_ranges

参考配额和限速 - Neutron QoS

OpenStack支持对以下资源配置DNS：

要更改默认的域名后缀openstacklocal，需要修改neutron-server节点的：

[default]
dns_domain = os.gmem.cc
; router插件需要启用，否则报错Extensions not found: ['auto-allocated-topology', 'dns-integration'].
service_plugins = router

[ml2]
# dns即DNS Integration。是dns_domain_ports的子集
# dns_domain_ports，额外允许设置port的dns_domain属性
extension_drivers = port_security,dns

重启服务：

systemctl restart neutron-server.service

你可以为一个Port配置DNS名：

neutron port-create my-net --dns_name my-port

当Port分配给实例时，实例的主机名+域名后缀，会自动成为Port的FQDN，例如centos8-amd64.os.gmem.cc

OpenStack DNS Service，即Designate，是一个支持多租户的OpenStack的DNSaaS服务。它提供集成了keystone身份验证的REST API，能够基于Nova/Neutron动作自动生成DNS记录。Designate支持多种DNS服务器，包括Bind9和PowerDNS 4

提供REST API接口。

编排Zones和RecordSet的创建、删除和更新。

编排周期性任务。

运行任务，例如Zone的创建/删除/更新，以及来自designate-producer的周期性任务。

一个小的DNS服务器，负责推送DNS Zone信息到面向客户的DNS服务器，也能够拉取Designate基础设施之外的DNS Zone信息。

某些DNS服务要求在本地执行命令，此代理负责对接到这些DNS服务。

为客户提供DNS服务，由designate-worker管理其记录。Bind9、Power DNS 4被支持的很好。

sudo apt install python3-designateclient

安装openstack-designate以及相关依赖：

dnf install openstack-designate-* bind bind-utils -y

CREATE DATABASE IF NOT EXISTS designate CHARACTER SET utf8 COLLATE utf8_general_ci;
GRANT ALL PRIVILEGES ON designate.* TO 'designate'@'localhost' IDENTIFIED BY 'designate';
GRANT ALL PRIVILEGES ON designate.* TO 'designate'@'%' IDENTIFIED BY 'designate'; 

openstack user create --domain default --password designate designate
openstack role add --project service --user designate admin
openstack service create --name designate --description "DNS" dns
openstack endpoint create --region china dns public http://openstack.gmem.cc:9001/

创建一个RNDC key：

rndc-confgen -a -k designate -c /etc/designate/rndc.key -r /dev/urandom
chown named:named /etc/designate/rndc.key
chmod 644 /etc/rndc.key

...
include "/etc/designate/rndc.key";

options {
    ...
    allow-new-zones yes;
    request-ixfr no;
    listen-on port 53 { any; };
    recursion no;
    allow-query { any; };
};

controls {
  inet 127.0.0.1 port 953
    allow { 127.0.0.1; } keys { "designate"; };
};

改完重启服务：

systemctl enable named.service
systemctl start named.service

[DEFAULT]
transport_url = rabbit://openstack:openstack@openstack.gmem.cc

[service:api]
listen = 0.0.0.0:9001
auth_strategy = keystone
enable_api_v2 = True
enable_api_admin = True
enable_host_header = True
enabled_extensions_admin = quotas, reports

[keystone_authtoken]
auth_type = password
username = designate
password = designate
project_name = service
project_domain_name = Default
user_domain_name = Default
www_authenticate_uri = http://openstack.gmem.cc:5000/
auth_url = http://openstack.gmem.cc:5000/
memcached_servers = openstack.gmem.cc:11211

[storage:sqlalchemy]
connection = mysql+pymysql://designate:designate@openstack.gmem.cc/designate

su -s /bin/sh -c "designate-manage database sync" designate

- name: default
  # 池的名字，创建后不可改变。除非删除（连同关联的Zones）并重建
  description: default

  attributes: {}

  # 该池负责管理的Zone的NS记录
  # 记录应当在Designate之外创建, 指向控制节点的公共IP
  ns_records:
    - hostname: ns.openstack.gmem.cc.
      priority: 1

  # 该池使用的DNS服务器列表，也就是Bind服务器的地址
  nameservers:
    - host: 127.0.0.1
      port: 53

  # 该池的目标列表，对于Bind来说，每个BIND服务器对应一个条目
  # designate会在每个Bind服务器上运行rndc命令
  targets:
    - type: bind9
      description: bind9 on openstack-1
      # 列出designate-mdns服务地址，Bind服务器向其发送zone transfers (AXFRs)请求
      # 应当是控制节点的IP
      masters:
        - host: 127.0.0.1
          port: 5354

      options:
        host: 127.0.0.1
        port: 53
        rndc_host: 127.0.0.1
        rndc_port: 953
        rndc_key_file: /etc/designate/rndc.key

执行下面的命令创建池：

su -s /bin/sh -c "designate-manage pool update" designate

systemctl start designate-central designate-api
systemctl enable designate-central designate-api

systemctl start designate-worker designate-producer designate-mdns
systemctl enable designate-worker designate-producer designate-mdns

查看DNS服务列表：

openstack dns service list
+--------------------------------------+-------------+--------------+--------+-------+--------------+
| id                                   | hostname    | service_name | status | stats | capabilities |
+--------------------------------------+-------------+--------------+--------+-------+--------------+
| a071880d-a2d4-468a-a452-da4e7856a63c | openstack-1 | api          | UP     | -     | -            |
| e7b8a2dd-c92e-41fb-bd23-c342c76de154 | openstack-1 | central      | UP     | -     | -            |
| 502c5b1f-1036-4a84-9b3e-14c7255b20eb | openstack-1 | mdns         | UP     | -     | -            |
| a2f0d9ad-366b-4ec2-8b92-d2f0765f2333 | openstack-1 | producer     | UP     | -     | -            |
| d64fa762-3598-4477-b7bc-a4394b326177 | openstack-1 | worker       | UP     | -     | -            |
+--------------------------------------+-------------+--------------+--------+-------+--------------+

创建一个DNS Zone：

openstack zone create --email admin@gmem.cc os.gmem.cc.

确认其状态到达ACTIVE：

openstack zone list
+--------------------------------------+-------------+---------+------------+--------+--------+
| id                                   | name        | type    |     serial | status | action |
+--------------------------------------+-------------+---------+------------+--------+--------+
| 2093169d-15d5-4e9c-8b94-a6569ffac7b8 | os.gmem.cc. | PRIMARY | 1618994404 | ACTIVE | NONE   |
+--------------------------------------+-------------+---------+------------+--------+--------+

创建一个记录集（RecordSet）：

openstack recordset create --record '10.1.1.1' --type A os.gmem.cc. horizon

Neutron支持将域名通过designate暴露给外部。

[default]
# 决定了配置了dns_domain的port默认所在Zone
dns_domain = os.gmem.cc.
external_dns_driver = designate

[designate]
url = http://openstack.gmem.cc:9001/v2
admin_auth_url = http://openstack.gmem.cc:35357/v2.0
admin_username = neutron
admin_password = neutron
admin_tenant_name = service
allow_reverse_dns_lookup = True
ipv4_ptr_zone_prefix_size = 16
ipv6_ptr_zone_prefix_size = 116

extension_drivers=port_security,dns

用例说明：用户创建在一个可被外部访问的网络上创建实例，并且希望从集群外部通过域名来访问实例。

参考步骤：

1. 前提条件：
   1. 不支持使用 --external 创建的网络
   2. 支持FLAT, VLAN, GRE, VXLAN, GENEVE类型的网络
   3. 对于FLAT, VLAN, GRE, VXLAN, GENEVE，其segmentation ID必须位于分配给project networks的范围之外
2. 给网络的dns_domain属性分配一个合法的值：
   

   # neutron net-update 5fdf474c-533a-403d-b7dd-cc7d7e1dfa23 --dns_domain os.gmem.cc.
   openstack network set --dns-domain os.gmem.cc. provider

3. 查看此Zone中的记录：

   openstack recordset list os.gmem.cc.
   +--------------------------------------+-------------+------+---------------------------------------------------------------------+--------+--------+
   | id                                   | name        | type | records                                                             | status | action |
   +--------------------------------------+-------------+------+---------------------------------------------------------------------+--------+--------+
   | 22422e08-0c17-4106-a222-35c3e535d37a | os.gmem.cc. | NS   | ns.openstack.gmem.cc.                                               | ACTIVE | NONE   |
   | e4683c9e-70c0-4d3b-83e1-bb5530059311 | os.gmem.cc. | SOA  | ns.openstack.gmem.cc. admin.gmem.cc. 1618997152 3586 600 86400 3600 | ACTIVE | NONE   |
   +--------------------------------------+-------------+------+---------------------------------------------------------------------+--------+--------+

4.  创建一个端口，配置DNS名：

   openstack port create --dns-name t3m1 --network provider \
       --fixed-ip subnet=provider,ip-address=10.2.0.111 --disable-port-security tcnp3-master-1
   # | dns_assignment          | fqdn='t3m1.os.gmem.cc.', hostname='t3m1', ip_address='10.2.0.111'         |
    

5. 再次查看Zone，应该发现名为t3m1.os.gmem.cc.的新A记录：
   

   openstack recordset list os.gmem.cc.
   # | f81bc3c2-2272-4f21-93d3-2c4fc9e6435d | t3m1.os.gmem.cc. | A    | 10.2.0.111   | ACTIVE | NONE   |

当把端口授予实例后，原先的A记录被替换，前缀改为实例的主机名。

OpenStack Block Storage service，即Cinder为VM提供块设备。块设备如何产生、如何被消费，取决于块设备驱动。如果使用多后端配置，则取决于多个驱动。Cinder具有多种驱动，包括NAS/SAN, NFS, iSCSI, Ceph，等等。

Block Storage API组件和Scheduler服务通常运行在控制节点上。取决于使用的驱动，Volume服务可能运行在控制节点、计算节点，或者独立的存储节点上。

Cinder和Nova交互，从而将卷提供给虚拟机实例。

接受API请求，路由给cinder-volume处理。

直接（或者通过消息队列）和后端存储服务交互、cinder-scheduler这样的组件交互。

cinder-volume会响应针对后端存储服务的读写请求，从而维持状态。它是通过驱动架构与后端交互的。

这是一个守护程序，负责选取一个最优化的、能够提供卷的节点，并由节点创建卷。

这是一个守护程序，负责备份任意类型的卷到某个Backup storage provider。它是通过驱动架构与后端交互的。

在上述进程之间交换信息。

[DEFAULT]
backup_driver = cinder.backup.drivers.nfs.NFSBackupDriver
backup_share = 10.0.0.1:/slow

参考上文的样例环境。

需要注意的是，LVM后端可以映射为远程宿主机的磁盘。当卷从位于LVM后端上的快照上创建时，它必须和快照在一个存储节点上，这种情况下，远程映射可能是必须的，需要注意性能问题。不能假设LVM后端是本地磁盘。

添加到已启用后端列表：

[DEFAULT]
enabled_backends = lvm,nfs

[nfs]
volume_driver = cinder.volume.drivers.nfs.NfsDriver
nfs_shares_config = /etc/cinder/nfs_shares
nfs_mount_point_base = /var/lib/cinder/mnt
volume_backend_name = nfs

配置NFS服务地址，以及使用的NFS导出目录的绝对路径：

10.0.0.1:/cinder

并修改该配置文件的访问权限：

chown root:cinder /etc/cinder/nfsshares
chmod 0640 /etc/cinder/nfsshares

重新启动cinder-volume服务：

systemctl restart openstack-cinder-volume.service

查看cinder服务列表：

cinder service-list

| cinder-volume    | openstack-2@nfs | nova | enabled | up    | 2021-04-15T13:59:30.000000

创建对应的volume type：

cinder type-create nfs
cinder type-key nfs set volume_backend_name=nfs

openstack volume type show nfs
+--------------------+--------------------------------------+
| Field              | Value                                |
+--------------------+--------------------------------------+
| access_project_ids | None                                 |
| description        | None                                 |
| id                 | c31ec381-c1f7-46c3-9119-bf699413f6b1 |
| is_public          | True                                 |
| name               | nfs                                  |
| properties         | volume_backend_name='nfs'            |
| qos_specs_id       | None                                 |
+--------------------+--------------------------------------+

参考集成Ceph。

参考如下配置：

[DEFAULT]
# 增加             后端key:后端类型
enabled_backends = rbd:rbd, file:file

[glance_store]
# 增加
default_backend=file
# 注释掉
# stores = file,http,rbd
# default_store = file
filesystem_store_datadir = /var/lib/glance/images/

# 增加
[rbd]
rbd_store_pool = images
rbd_store_user = glance
rbd_store_ceph_conf = /etc/ceph/ceph.conf
rbd_store_chunk_size = 8

重启服务：

systemctl restart  openstack-glance-api.service

查看后端列表：

glance stores-info

+----------+----------------------------------------------------+
| Property | Value                                              |
+----------+----------------------------------------------------+
| stores   | [{"id": "rbd"}, {"id": "file", "default": "true"}] |
+----------+----------------------------------------------------+

首先创建一个镜像记录：

glance image-create --disk-format raw --container-format bare --visibility public --name bionic-amd64 

然后向此镜像记录上传镜像：

#                                                           指定后端     镜像记录的ID
glance image-upload --file bionic-server-cloudimg-amd64.img --store rbd d828f193-830f-4e1f-ad28-4fc607474368

通过Ceph命令可以看到，存储池中出现一个以镜像ID为名字的RBD镜像：

rbd -p images ls
d828f193-830f-4e1f-ad28-4fc607474368

通过libvirt（底层是配置QEMU使用librbd），你可以将Ceph的RBD镜像挂载（Attach）给Openstack实例。

OpenStack有三部分可以用到Ceph存储：

1. 镜像：Glance管理的虚拟机镜像（不可变的）可以存放在Ceph中。Openstack将其作为blob并下载使用
2. 卷：虚拟机启动使用的卷，或者后续挂载的额外卷
3. 客户机磁盘：虚拟机启动时使用的系统盘，默认情况下，此系统盘表现为Hypervisor的文件系统中的一个文件，通常位于/var/lib/nova/instances/<uuid>/。在Havana版本之前，唯一启动系统盘位于Ceph中的VM方法是，使用boot-from-volume特性。现在，则可以直接启动存储在Ceph中的虚拟机，而不需要使用Cinder。这样，在虚拟机热迁移过程中，可以方便的执行维护操作。另外一个好处是，如果Hypervisor宕机，你可以通过

   nova evacuate

   几乎无缝的重新实例化VM，OpenStack会在系统盘对应的RBD镜像上加独占锁以防多个计算节点并发访问之

Glance 能够将镜像存储为一个 Ceph 块设备。通过 Cinder使用COW克隆镜像来启动虚拟机。Ceph不支持 QCOW2 格式的镜像，必须使用RAW格式的镜像。

ceph osd pool create volumes 32; rbd pool init volumes
ceph osd pool create backups 32; rbd pool init backups
ceph osd pool create images 32;  rbd pool init images
ceph osd pool create vms 32;     rbd pool init vms

for i in volumes backups images vms; do ceph osd pool application enable $i rbd; done

需要在nova-compute, cinder-backup 和 cinder-volume节点上安装Ceph客户端软件：

dnf install -y ceph-common python-rbd

glance-api节点只需要安装 python-rbd。

运行glance-api, cinder-volume, nova-compute, cinder-backup的节点，是Ceph客户端，因此首先把/etc/ceph/ceph.conf复制到这些节点。

然后，创建以下Ceph账户：

ceph auth get-or-create client.glance mon 'profile rbd' osd 'profile rbd pool=images' mgr 'profile rbd pool=images'
ceph auth get-or-create client.cinder mon 'profile rbd' osd 'profile rbd pool=volumes, profile rbd pool=vms, profile rbd-read-only pool=images' mgr 'profile rbd pool=volumes, profile rbd pool=vms'
ceph auth get-or-create client.cinder-backup mon 'profile rbd' osd 'profile rbd pool=backups' mgr 'profile rbd pool=backups'

并且把Keyring分发到相应节点：

# 镜像服务使用client-glance
ceph auth get-or-create client.glance | ssh root@openstack-1 tee /etc/ceph/ceph.client.glance.keyring
ssh root@openstack-1 chown glance:glance /etc/ceph/ceph.client.glance.keyring

# 卷服务、计算节点使用client-cinder
ceph auth get-or-create client.cinder | ssh root@openstack-2 tee /etc/ceph/ceph.client.cinder.keyring
ssh root@openstack-2 chown cinder:cinder /etc/ceph/ceph.client.cinder.keyring
ceph auth get-key client.cinder | ssh root@openstack-2 tee /tmp/client.cinder.key
ceph auth get-or-create client.cinder | ssh root@openstack-3 tee /etc/ceph/ceph.client.cinder.keyring
ssh root@openstack-3 chown cinder:cinder /etc/ceph/ceph.client.cinder.keyring
ceph auth get-key client.cinder | ssh root@openstack-3 tee /tmp/client.cinder.key
ceph auth get-or-create client.cinder | ssh root@openstack-4 tee /etc/ceph/ceph.client.cinder.keyring
ssh root@openstack-4 chown cinder:cinder /etc/ceph/ceph.client.cinder.keyring
ceph auth get-key client.cinder | ssh root@openstack-4 tee /tmp/client.cinder.key

# 备份服务使用client.cinder-backup
ceph auth get-or-create client.cinder-backup | ssh root@openstack-1 tee /etc/ceph/ceph.client.cinder-backup.keyring
ssh root@openstack-1 chown cinder:cinder /etc/ceph/ceph.client.cinder-backup.keyring

准备一个UUID，推荐所有节点使用同一UUID：

uuidgen
b3a20e8b-a27a-4623-8ea1-39eb7e34da4c

在每个节点上执行：

cat > secret.xml <<EOF
<secret ephemeral='no' private='no'>
  <uuid>b3a20e8b-a27a-4623-8ea1-39eb7e34da4c</uuid>
  <usage type='ceph'>
    <name>client.cinder secret</name>
  </usage>
</secret>
EOF

virsh secret-define --file secret.xml

virsh secret-set-value --secret b3a20e8b-a27a-4623-8ea1-39eb7e34da4c --base64 $(cat /tmp/client.cinder.key)
rm -f secret.xml /tmp/client.cinder.key

编辑配置文件：

[glance_store]
stores = file,http,rbd
default_store = file
filesystem_store_datadir = /var/lib/glance/images/
rbd_store_pool = images
rbd_store_user = glance
rbd_store_ceph_conf = /etc/ceph/ceph.conf
rbd_store_chunk_size = 8

注意，glance支持多个存储后端，上面的配置增加了一个rbd后端。

要启用copy-on-write的镜像克隆，增加配置：

[DEFAULT]
show_image_direct_url = True

为了防止glance在/var/lib/glance/image-cache/下缓存镜像，配置：

[paste_deploy]
flavor = keystone

修改备份节点的Cinder配置文件：

backup_driver = cinder.backup.drivers.ceph
backup_ceph_conf = /etc/ceph/ceph.conf
backup_ceph_user = cinder-backup
backup_ceph_chunk_size = 134217728
backup_ceph_pool = backups
backup_ceph_stripe_unit = 0
backup_ceph_stripe_count = 0
restore_discard_excess_bytes = true

配置cinder.conf：

[DEFAULT]
# 增加一个ceph的后端
enabled_backends = lvm,nfs-fast,nfs-slow,ceph
# 要支持多个Cinder后端，需要配置：
glance_api_version = 2

# 后端配置
[ceph]
volume_driver = cinder.volume.drivers.rbd.RBDDriver
volume_backend_name = ceph
rbd_pool = volumes
rbd_ceph_conf = /etc/ceph/ceph.conf
rbd_flatten_volume_from_snapshot = false
rbd_max_clone_depth = 5
rbd_store_chunk_size = 4
rados_connect_timeout = -1
# 如果启用了cephx身份验证
rbd_user = cinder
rbd_secret_uuid = b3a20e8b-a27a-4623-8ea1-39eb7e34da4c

创建卷类型并关联到新建的后端：

cinder type-create ceph
cinder type-key ceph set volume_backend_name=ceph

到这一步，可以创建Ceph卷了，但是还不能挂载给虚拟机。

libvirt进程需要利用client.cinder的keyring来挂载Ceph卷（不管是作为普通块设备还是启动盘）：

[libvirt]
rbd_user = cinder
rbd_secret_uuid = b3a20e8b-a27a-4623-8ea1-39eb7e34da4c

为了支持直接从Ceph卷启动虚拟机，需要为Nova配置ephemeral后端。

建议在ceph.conf中启用RBD缓存（从Giant版本默认开启）。此外，可以开启client admin socket，以收集指标和辅助故障诊断：

[client]
    rbd cache = true
    rbd cache writethrough until flush = true
    admin socket = /var/run/ceph/guests/$cluster-$type.$id.$pid.$cctid.asok
    log file = /var/log/qemu/qemu-guest-$pid.log
    rbd concurrent management ops = 20

mkdir -p /var/run/ceph/guests/ /var/log/qemu/
chown qemu:libvirt /var/run/ceph/guests /var/log/qemu/

使用下面的命令可以将镜像转换为raw格式：

qemu-img convert -f {source-format} -O {output-format} {source-filename} {output-filename}
qemu-img convert -f qcow2 -O raw precise-cloudimg.img precise-cloudimg.raw

从raw格式的、存放在Ceph后端的镜像创建卷：

cinder create --image-id {id of image} --display-name {name of volume} {size of volume}

当Glance和Cinder同时使用Ceph后端时，镜像使用copy-on-write方式克隆，因此新卷的很快。

如果通过OpenStack Dashboard操作，参考步骤：

1. 新建一个实例
2. 选择一个关联到copy-on-write克隆的镜像的卷。也就是存放在Ceph中的，创建自位于Ceph中的镜像的卷
3. 选择从卷启动，并使用上一步的卷

所谓配额，是指限制某个项目（租户）或者类（class）能够使用的各种云资源的量。例如CPU核心个数、固定IP个数、实例个数、密钥对个数、内存量、存储量、备份存储量、备份个数、每个卷最大存储量、网络数、子网数，等等。

默认的admin项目的配额比较小，可以用

openstack quota set

# 显示项目的各种配额
openstack limits show --absolute --project admin

# 显示计算配额
openstack quota list --compute --project admin

每个Flavor都可以被分配额外的属性（Extra Specs），来限制它的CPU、IO、网络的速度。

CPU限速基于cgroups实现。

IO限流由QEMU处理（通过libvirt的blkdeviotune），尽管libvirt提供了基于cgroups的blkiotune特性，但是Nova并没有使用它。

流量塑形（Traffic shaping）也就是出入站带宽限制，基于tc实现。Libvirt以网络接口为级别进行流量塑形，如果它基于cgroups进行塑形，则客户机的所有网络接口被一起限制，因为cgroups运行在进程级别。

可以使用以下Extra Specs键：

配置示例：

# 通过nova-manage命令
nova-manage flavor set_key --name m1.small  --key quota:disk_read_bytes_sec --value 10240000

# 通过nova命令，需要admin凭证
nova flavor-key m1.small  set quota:disk_read_bytes_sec=10240000

# 通过openstack命令，property可以指定多个
openstack flavor set m1.small --property quota:disk_read_bytes_sec=10000

可以使用以下Extra Specs键：

可以使用以下Extra Specs键：

所谓QoS，是指能够确保一定的网络需求的能力，这些网络需求包括带宽、延迟、抖动、可靠性。

交换机、路由器之类的网络设备，能够给流量打标记，并以更高的优先级来处理这些流量，以满足应用提供者和终端用户之间的SLA（Service Level Agreement ）。

在Neutron中，qos是一个高级的插件，它将QoS从OpenStaack网络代码的其他部分解耦出来，它从多个网络级别进行QoS控制，可以通过ml2扩展驱动的方式来使用。目前qos仅仅支持ml2（的SR-IOV, Open vSwitch, linuxbridge驱动）

在控制节点，配置Neutron：

service_plugins = router,metering,qos

[ml2]
extension_drivers = port_security,qos

修改你所使用的网络代理的配置，配置文件位于 /etc/neutron/plugins/ml2/<agent_name>_agent.ini。例如：

[agent]
extensions = qos

在计算/网络节点，修改网络代理配置：

[agent]
extensions = qos

如果希望给浮动IP配置QoS，需要配置L3代理：

[agent]
;                    如果需要支持路由器网关地址的QoS
extensions = fip_qos,gateway_ip_qos

; 使用Open vSwitch时，由于rate limit对于OVS内部端口不工作，作为变通方法，添加配置
ovs_use_veth = True

Differentiated Services（DS，DiffServ）是一种在IP网络中分类、管理网络流量并提供QoS的机制。DS在保障关键流量（例如VoIP、视频流）低延迟的同时，为非关键服务（例如Web流量）提供best-effort服务。

DS在8bit的IP头字段differentiated services（DS）字段（用于替换过时的IPv4 TOS字段）中，写入6bit的DSCP（Differentiated Services Code Point）。RFC 4594对各个DSCP值由规定，例如广播食品CS3的DSCP为24。

当使用VxLAN之类的Overlay网络时，DHCP标记仅仅应用在内层IP头上。在封装期间，DSCP标记不会自动拷贝到外层包头。为了自动在外层包头设置DSCP，需要配置网络代理：

[agent]
dscp = 8
dscp_inherit = true

OpenStack会将QoS规则映射为底层代理的配置。如果使用Linux Bridge作为网络代理：

# 入站
tc qdisc show dev tap2e939f9e-9e
# qdisc tbf 8002: root refcnt 2 rate 512Kbit burst 16Kb lat 50.0ms

# 出站
tc filter show dev tap2e939f9e-9e parent ffff:
# filter protocol all pref 49 basic chain 0
# filter protocol all pref 49 basic chain 0 handle 0x1
#   police 0x1 rate 1024Kbit burst 32Kb mtu 64Kb action drop overhead 0b
#     ref 1 bind 1

# DSCP
iptables -t mangle -nL neutron-linuxbri-qos-o2e939f
Chain neutron-linuxbri-qos-o2e939f (1 references)
target prot opt source destination
DSCP all -- 0.0.0.0/0 0.0.0.0/0 DSCP set 0x10

使用默认的policy.json时，仅仅管理员能够创建QoS策略。 下面是个例子：

# 创建一个规则
openstack network qos policy create bw-limiter
# 设置出站带宽限制
openstack network qos rule create --type bandwidth-limit --max-kbps 3000
  --max-burst-kbits 2400 --egress bw-limiter


# 创建一个DSCP标记规则
openstack network qos policy create dscp-marking
# 设置DSCP值
openstack network qos rule create --type dscp-marking --dscp-mark 26 \
    dscp-marking

注意：对于OVS和Linux Bridge来说，QoS实现需要burst值才能确保正确的带宽限制行为。设置合理的burst值非常重要，如果仅设置bandwidth-limit，即使它的值是合理的，带宽也会被throttled。对于TCP流量来说，推荐burst为bandwidth-limit的80%，如果burst设置的过低，则实际获得的带宽可能小于预期。

为某个网络端口配置/解除QoS策略：

# 设置
openstack port set --qos-policy bw-limiter 88101e57-76fa-4d12-b0e0-4fc7634b874a
# 解除
openstack port unset --qos-policy 88101e57-76fa-4d12-b0e0-4fc7634b874a

# 创建端口时可以直接指定QoS策略
openstack port create --qos-policy bw-limiter --network private port1

你也可以将浮动IP、网络关联到QoS策略：

# 关联浮动IP到QoS策略
openstack floating ip create --qos-policy bw-limiter public
openstack floating ip set --qos-policy bw-limiter d0ed7491-3eb7-4c4f-a0f0-df04f10a067c
# 解除关联
openstack floating ip set --no-qos-policy d0ed7491-3eb7-4c4f-a0f0-df04f10a067c
openstack floating ip unset --qos-policy d0ed7491-3eb7-4c4f-a0f0-df04f10a067c
# 关联整个网络到QoS策略
openstack network set --qos-policy bw-limiter private

关联到浮动IP的QoS策略，将在浮动IP挂载到某个端口的时候生效。

每个项目可以配置一个默认QoS策略：

openstack network qos policy create --default bw-limiter

你可以在运行时动态修改QoS策略的规则，这些修改会传播到每个Attach到策略的端口：

# 修改规则
openstack network qos rule set --max-kbps 2000 --max-burst-kbits 1600 \
  --ingress bw-limiter 92ceb52f-170f-49d0-9528-976e2fee2d6f

要调整Nova日志级别，修改配置：

log_config_append=/etc/nova/logging.conf

在/etc/nova/logging.conf中配置日志级别： 

[logger_nova]
level = INFO
handlers = stderr
qualname = nova

此功能使用户能够将单个块存储卷挂载到多个服务器，以及从多个服务器访问单个块存储卷。此功能的用例包括 active-active 和 hot-standby 场景——有多台服务器需要访问卷上的数据，以在出现故障时快速恢复或能够处理系统中增加的负载。在 Queens 发行版中，有三个驱动程序支持 multi-attach ：LVM、NetApp / SolidFire 和 Oracle ZFSSA

在 Nova 中，对 vGPU 的支持让云管理员能够定义 flavor 以请求 vGPU 的特定资源和分辨率。最终用户可以启动具有 vGPU 的虚拟机，这对于图像密集型工作负载以及人工智能和机器学习工作负载来说是一项重要的功能

Cyborg是用于管理硬件和软件加速资源（如 GPU，FPGA，CryptoCards 和 DPDK/SPDK）的架构，对NFV工作负载的电信公司而言，加速是一项必备的功能。通过Cyborg，运维人员可以列出、识别和发现加速器，将加速器连接到实例并将其分离、安装和卸载驱动器。它可以单独使用，或与 Nova 或 Ironic 结合使用

之前在 Nova 中可以实现虚拟机实例修复，现在 Ironic 中可以实现裸机实例修复。运维人员可以对错误配置的裸机节点进行故障排除，或从诸如丢失的SSH密钥等问题中恢复

OpenStack是在私有云中部署容器的首选平台，Queens版本扩展了微服务功能。Kuryr 增加了一个 CNI 守护进程来增加 Kubernetes 操作的可扩展性。为了支持高可用（HA），CNI 守护进程能够监控 Pod 事件，不需要为每个事件等待 Kubernetes API。即便控制器宕机了，也可以创建 Pod。

Zun 是一个新 的OpenStack 项目，它允许用户无需管理服务器或集群即可快速启动和运行容器。它通过与 Neutron，Cinder，Keystone 和其他核心 OpenStack 服务集成，无缝地将先进的企业网络、存储和身份验证功能添加到容器中

提供了一系列 Helm 图表和工具，用于在 Kubernetes之 上管理 OpenStack的生命周期，并将 OpenStack 作为独立服务运行

OCI 生成兼容 Open Container Initiative 的 OpenStack 服务镜像，可以放入像 OpenStack-Helm 这样的重量级部署工具，或者单独使用来交付像 Cinder 块存储这样的独立服务。 LOCI 提供了现有 OpenStack Kolla 项目的一种替代方案（为每个容器镜像提供一个更完整的打包方法）。LOCI 采取的方法更符合 Kubernetes 运行镜像的方式，其中容器本身非常小，管理位于容器外部

提供运行容器所需的裸机和网络功能：

1. OpenStack Magnum，经过认证的Kubernetes安装程序，显著提升了Kubernetes集群的启动时间—无论节点数量多少，每个节点从10-12分钟降至5分钟
2. 通过OpenStack云供应商，您现在可以在Manila、Cinder和Keystone服务的支持下启动完全集成的Kubernetes集群，从而充分利用其底层的OpenStack云平台
3. Neutron，OpenStack网络服务，针对在组中创建端口的容器用例，更快速的创建批量端口
4. Ironic，裸机配置服务，持续改进部署模板，以便于独立用户请求分配裸机节点并提交配置数据，而不需要预先配置驱动器

1. Neutron，网段范围管理，云管理员可通过新的扩展API动态管理网段范围，而不是采用之前编辑配置文件的方法。StarlingX和边缘用例将得益于此，更易于管理

2. 对于网络密集型应用程序，拥有最小可用网络带宽至关重要。在Rocky周期中开始工作，提供基于最小带宽需求的调度，该功能已在Stein中交付。作为强化功能的一部分，Neutron将带宽视为一种资源，并与OpenStack Nova计算服务协作，将实例调度到满足其带宽需求的主机上

3. 对API的改进增加了OpenStack体系结构和部署的灵活性，增加了对服务质量（QoS）策略规则aliases的支持，使调用者能够更高效地执行删除、显示和更新QoS规则等请求

1. Blazar，资源预留服务，引进了新的资源分配API，运营商可查询其云计算资源的保留状态

2. Placement是引入Stein版本的一个新项目，是从Nova项目中分离出来的。可定位候选资源供应商，简化了为工作负载迁移指定主机的任务。对于常见的调度操作，API性能提升了50%。Train版本中将删除Nova中的Placement服务，其后安装Nova需要使用单独的Placement服务

1. 支持软件RAID：具有Ironic 裸机服务可保护服务免受磁盘故障的影响。欧洲核研究组织欧洲核子研究组织（CERN）领导了此功能的上游开发，并且已经将该功能在超过1000个节点上投入生产
2. 基于硬件的加密：Nova 是OpenStack的计算功能， 其新框架支持对guest存储器进行基于硬件的加密，以保护用户免遭攻击者或流氓管理员在使用libvirt计算驱动程序时窥探其工作负载。此功能对于多租户环境和具有可公开访问的硬件的环境很有用
3. 数据保护流程：Karbor 为检查，还原，计划和触发操作添加了事件通知。此功能允许用户使用位于根磁盘上的新添加的数据备份映像引导服务器

要求CentOS 8

完成了Nova Cyborg Interaction功能，使两者在某些方面进行紧密的联系，用于启动和管理具有GPU等加速器的实例

1. Nova API策略引入了具有scope_type功能的新默认角色

2. Ironic及其远程代理之间的交互身份验证得到了补充

3. Kolla 添加了对后端API服务的TLS加密的初始支持

1. Glance 优化了对Multiple Strores的操作，单次操作，后台同步

2. Keystone对创建应用程序凭据和信任关系的用户体验进行了极大改善

1. 为volume-type设置最大和最小的Size

2. 使用时间比较运算符过滤卷列表的能力

3. 将卷上载到Image Service时，支持Glance multistore和镜像数据托管

4. 添加了一些新的后端驱动程序，并且许多当前的驱动程序都增加了对更多功能的支持

1. 随着Nova-Cyborg集成的完成，用户现在可以使用由Cyborg管理的加速器启动实例

2. 实现了新的API，用以列出由Cyborg管理的设备，可以查看和管理加速器的列表

3. Cyborg通过在v2 API中采用microversions的模式，旨在将来版本中提供向后兼容的办法

4. Cyborg客户端现在基于OpenStack SDK，并支持大多数Version 2 API

5. 通过增加更多的单元/功能测试并减少技术负担来提高总体质量

1. 增强了Multiple Stores功能，用户现在可以向多个Stores导入单个镜像，在多个Stores中复制现有的imgae，并从单个Store中删除镜像

2. 新导入了插件以解压镜像

3. 再次为glance-store引入了S3 driver

1. 支持范围内省的规则，该规则允许每个节点子集具有（并保留）规则，例如不同的硬件交付

2. 支持硬件退役工作流程，以实现托管云中硬件退役的自动化

3. 非管理员使用Ironic可以使用多租户概念和其他策略选项

4. Ironic及其远程代理之间的交互身份验证得到了补充，从而可以在不受信任的网络上进行部署

5. UEFI和设备选择现在可用于软件RAID

1. 使用联合身份验证方法时，用于创建应用程序凭据和信任关系的用户体验已得到极大改善。角色分配来自映射的组成员身份的联盟用户将在令牌过期后将这些组成员身份保留为可配置的TTL，在此期间其应用程序凭证将保持有效

2. 现在，可以通过在Keystone中直接创建联盟用户并将其链接到其身份提供者，而无需依赖于映射API，就可以为联盟用户指定具体的角色分配

3. 当引导新的Keystone部署时，管理员角色现在默认设置为“ immutable”选项，这可以防止意外删除或修改它，除非有意删除了“ immutable”选项

4. Keystonemiddleware不再支持Identity v2.0 API，该身份在先前的发行周期中已从keystone中删除

5. 恢复资源驱动程序的可配置性，因此，如果内置sql驱动程序不满足业务要求，现在可以创建自定义资源驱动程序

1. 所有镜像，脚本和Ansible剧本都使用Python 3，并且对Python 2的支持也已删除

2. 添加了对CentOS 8主机和镜像的支持

3. 添加了对后端API服务的TLS加密的初始支持，从而提供了API流量的端到端加密。目前支持Keystone

4. 增加了对开放虚拟网络（OVN）部署以及与Neutron集成的支持

5. 增加了对部署Zun CNI（容器网络接口）组件的支持，从而使带有容器的Docker可以支持Zun capsules(pods)

6. 添加了对Elasticsearch Curator的支持，以帮助管理集群日志数据

7. 添加了将Mellanox网络设备与Neutron一起使用所必需的组件

8. 简化了外部Ceph集成的配置，可以轻松地从Ceph-Ansible部署的Ceph集群过渡到在OpenStack中启用它

1. 支持IPv6

2. DPDK支持嵌套设置以及其他各种与DPDK和SR-IOV相关功能的改进

3. 与NetworkPolicy支持相关的多个修复程序

1. 共享组已从试验性功能逐渐发展成熟。从API版本2.55开始，不再需要X-OpenStack-Manila-API-Experimental标头来创建/更新/删除共享组类型，组规范，组配额和共享组本身

2. 兼容时，可以从跨存储池的快照创建共享。这项新功能可以通过分散先前局限于托管快照的后端的工作负载来更好地利用后端资源

3. 引入了新的配额控制机制，以限制项目及其用户可创建的共享副本的数量和大小

4. 现在可以按时间间隔查询异步用户消息

1. OVN驱动程序现在已合并到Neutron存储库中，并且是核心 Neutron ML2 drivers之一，例如linuxbridge或openvswitch。与openvswitch驱动程序相比，OVN驱动程序的优点包括具有分布式SNAT流量的DVR，分布式DHCP以及无需网络节点即可运行的可能性。当然其他ML2驱动程序仍然受到完全支持。当前默认代理还是openvswitch，但计划是使用OVN驱动程序成为将来的默认选择

2. 添加了对无状态安全组的支持。用户现在可以将安全组集创建为无状态，这意味着conntrack将不会用于该组中的任何规则。一个端口只能使用无状态或有状态安全组。在某些用例中，无状态安全组将允许操作员选择优化的数据路径性能，而有状态安全组会在系统上施加额外的处理

3. 已添加用于地址范围和子网池的基于角色的访问控制（RBAC）。地址范围和子通常由运营商定义并向用户公开。此更改使操作员可以在地址范围和子网池上使用更精细的访问控制

4. Neutron API中添加了对创建过程中标记资源的支持。用户现在可以设置资源标签，例如直接在POST请求中移植端口。这将大大提高kubernetes网络操作的性能。API调用的数量，例如Kuryr已发送给Neutron的邮件大大减少

1. Nova不再支持Python 2，Python 3.6和3.7则受支持

2. 支持在Nova cells间进行冷迁移和重新调整虚拟机大小

3. 支持precaching glance image到计算节点

4. 支持在创建虚拟机时通过Cyborg来附加加速设备

5. 进一步支持QOS最小的带宽功能(拓展了以下操作evacuate、live migrate、unshelve)

6. 支持nova-manage placement auditCLI，以查找和清理孤立的资源分配

7. Nova API策略引入了具有scope_type功能的新默认角色。这些新更改提高了安全级别和可管理性。在处理具有“读取”和“写入”角色的系统和项目级别令牌的访问权限方面，新策略更加丰富

8. 从卷启动的虚拟机能够使用Rescue操作，允许将稳定的磁盘设备连接到救援实例

9. 计算节点支持多种虚拟GPU类型

10. 移除os-consoles和os-networksREST APIs

11. 移除nova-dhcpbridge、nova-console、nova-xvpvncproxy服务

Octavia提供负载均衡服务

1. Octavia现在支持在特定可用性区域中部署负载平衡器。这允许将负载平衡功能部署到边缘环境

2. Octavia amphora驱动程序已添加了一项技术预览功能，可以改善控制平面的弹性。如果控制平面主机在负载均衡器配置操作期间发生故障，备用控制器可以恢复进行中的配置并完成请求

3. 用户现在可以指定侦听器和池可接受的TLS密码。这允许负载平衡器强制执行安全合规性要求

Placement 放置服务，通过使分配重试计数可配置，提高了常见的并发分配写入次数（例如繁忙的群集管理程序）情况下的鲁棒性

1. 为Swift容器和对象添加了新的系统命名空间

2. 使用新的名称空间添加了新的Swift对象版本API

3. 添加了对使用新API的S3版本控制的支持

4. 添加了使用SIGUSR1执行“无缝”重载的功能，其中WSGI服务器套接字从不停止接受连接

1. 改进了对配置的默认卷类型的处理，并使用microversion 3.62添加了新的块存储API调用，可以为单个项目设置项目级别的默认卷类型
2. 添加了一些新的后端驱动程序，同时当前的大部分驱动程序都添加了对更多功能的支持。例如，NFS驱动程序现在支持卷加密
3. 使用流行的Zstandard压缩算法，增加了对cinder备份的支持

1. 自Ussuri发行以来，用户可以使用由Cyborg管理的加速器启动实例，该发行版还支持两项操作Rebuild and Evacuate
2. Cyborg支持新的加速器驱动程序（Intel QAT和Inspur FPGA），并达成协议，希望实施新驱动程序的供应商至少应提供完整的驱动程序报告结果
3. 支持Program API，现在，用户可以在给定预加载的bitstream的情况下对FPGA进行编程
4. 在此版本中，部分实施了针对cyborg的策略刷新（带有作用域的RBAC）（设备配置文件API），我们在基本策略和device_profile策略中实现了新的默认规则，并为所有策略添加了基本测试框架。对于向后兼容性，将旧规则保留为不推荐使用的规则，并使用与当前相同的默认值，以便现有部署将保持原样运行。实施所有功能后，我们将为用户提供两个周期的过渡期

1. 增强了多个商店功能，管理员现在可以设置策略以允许用户复制其他租户拥有的镜像
2. 概览允许配置多cinder存储
3. 一目了然的RBD和Filesystem驱动程序现在支持稀疏镜像上传
4. 增强了RBD驱动程序块上传镜像

1. 部署步骤工作将基本部署操作分解为多个步骤，现在还可以包括部署时支持的RAID和BIOS接口的步骤
2. 一个agent电源接口支持在没有基板管理控制器的情况下进行资源调配操作
3. 现在可以将Ironic配置为进行HTTP Basic身份验证，而无需其他服务
4. 添加了对Redfish虚拟介质的基于DHCP的部署的初始支持

1. 添加了对Ubuntu Focal 20.04的支持
2. 添加了对后端API服务的TLS加密的附加支持，从而提供了API流量的端到端加密
3. 增加了对核心OpenStack服务的容器健康检查的支持
4. 添加了对etcd的TLS加密的支持
5. 改善了Ansible Playbook的性能和可伸缩性
6. 增加了对将Neutron与Mellanox InfiniBand集成的支持
7. 为Kayobe添加了对在neutron上部署自定义容器的支持

1. Kuryr将不再使用注释在k8s api中存储关于OpenStack对象的数据。而是创建了一个相应的CRD，即KuryrPort、KuryrLoadBalancer和KuryrNetworkPolicy
2. 增加了在嵌套设置中自动检测虚拟机桥接接口的支持

1. 租户驱动的共享复制，数据保护，灾难恢复和高可用性的自助服务现已普遍可用并得到完全支持
2. 共享服务器迁移现在作为一个实验性功能提供。共享服务器通过隔离网络路径中的共享文件系统来提供多租户保证。在这个版本中，云管理员能够将共享服务器移动到不同的后端或共享网络

1. 现在可以通过IPv6使用元数据服务。用户现在可以在仅IPv6的网络中使用不带配置驱动器的元数据服务。
2. flat已为分布式虚拟路由器（DVR）添加了对网络的支持。
3. OVN后端增加了对浮动IP端口转发的支持。现在，在Neutron中使用OVN后端时，用户可以为浮动IP创建端口转发。
4. 在OVN中增加了对路由器可用区域的支持。OVN驱动程序现在可以从路由器的Availability_zone_hints字段中读取，并使用给定的可用区域相应地调度路由器端口

1. Nova支持在同一nova服务器中混合使用绑定和浮动CPU
2. Nova支持通过提供程序配置文件来自定义计算节点的放置资源清单
3. 即使使用Glance多存储 配置，Nova也支持 从Ceph RBD群集快速克隆Glance镜像 
4. Nova支持使用虚拟TPM设备创建服务器

1. 用户现在可以指定侦听器和池接受的TLS版本。用户现在还可以设置其部署可接受的最低TLS版本
2. Octavia现在使用新的侦听器应用程序层协议协商（ALPN）配置选项来支持TLS上的HTTP/2
3. 现在可以将负载均衡器统计信息同时报告给多个统计信息驱动程序，并支持增量指标。这样可以更轻松地集成到外部度量系统中，例如时间序列数据库
4. 用于amphora驱动程序的Octavia flavors现在支持将glance image标记指定为flavor的一部分。这允许用户定义Octavia flavor来引导备用的amphora镜像
5. 负载平衡器池现在支持PROXY协议的版本2。使用TCP协议时，这允许将客户端信息传递到成员服务器。PROXYV2提高了使用PROXY协议与成员服务器建立新连接的性能，尤其是在侦听器使用IPv6的情况下

1. 改进了读取纠错码数据时的第一字节延迟
2. 当使用单独的复制网络运行时，后台守护程序和代理服务器之间的隔离度增加
3. 我们开始看到生产集群从python2下运行Swift过渡到python3 

Neutron元数据代理日志（/var/log/neutron/metadata-agent.log）报错：The remote metadata server responded with Forbidden. This response usually occurs when shared secrets do not match.

可能原因：元数据代理配置文件metadata_agent.ini中的metadata_proxy_shared_secret和nova.conf中配置的不一样。

报错示例：compressor.exceptions.OfflineGenerationError: You have offline compression enabled but key "xxx" is missing from offline manifest. You may need to run "python manage.py compress". Here is the original content

解决办法：

COMPRESS_OFFLINE = False

然后重启httpd

禁用IPv6可以消除此错误：

net.ipv6.conf.all.disable_ipv6 = 1

linux-bridge从设计上禁用了IPv6，如果物理网卡上配置了IPv6地址，则neutron/root没有权限将IPv6地址从物理网卡移动到linux-bridge上。

尽管如此，linux-bridge仍然会将IPv6的L2帧转发，你仍然可以在客户机上使用IPv6。

使用provider网络时，底层网络中存在DHCP服务器时出现此情况。实例向底层网络中的DHCP请求了IP地址，而非DHCP Agent。

建议：使用底层网络，但是分配独立的网段。

需要修改镜像虚拟尺寸，首先检查一下镜像信息：

# 进入镜像存储目录
/var/lib/glance/images/


# 得到镜像ID
openstack image list
# | 379caead-7878-4d82-847d-502feea5b8ed | centos8-amd64-prepared | active |


# 查看镜像信息
qemu-img info 379caead-7878-4d82-847d-502feea5b8ed
# image: 379caead-7878-4d82-847d-502feea5b8ed
# file format: qcow2
# virtual size: 128 GiB (137438953472 bytes)  虚拟尺寸
# disk size: 1.42 GiB
# cluster_size: 65536
# Format specific information:
#     compat: 1.1
#     compression type: zlib
#     lazy refcounts: false
#     refcount bits: 16
#     corrupt: false

# 挂载到虚拟文件系统
export LIBGUESTFS_BACKEND=direct
virt-filesystems --long -h --all -a 379caead-7878-4d82-847d-502feea5b8ed
# Name       Type        VFS  Label  MBR  Size  Parent
# /dev/sda1  filesystem  xfs  -      -    128G  -
# /dev/sda1  partition   -    -      83   128G  /dev/sda
# /dev/sda   device      -    -      -    128G  
# 检查实际用量
virt-df  379caead-7878-4d82-847d-502feea5b8ed 
# Filesystem                           1K-blocks       Used  Available  Use%
# 379caead-7878-4d82-847d-502feea5b8ed:/dev/sda1
#                                      134206444    1678740  132527704    2%

可以看到这是一个128G的XFS分区，由于XFS分区不支持Shrink，我们可以考虑将其备份，然后还原到一个较小的卷上。

# 从上述镜像创建一个卷，附到/dev/vdb
openstack volume create --size 130 --image centos8-amd64-prepared centos8-amd64 
# 创建一个新的2GB的目标卷，附到/dev/vdc

# 挂载
mount -t xfs /dev/vdb1 /tmp/vdb1                                                                                                                                                      
# mount: /tmp/vdb1: wrong fs type, bad option, bad superblock on /dev/vdb1, 
# missing codepage or helper program, or other error.
# 上述报错的原因是 vda vdb的UUID重复
uuidgen
xfs_admin -U 9e58a8e1-6962-4342-af59-ba10c53626cc /dev/vdb1
mount -t xfs /dev/vdb1 /tmp/vdb1     

# 导出
xfsdump -l 0 -f vdb /dev/vdb1 

# 导入
mkfs.xfs /dev/vdc1
mount /dev/vdc1 /tmp/vdc1
xfsrestore -f vdb /tmp/vdc1

把这个2G的卷保存为镜像即可。

镜像被外部程序修改，建议重新上传镜像。

上传卷为镜像时报此错误：Invalid volume: Volume 8d2747cf-b50e-4d36-a90a-33dd7b56cad4 status must be available

解决方案，配置Cinder：

enable_force_upload = true

重启控制节点服务：

systemctl restart openstack-cinder-volume
systemctl restart openstack-cinder-api
systemctl restart openstack-cinder-scheduler

从镜像创建卷失败，报如上错误。移除镜像的signature_verified属性即可解决：

openstack image unset --property signature_verified centos8-amd64-prepared 

openstack volume service list

openstack volume service list 
# +------------------+---------------+------+---------+-------+----------------------------+
# | Binary           | Host          | Zone | Status  | State | Updated At                 |
# +------------------+---------------+------+---------+-------+----------------------------+
# | cinder-volume    | centos-11@lvm | nova | enabled | down  | 2021-01-14T10:44:12.000000 |
# | cinder-volume    | centos-13@lvm | nova | enabled | down  | 2021-01-14T10:44:26.000000 |
# | cinder-volume    | centos-12@lvm | nova | enabled | down  | 2021-01-14T10:44:23.000000 |
# | cinder-scheduler | centos-10     | nova | enabled | up    | 2021-01-16T10:14:23.000000 |
# +------------------+---------------+------+---------+-------+----------------------------+

查看对应节点的/var/log/cinder/volume.log，出现上述报错。

原因：LVM卷组cinder-volumes没有初始化。 

首先重置状态：

cinder snapshot-reset-state --state error  7f5154ca-9413-4071-b99f-ec60626a9efe

然后登陆数据库删除记录：

use cinder;

update snapshots set deleted=1,status='deleted',deleted_at=now(),updated_at=now() where deleted=0 and id='7f5154ca-9413-4071-b99f-ec60626a9efe';

报错内容：libvirt.libvirtError: internal error: Child process (tc filter add dev tapaf7dae14-ef parent ffff: protocol all u32 match u32 0 0 police rate 10485760kbps burst 10485760kb mtu 64kb drop flowid :1) unexpected exit status 1: Illegal "rate"

可能原因：限速的值太大了。

export OS_USERNAME=admin
export OS_PASSWORD=111111
export OS_TENANT_NAME=admin
export OS_AUTH_URL=http://192.168.101.250:35357/v3
export OS_USER_DOMAIN_NAME=Default                                                                                                                                                  
export OS_PROJECT_DOMAIN_NAME=Default

如果遇到报错：

Ignoring domain related config project_domain_name because identity API version is 2.0

Expecting to find domain in project. The server could not comply with the request since it is either malformed or otherwise incorrect. The client is assumed to be in error. (HTTP 400) (Request-ID: req-047e4968-2c06-4501-8635-0dd27093d5d8)

需要增加环境变量：

export OS_IDENTITY_API_VERSION=3

The post OpenStack学习笔记 appeared first on 绿色记忆.

MPEG是动态图像专家组（Moving Picture Experts Group）的简称，它可以指：

1. 一个成立于1988年的，研究视频和音频编码标准的组织
2. 一系列音视频编码标准，包括MPEG-1、MPEG-2、MPEG-3、MPEG-4、MPEG-7以及正在制定中的MPEG-21

MPEG发布的第一个视频和音频有损压缩标准，它采用了块方式的运动补偿、离散余弦变换（DCT）、量化等技术，并为1.2Mbps传输速率进行了优化。其主要是为光盘类介质制定，随后被作为VCD（352×240，1.15mbps比特率）的核心技术。

MPEG-1标准由五个部分组成，其中第二部分、第三部分规定了视频、音频编码标准。

MPEG-1音频编码标准分为三代，逐代提升了压缩比。其中最著名的第三代协议被称为MPEG-1 Layer 3，简称MP3。

一个MPEG-1视频序列，包含多个图像群组（Group Of Pictures，GOP），每个GOP包含多个帧，每个帧包含多个slice。GOP由两个I帧之间的帧构成。

帧是MPEG-1的一个重要基本元素，一个帧就是一个完整的显示图像。帧的种类有四种：

1. I帧（Intra Frame）即帧内帧，也叫关键帧。这类帧能够被独立的解码，可以看做是基线Profile的JPEG图像
2. P帧（Predicted Frame）即预测帧，也叫向前预测帧（ Forward-predicted Frames）。P帧利用视频中的时域冗余（ Temporal Redundancy）来提高压缩比。P帧仅仅存储相对于它前面的那一帧的图像的差异（基于运动补偿和运动估计算法）部分
3. B帧（Bidirectional Frame）即双向预测帧，也叫向后预测帧（Backwards-predicted Frames）。B帧类似于P帧，但是它同时可以基于前一帧、后一帧进行预测。由于B帧可能依赖于“未来”的帧来解码，它会引入额外的编解码延迟
4. D帧（Direct Frame）即指示帧。仅仅由DC转换系数编码而成，因此其质量较低。D帧不会被I/P/B帧引用，仅仅在快速预览时有用。D帧实际应用的很少，后续标准也没有包含它

通常用来为广播信号提供视频和音频编码，包括卫星电视、有线电视等。MPEG-2经过少量修改后，成为DVD产品的核心技术。

MPEG-2的视频部分，提供了对隔行扫描（广泛应用在广播电视领域，在CRT类显示器上，比相同帧率的逐行扫描更加不会引起视觉闪烁）视频显示模式的支持。

高级音频编码（Advanced Audio Coding，AAC）在MPEG-4发布前，作为MPEG-2的附加内容发布。

MPEG-2定义了两种复合信息流：传送流（TS）和节目流（PS：Program Stream）。TS流与PS流的区别在于TS流的包结构是固定长度的，而PS流的包结构是可变长度的。 PS包与TS包在结构上的这种差异，导致了它们对传输误码具有不同的抵抗能力，因而应用的环境也有所不同。TS码流由于采用了固定长度的包结构，当传输误码破坏了某一个TS包的同步信息时，接收机可在固定的位置检测它后面包中的同步信息，从而恢复同步，避免了信息丢失。而PS包由于长度是变化的，一旦某一PS包的同步信息丢失，接收机无法确定下一包的同步位置，就会造成失步，导致严重的信息丢失。因此，在信道环境较为恶劣，传输误码较高时，一般采用TS码流；而在信道环境较好，传输误码较低时，一般采用PS码流。由于TS码流具有较强的抵抗传输误码的能力，因此目前在传输媒体中进行传输的MPEG-2码流基本上都采用了TS码流。

本来的目标是为HDTV提供20-40Mbps视频压缩技术。在标准制定的过程中，委员会很快发现MPEG-2技术足以获取类似的效果，因此将其合并到MPEG-2，成为MPEG-2的延伸。

主要用途在于网上流、光盘、语音发送，以及电视广播。 MPEG-4吸收了MPEG-1、MPEG-2以及其它相关标准的很多特性。

MPEG-4仍然在进化之中，其关键组成部分是：

1. 第二部分：定义了一个编码器标准，DivX、Xvid都是该标准的实现
2. 第十部分：即MPEG-4 AVC（高级视频编码， Advanced Video Coding），也称H.264。开源编码器x264、Quick Time7以及蓝光都遵循此标准

目前H.264已经成为高精度视频录制、压缩和发布的最常用格式之一。它不是单个标准，而是由多个配置（Profile）构成的标准家族。每个编码器至少需要支持一种H.264配置。

H.264能够在低带宽情况下提供优质视频，同等视频质量下，它仅仅需要MPEG-2/H.263/MPEG-4 Part2的一半甚至更少的带宽。

视频编码是压缩、解压缩数字视频信号的处理过程。数字视频是真实世界中视觉影像的基于空间、时间的采样。

通常情况下，在某一特定时刻对整个场景采样，形成帧（Frame），或者，对场景进行隔行采样，所谓场（Field）。采样总是按照一定的时间间隔进行，例如每1/25秒一次采样，这样连续的采样就形成了动态的视频信号，每秒钟采样的次数叫做帧率（Frame Rate）。为了表示彩色的场景，通常需要三个分量（Component）或者一系列的采样。

程序需要度量场景还原的精度，这样才能评估自身的性能。评估逻辑比较困难，原因是场景的质量很大程度上要考虑人的视觉心理特征，不同的人的视觉心理特征是不同的。

真实世界中的视觉场景，通常由多个物体构成。这些物体有各自的形状、深度（景深）、纹理、照度。自然视觉场景的颜色、亮度呈现出平滑变化的特征。

对自然视觉场景进行数字化处理时，程序需要关注两个维度：

1. 空间特征：单个场景内部纹理的变化特征、物体的数量和形状、颜色
2. 时间特征：物体移动、明度变化、镜头/视点的切换

自然视觉场景在空间、时间上都是连续的。要以数字化的方式呈现这种场景，需要：

1. 空间采样：通常在场景的图像平面上设立矩形网格（Grid），采集离散的点（分辨率，帧大小），这些点分布在Grid的交叉处
2. 时间采样：按照一定的间隔对帧或者帧的分量进行采样（帧率）。对于低质量的视频通信来说了，采样率通常在10-20FPS之间，这种级别的FPS下急速移动的物体不容易平滑显示；25-30FPS是典型的电视电影采样率；高达50-60FPS的时间采样下移动物体会非常平滑，代价是过高的数据率（Data Rate）

时空采样的示意图如下：

每个时空采样点 —— 叫做图像元素（Picture Element）或者像素（Pixel）——采用1-N个数字来表示。这些数字包含了亮度（Brightness）/照度（Luminance）、颜色信息。注意，从视频采集设备（如CCD）直接获得的采样阵列是模拟视频电信号。经过处理后才能变成像素表示的数字信号。

这两个概念是对同一事物的不同表述。

照度是一个客观性的概念，即以特定角度射向指定区域的光照强度。单位是坎德拉（Candela）/平方厘米（cd/cm2）。通过调整，不同显示器可以达到相同的光照强度。

亮度则是一个主观性的和光照相关的概念。显示器可以调整亮度，但是不好度量，只能自己感觉。

视频信号采样可以由：

1. 一系列连续的完整的帧构成，所谓逐行采样（Progressive Sampling） 
2. 一系列交错的场构成，所谓隔行采样（Interlaced Sampling）

隔行采样时，通常在每个时间采样间隔中，两个场（分别由奇数行、偶数行构成）都进行采样。奇数行构成的场叫做Top Field，偶数行构成的场叫做Bottom Field。

隔行采样的优势是，提供两倍的帧率。根据人类的视觉停留的特点，可以避免产生画面抖动。

相关文章：图像处理知识集锦

大部分数字视频程序依赖于显示彩色图像，因此，需要一种机制来捕获、呈现颜色信息。单色图像仅仅需要一个数字来表示像素点的亮度/明度。彩色图像则需要至少三个数字来表示一个像素。

所谓色彩空间，就是用来描述亮度/照度（Brightness, Luminance or Luma）、颜色信息的方法。

这种色彩空间中，一个采样点利用三个数字表示，分别代表红色、绿色、蓝色的相对比例。由于RGB是三原色，因而它们的组合可以形成任何颜色。RGB的各分量取值越大，则亮度越高。

RGB色彩空间中，颜色信息、亮度信息是融合在一起的。然而，人类视觉系统（HVS）的特点是，对于亮度比颜色更加敏感。为了节省空间，可以把亮度信息分离出来，然后以较低的分辨率存储颜色信息，较高的分辨率存储亮度信息。

YCrCb（也叫YUV）就是一种分离亮度的色彩空间。其中Y是明度分量，Y根据根据RGB的权重计算出来：

Y = kr R + kgG + kbB        k*是颜色分量的权重因子

颜色信息则可以利用色差（Chrominance/Chroma）分量表示，每个色差分量即RGB与Y的差值：

Cr = R − Y
Cb = B − Y
Cg = G − Y

由于Cr+Cb+Cg求和是常量，因此，实际上仅仅需要记录两个色差信息就足够了。在YCrCb空间中，仅仅明度、红色差、蓝色差信号被传输。

YCrCb可以使用较低分辨率来描述Cr、Cb，由于HVS的特点，这样做图像质量不会受到太大影响。

视频编码的目的是实现视频压缩，这样视频信号更加容易存储和传输。没有压缩过的原始视频需要很高的比特率，对于标清视频来说，大概256pbps。

压缩总是要和解压缩配对使用，因此视频编码器通常包含压缩、解压缩两套算法。

某些类型的数据包含统计冗余（Statistical Redundancy），可以被无损的压缩/解压缩。不幸的是，要实现无损的图像、视频压缩，则压缩比会很低，因而在这些领域常常使用有损压缩。

视频的有损压缩原则是基于主观冗余（Subjective Redundancy），即在不太影响观察者的主观感受的前提下，信息可以被删除。大部分视频编码器同时关注空间、时间上的冗余：

1. 在时域上，相邻的场景总是有很大的相似性，特别是在高帧率的情况下
2. 在空域上，类似于静态图片的压缩算法

H.264和其它流行视频压缩算法——例如MPEG-2、MPEG-4、H.263——共享了一系列通用的特性。例如预测、基于块的运动补偿（Motion Compensation）。

编码器的一般工作流程如下图所示：

编码器使用一个模型（Model）来表示视频源，一个搞笑的编码算法允许解码器尽可能保真的还原视频流。理想情况下，编码后的视频应该占据尽可能少的比特，同时尽可能的保真，当然这两个目标通常是冲突的。

编码器主要包括三个功能单元：预测模型、空闲模型、熵（Entropy，信息论中的熵是信息量的度量，熵越高包含的信息量越大）编码器：

1. 预测模型的输入时原始视频序列。预测模型利用邻近的视频帧/图像采样之间的相似性，来降低信息冗余。典型的做法是构造当前帧/视频数据块的预测（Prediction）。对于H.264来说，预测可以是：
   1. 帧内预测（Intra Prediction）：通过根据当前帧内的邻近的图像采样进行空间推断（Spatial Extrapolation），构造出预测
   2. 帧间预测（Inter Prediction）或者叫运动补偿预测（Motion Compensated Prediction）：通过补偿不同帧之间的差异构造出预测
2. 预测模型的输出是帧残余（Residual Frame）—— 从当前帧中减去预测，附加上说明帧间/帧内预测如何进行的模型参数
3. 残余帧输入到空间模型，后者利用残余帧中的采样之间的相似性，降低空间冗余。H.264的做法是对残余帧进行转换并对结果进行量化。转换后的残余帧变为量化转换系数（Quantized Transform Coefficients）表示——量化移除了采样中不重要的数据以实现对残余帧的进一步压缩
4. 预测模型的参数：帧内预测模式、帧间预测模式、运动向量（Motion Vectors），以及空间模型的参数，一起被熵编码器进一步压缩，移除统计学冗余数据。例如，反复出现的向量、系数被替换为简短的二进制代码。熵编码器产生容易传输的比特流或者文件
5. 压缩完成后的视频序列，包括编码后的预测参数、编码后的残余系数，外加头信息

预测模型处理的对象是当前帧/场中的一系列图像采样，其目标是减少数据冗余，其手段是构建一个预测，并将其中当前数据中减去。预测可能从先前已经编码好的帧中推导，此所谓时域预测；预测也可能从当前帧/场中已经编码好的图像采样中推导，此所谓空域预测。

预测模型的输出是一系列残余/差异样本。预测处理越精确，则残余样板中包含的Energy（信息量）越少。

被预测的帧的产生依赖于参考帧（Reference Frames），参考帧可以是过去或者未来的帧。帧预测的精度通常可以通过运动补偿——补偿当前帧和参考帧中由于物体移动产生的差异——的方式提高。

最简单的时域预测，是使用前一个帧（预测器，Predictor）来预测当前帧，从当前帧中减去预测帧，直接得到帧残余：

这种预测方法的缺点是，残余的信息量很大。这些残余很大程度上都是因为物体运动导致的，因而更好的时域预测算法能够通过自动补偿，减少不必要的信息量。

帧之间的差异，主要原因包括：物体运动、未覆盖（Uncovered）的区域、光照变化。

物体运动的类型包括：

1. 死板的平移，例如汽车运动
2. 变形运动，例如人说话时脸部的运动
3. 镜头运动，例如平移、倾斜、缩放、旋转

未覆盖区域的类型包括：

1. 由于物体移动而显露出来的背景区域

除了未覆盖区域、光照变化之外的其他帧间差异，都属于帧间像素移动。估算每个像素在帧间的移动轨迹（Trajectory）是可能的，像素移动轨迹构成的场被称为光流（Optical Flow）：

上图是前面前帧、后帧之间的光流的示意图。

如果得到了精确的光流场，那么就可以构造当前帧的绝大部分像素的精确预测，只需要将参考帧中的每一个像素沿着它的光流向量（Optical Flow Vector）移动即可。然而，精确的光流场需要大量的计算资源才能获得。

实践中经常使用的一种运动补偿方是，针对块（当前帧中一个矩形区域）进行运动补偿，这种方法避免了逐像素光流计算的资源消耗。基于块的运动补偿的流程如下（针对当前帧中每一个MxN大小的采样块）：

1. 搜索过去或者未来的参考帧中的一个相似的MxN采样块。具体的做法可能是，将当前帧的MxN块和搜索区域中所有可能的MxN块进行比较，从中选取最匹配的块。一个流行的判断“匹配”的准则是，将两个块进行相减得到残余，残余的Energy越低匹配度越高。寻找最佳匹配的过程被称为移动估算（Motion Estimation）
2. 最佳匹配的块被作为当前MxN块的预测器（Predictor），预测器和当前块求差后，形成一个MxN的残余块 —— 运动补偿（Motion Compensation）
3. 编码后的残余块，外加预测器和当前块之间的位置偏移（运动向量，Motion Vector），被一起发送

解码器利用运动向量重新定位预测器区域，解码残余块，将预测器 + 残余块即可还原当前块。

基于块的运动补偿之所以流行，有如下几个原因：

1. 计算资源的消耗相对较小，而且算法比较直观
2. 帧本身都是矩形的，和块运动补偿很适配
3. 基于块的图像转换算法（例如离散余弦变换，Discrete Cosine Transform，DCT）和块运动补偿很适配
4. 对于很多视频序列来说，块运动补偿能提供高效的时域模型（Temporal Model）

但是这种运动补偿也有缺陷：

1. 真实物体很少具有能匹配矩形区域的边界
2. 物体的帧间移动距离，常常不是整数个像素
3. 很多类型的对象运动很难通过基于块的方式补偿 —— 例如变形、旋转，以及类似云或者烟雾那样复杂的运动

尽管如此，当前所有视频编码标准均将基于块的运动补偿作为时域预测模型的基础。

宏块（Macroblock）是帧中16x16大小的区域，它是包括MPEG-1、MPEG-2、MPEG-4 Visual、H.261、H.262、H,264在内的很多视频编码标准的运动补偿预测的基本单元。

在常见的YUV 4:2:0图像编码格式中，一个宏块由：

1. 256个照度采样构成，这些采样组成4个8x8的采样块
2. 64个红色色差采样构成，这些采样组成1个8x8的采样块
3. 64个蓝色色差采样构成，这些采样组成1个8x8的采样块

即一共6个采样块，示意图如下：

宏块的运动估计，主要是寻找参考帧中和当前宏块匹配的16x16采样区域。参考帧是先前就编码好的一个帧，在时间维上，参考帧可以在过去或者未来。参考帧中以当前宏块为中心的区域被搜索，寻找最佳匹配。

最佳匹配的照度、色差采样，被从当前宏块中减去，这样就产生了一个残余宏块。残余宏块与标示了最佳匹配区域和当前宏块的相对位移的移动向量一起编码并传输。

在上述基本的运动估计、运动补偿的基础上，有很多变体的算法：

1. 如果使用了未来的帧作为参考帧，则未来的帧必须在当前帧之前编码，也就是帧的编码必须是乱序的
2. 当参考帧和当前帧的差异非常大时，不使用运动补偿可能更加高效，编码器可能选择使用帧内预测
3. 视频中的移动物体很少能恰恰匹配16x16的边缘，因此使用可变大小的块往往更加高效
4. 物体移动的距离可能不是整像素，例如物体可能在水平方向移动3.83像素的距离。因此一个好的预测算法会在搜索最佳匹配之前在参考帧中，在次像素级别进行插值

宏块的尺寸越小，则残余帧的Energy越低，预测越精准。但是相应的，计算复杂度越高。

为此，一个折衷的方式是：对于扁平、均匀的区域选择大的宏块尺寸；对于高度细节、复杂的移动区域选择小的宏块尺寸。

某些情况下，从参考帧的插值后（非整数像素）的采样位置进行预测可能获得更佳的效果。例如下图中，参考帧区域中像素被插值到半像素级别，这样匹配位置的精度可以提高一倍，通过搜索插值采样，可能获得更好的匹配。

通常来说，更加细粒度的插值可以提供更好的运动补偿效果，得到更低Engery的残余，代价是更高的复杂性。 但是这种效果的提升不是线性的，插值越精细，效果进一步的提升越小。

对当前块的空间预测，是基于当前帧中其它先前编码过的采样进行的。假设帧中的块以光栅扫描（Raster-scan） 顺序逐个编码，则所有左上方向的块都可以用于当前块的帧内预测。由于左上方向的块已经编码并存放到输出流，解码器很自然的可以用它们进行预测的重建。

帧内预测的具体算法有很多，H.264使用的是空间外推法（Spatial Extrapolation）。一个/多个预测由当前块上侧或左侧的外推采样构成。通常最靠近的采样最可能和当前块中的采用具有相关性，因而仅仅沿着上侧/左侧边缘的那些像素才会用来创建预测块。一旦预测块被创建，会被用来产生残余块，具体方式和帧间预测类似。

自然的视频帧是一系列采样构成的Grid，这种图片的原始格式很难被压缩，因为邻近的采样具有高相关性。下图左侧是某个自然视频帧的2D自相关（Autocorrelation）函数的曲面，高度表现了图片与其空间偏移之后的副本的相关性，底面的两个维度表示了空间偏移的方向。缓和的坡度提示了邻近样本的高度相关性。

而经过运动补偿的残余图像的自相关性函数如上图右侧所示，可以看到随着空间偏移的增大，相关性急剧的降低。这提示了邻近采样的若相关性。有效的运动补偿/帧间预测降低了残余图像的本地相关性，让其比原始的视频帧更加容易被压缩。

图像模型的功能是，进一步的对残余图像进行去相关（Decorrelate），让它能够更有效的被熵编码器所压缩。图像模型通常有三个处理阶段：

1. 转换（Transformation）：对图片进行去相关、让数据更加紧凑（Compact）
2. 量化（Quantization）：降低转换后数据的精度
3. 重排（Reordering）：对数据进行重新排序，让关键数值（Significant Values）分组在一起

运动补偿是预测性编码的一个例子，编码器基于过去/未来的某个帧创建当前帧中某个区域的预测，然后把预测从当前区域中减去，得到一个残余。如果预测成功的话，残余的Energy会比原始区域小，需要更少的比特来表示。

预测性编码是早期的视频编码器的基础，也是H.264的帧内编码的重要组件。空间预测需要基于先前传输的、当前帧已经编码好的区域的样本，这种预测方法有时被称为差分脉冲编码调制（Differential Pulse Code Modulation）。

下面的公式示意像素X的编码过程，我们假设帧基于光栅顺序处理。A、B、C是对于编解码器都可用的参考（相邻）像素，这些像素应该在X之前被编解码：

P(X) = (2A + B + C)/4
R(X) = X − P(X)

 解码器根据A、B、C可以重新构造出预测，然后X = R(X) + P(X)即解码出像素X。四个像素的位置关系如下图：

如果编码过程是有损的，也就是说残余被量化过，那么解码得到的A'/B'/C'并不和A/B/C完全一致，而依据A'/B'/C'推导出来的X'则会与X有更多的误差。这会导致编码器和解码器之间的累积性的误差，或者叫漂移（Drift）。为了避免这种漂移，编码器可以使用解码后的参考像素来构建残余，即：

P(X) = (2A’ + B'+ C‘) / 4

这样编码器、解码器使用相同的P(X)，也就避免了漂移。

上面介绍的预测性编码算法的效率取决于P(X)的精度，如果P(X)和X很接近，则残余的Engery很低，预测效率就高。但是，很难为复杂图像的所有区域选取一个通用的预测器。为了得到高性能，通常需要基于图像的本地统计信息进行自适应性的预测器选取。例如，对于图片中的扁平纹理、强竖直纹理、强水平纹理区域选取不同的预测器。由于你需要使用额外的bit来告知解码器使用了哪些预测器，因此要注意预测性能和流量消耗之间的权衡。

图片或者视频编码器的转换阶段的意图是，将图片或者运动补偿残余数据转换到转换域（Transform Domain）。选择转换算法取决于一系列准则：

1. 转换域中的数据应该是：
   1. 去相关的，也就是说，这些数据应该分离到最小相关性的分量中
   2. 紧凑的，大部分的Energy应该集中到数据的一小部分数值中
2. 转换必须是可逆的
3. 转换对计算资源的需求必须是可容忍的，包括内存、CPU

流行的图像/视频转换转发基本上分为两大类：

1. 基于块的：包括KLT、SVD、DCT。这些算法以NxN的采样为操作单元，其优点是内存用量小，适合压缩基于块的运动补偿残余。这类算法的缺点是块效应（Blockiness）明显
2. 基于图像的：在整个图像/帧上，或者大块的区域（所谓Tile）上操作。包括离散小波变换（Discrete Wavelet Transform，DWT）。这类算法对于静态图像的压缩处理由于上一类，但是需要更高的内存

量化器（Quantizer）将信号值范围X映射到一个较小的值范围Y。主要有两类量化器：

1. 标量量化器：将输入信号中的一个采样映射为一个量化的输出值
2. 向量量化器：将输入信号中的一组采样映射为一组量化值

对于一个基于转换的图像/视频编码器，量化器的输出是一个稀疏的数组。其中包含少量的非零系数，以及大量的零值系数。

重排阶段的工作就是把非零系数排列在一起，然后标识出这些系数在数组中的索引，实现压缩。

熵编码器把一系列表示视频序列的元素转换成适合传输和存储的压缩比特流。输入符号包括量化后的转换系数、整/次像素级别的移动向量、标记性编码、宏块头、图像头等。

在信息论中，熵编码属于无损压缩，且压缩不受媒介的特质影响。熵编码器可以把定长的输入符号替换为相应的可变长度的代号（Codeword），从而实现压缩。代号的长度和出现几率的负对数正相关，因而大部分公共符号具有最短的代号。

从不同的视角看，H.264可以有不同的含义：

1. 它是一个工业标准，定义了一种压缩视频格式
2. 一种流行的视频格式
3. 一套用于视频压缩的工具 

编码是视频类应用的基础技术，因为原始视频格式太大，难以传输或者存储。对视频编码进行标准化，可以让不同厂商开发的编码器、解码器、媒体存储能够方便的互操作。

典型的H.264应用，例如远程视频监控，视频从摄像头采集出来后被编码为H.264比特流，通过网络传输。终端应用解码比特流并获得原始视频：

H.264标准首次发布于2003年，之后经历了数次修订和更新。它基于早先的视频编码标准的设计理念，进一步提高了压缩视频的质量，在压缩、传输、存储方面有更大的灵活性。

H.264描述了一组用于压缩的工具/方法，规定了基于这些工具编码的视频如何呈现和解码。视频编码器可以选择一个工具，应用一些约束，然后处理视频流。H.264兼容的解码器必须能够使用工具组的某个子集 —— 所谓配置（Profile）。

通过预测、转换、编码等处理过程，H.264编码器生成一个H.264比特流。解码器则进行逆向处理——解码、反向转换、重构——以生成原始（Raw）视频序列。

每个视频帧/场都需要被编码器处理，帧/场被编码后，可能被放到已编码图像缓冲中（Coded Picture Buffer，CPB）。在编码后续帧时，编码器可以使用CPB。类似的，解码器在解码出一个帧后，将其放到已解码图像缓冲中（Decded Picture Buffer，DPB），在解码后续帧时可以使用DPB。

H.264的数据处理单元是16x16大小的宏块（Macroblock） 。

在编码器中，预测宏块从当前宏块中减去，得到一个残余宏块。残余宏块被转换、量化并编码。在此同时，量化后的数据被重新扫描、反向转换并加上预测宏块，得到一个编码后的帧版本，然后存储起来用于后续的预测：

在解码器中，宏块被解码、重新扫描、反向转换，得到一个编码过的残余宏块。解码器生成预测宏块后加上残余宏块，产生解码后的宏块：

预测阶段，包括帧间预测和帧内预测。H.264支持的预测方法很灵活，从而实现更精确的预测。帧内预测使用16x16或者4x4的块大小，从当前宏块的四周进行预测。帧间预测的块大小可以在16x16 - 4x4之间自由变动，参考帧可以来自过去或者未来。

预测阶段产生的残余采样，使用4x4或者8x8的整数变换（Integer Transform）——离散余弦变换的近似形式——进行转换，转换的输出是一组系数。系数的每个成员是一种标准化基本图式（Standard Basis Patterns）的权重值。通过系数可以重新创建出残余采样：

转换的结果进一步被量化，也就是，每个系数除以一个整数。量化后的转换系数精度降低：

视频编码最终产生的是一系列需要编码组成压缩比特流的数值，这些数值包括：

1. 量化后的转换系数
2. 供解码器重建预测的信息
3. 压缩数据结构相关信息
4. 和完整视频序列有关的信息 

这些数值和参数，以及语法元素（Syntax Elements），被可变长度编码/算术编码算法转换为二进制代码。

首先要进行的是对二进制比特流进行解码，解码语法元素并抽取上节所述的数值和参数。

然后是重扫描，每个系数乘以一个整数以近似的还原其原始值：

重扫描后的图式权重系数，加上标准化基础图式，经过反向离散余弦变换/整数变换可以重新创建出采样的残余数据：

得到采样残余后，解码器使用和编码器一样的预测，加上残余即得到原始图像。

H.264规范清晰的定义了一套格式，或者叫语法。用于呈现压缩视频及其相关信息。这套语法的总体结构图如下：

在最顶层， 一个H.264序列由一系列的包（Packet），或者叫网络抽象层单元（Network Abstraction Layer Unit，NALU）构成。NAL可以包含解码器需要用到的关键参数集，这些参数集指示解码器如何正确的解码帧（Frame）或切片（Slice）。所谓切片，是指被分解后的帧的一部分，帧可以仅仅包含一个切片

在下一层，切片由一系列编码过的宏块组成。每个宏块对应帧中16x16大小的块。

在最底层，宏块包含描述自己如何被编码的信息 —— 编码的具体方法、预测信息、残余采样等。

所谓H.264视频，是一种遵循特定规范——H.264/AVC语法——的视频序列。 此语法是H.264规范的一部分，它以语法元素的形式精确的描述了H.264视频序列结构的不同层面。

此语法是层次性的，它描述了最顶层的视频序列，以及下层的帧/场、切片，直到底层的宏块。控制参数可以：

1. 以独立的语法区段存储，例如参数集（Parameter Sets）
2. 嵌入为其它区段（宏块层）的一部分

H.264语法的层次性组织如下图所示：

说明如下：

1. 网络抽象层：由一系列的NAL单元组成：
   1. SPS、PPS是特殊的NAL单元，作为解码器特定通用控制参数变更的信号
   2. 编码后的视频数据对应视频编码层（Video Coding Layer）NAL单元，也被称为切片（Slice）。每个访问单元（Access Unit），即编码后的帧/场，可以由1-N个切片构成
2. 切片层：每个切片包括切片头、切片数据两部分。切片数据是一系列编码后的宏块，外加可能的跳过提示符。跳过提示符用于指示特定的宏块位置没有数据
3. 宏块层：每个编码后的宏块包括如下语法元素：
   1. MB类型：
      1. I：帧内编码
      2. P：基于一个参考帧进行帧间编码
      3. B：基于1-2个参考帧进行帧间编码
   2. 预测信息：I宏块的预测模式，P/B宏块的参考帧和移动向量
   3. 编码块图式（Coded Block Pattern CBP）：提示哪些明度块、色差块包含非零残余系数
   4. 量化参数（Quantization Parameter QP）：仅仅CBP非零的宏块具有此元素
   5. 残余数据：仅仅CBP非零的宏块具有此元素

编码后的视频序列总是以即时解码器刷新（Instantaneous Decoder Refresh，IDR）访问单元开始，其包括若干个IDR切片。IDR切片是一种特殊的帧内编码切片。IDR访问单元后面跟着很多普通的访问单元序列。当一个新的视频序列到达时，需要提前再次发送IDR切片。此外传输结束时也发送IDR切片。

H.264将帧定义为一组明度采样数组，外加两组对应的色差采样数组。场分为Top field、Bottom field，共同构成帧，两个场可以同时扫描或者交错扫描。术语图片（Picture）作为帧/场的通称。

帧/场被解码，形成解码后图片并被放置到解码后图片缓冲（Decoded Picture Buffer，DPB）。此缓冲中的图片可以用于：

1. 支持后续的帧间预测
2. 输出到显示组件

区分以下三个顺序很重要：

1. 解码顺序：图片从比特流中被解码的顺序
2. 显示顺序：图片输出到显示组件的顺序
3. 参考顺序：图片如何被排列以供其它图片进行帧间预测

帧和帧之间可能存在引用（时域预测）关系，因此它们的解码顺序必须是确定的。

解码序（Decoding Order）确定了编码后的帧/场的解码顺序，由切片头参数frame_num确定。一般情况下，当前帧的frame_num为先前参考帧的frame_num+1。

显示序（Display Order）即帧/场的播放顺序。由参数图像顺序计数器（POC，Picture Order Count）确定，POC参数包括TopFieldOrderCount、BottomFieldOrderCount。这两个参数也来自切片头，获取方法有三种：

1. 类型0：在每个切片头中，都包含了POC的最低有效位（Least Significant Bits），这种方式提供了灵活性但是占据更多字节。Type0示意如下图，箭头（从被参考帧发起）表示帧引用关系：
2. 类型1：在SPS中设立一个循环的POC计数器，POC依据此计数器循环计数，除非切片头使用Delta Offset
3. 类型2：直接从frame_num获得，解码序和显示序一致

图片编码后，如果允许被其它图片参考，则进入已解码图片缓冲（Decoded Picture Buffer，DPB），并被标记为以下两种之一：

1. 短期参考图片，以frame_num或者POC进行索引。把这类图片从DPB移除的方法有：
   1. 通过比特流中明确的命令移除
   2. 如果启用了DPB自动处理模式，并且DPB已满，自动移除最旧的图片
2. 长期参考图片，以LongTermPicNum进行索引，此数字基于图片被标记为长期参考帧时设置的参数LongTermFrameIdx推导。这类图片需要通过比特流中明确的命令移除

短期参考图片后续可以被赋予LongTermFrameIdx，导致它变为长期参考图片。

参考图像列表（Reference Picture List） 是存放参考图片引用的列表。对于P切片来说，使用单个列表list0；对于B切片来说，使用两个列表list0、list1。

在每个列表中，短期参考图片排在前面，短期参考图片的排列规则：

1. 如果当前切片是P，依赖于解码序
2. 如果当前切片是B，依赖于显示序

长期参考图片排在短期参考图片后面，且按照LongTermPicNum升序排列。

列表元素的排序细节很重要，因为要引用列表中前面的项需要的比特数更少。因此默认排序规则让“接近”当前图像的参考图像排在列表前面，这些参考图像中存在最佳预测匹配的几率更大：

1. P切片的list0：默认顺序是PicNum的降序，frame_num对MaxFrameNum取模得到PicNum
2. B切片的list0：默认顺序是：
   1. 如果参考图片的POC比当前图像早，则按POC降序
   2. 如果参考图片的POC比当前图片晚，则按POC升序
3. B切片的list1：默认顺序是：
   1. 如果参考图片的POC比当前图像早，则按POC升序
   2. 如果参考图片的POC比当前图片晚，则按POC降序

编码后的H.264数据以NAL单元这种数据包在网络中发送。每个NAL单元包含1字节的NALU头，后面跟着包含控制参数或者视频数据的比特流。

NALU头包含信息：

1. NALU的类型
   

   值	NALU类型	说明
   0	未使用
   1	Coded slice, non-IDR	典型的切片
   2	Coded slice data partition A	数据分区切片，分区A
   3	Coded slice data partition B	激活数据分区切片，分区B
   4	Coded slice data partition C	数据分区切片，分区C
   5	Coded slice, IDR	作为视频序列起点
   6	SEI	补充增强信息
   7	SPS	序列参数集，每序列一个
   8	PPS	图像参数集
   9	Access unit delimiter	提示下一个编码图片的切片类型
   10	End of sequence	提示下一个NALU是IDR
   11	End of stream	提示视频序列结束
   12	Filler	填充字节
   13-23	保留
   24-31	不保留，RTP打包用到

2. NALU的重要程度

NALU头固定为1字节长，其结构示意图如下：

+---------------+
|0|1|2|3|4|5|6|7|
+-+-+-+-+-+-+-+-+
|F|NRI| Type    |
+---------------+

其中：

1. forbidden_zero_bit，第1位，必须为0
2. nal_ref_idc，第2-3位，重要程度。值越大越重要，当解码器过载时可以考虑把值为0的NALU丢弃。在RTP中使用，NRI还指示了传输的相对优先级
3. nal_unit_type，最后5位。类型6/9/10/11/12对应的NRI应该为00，类型7/8对应第NRI应该为11

参数集是携带了解码参数的NALU，这些参数对于后续若干切片是公用的，独立于切片发送参数集可以提高效率。 这些参数对于正确解码非常重要，在不可靠信道上传输视频流时，参数集可能丢失，可以考虑用更高的QoS发送参数集。

序列参数集（SPS）包含对整个视频序列有效的参数，例如Profile和Level、帧尺寸、某些解码器约束（例如参考帧最大数量）。SPS示例：

图像参数集（PPS）包含应用到一部分帧的参数，例如熵编码类型、活动参考图片数量、初始化参数。PPS继承特定SPS的参数。PPS示例：

直到切片头引用PPS之前，PPS没有被激活，也就是编码器不使用它。一旦应用，则一直有效，直到另一个PPS被激活。

SPS仅仅在引用它PPS激活时，才被激活。单一的SPS之后对整个流有效，而流以IDR切片开始，因而通常由IDR激活SPS。

每个编码后的帧/场都由1-N个切片组成。切片以切片头开始，后面跟着1-N个宏块，宏块的数量可以不固定。

切片大小的选择方式有：

1. 每个帧一个切片，很多H.264编码器选择这种方式
2. 每个帧分为N个切片，每个切片分为M个宏块。切片的比特数量随着运动量的变大而便多
3. 每个帧分为N个切片，每个切片包含的宏块数量不一定。这种方式可以让切片的比特数大致一致，用于固定长度的网络包

切片头携带了对于所有宏块通用的信息，例如：

1. 切片类型，限制了宏块可能的类型
2. 帧编号（Frame Number），此切片所属的帧

一个示例切片头如下（IDR/Intra，Frame0）：

切片数据为若干宏块的集合。有一种没有数据的宏块 —— Skip Macroblock，在很多编码序列中会出现。和熵编码器有关。

宏块层中包含解码一个宏块所需要的所有语法元素：

其中：

前文提到过，H.264支持一组工具 —— 处理编解码的算法和过程。这些工具中有些很基础，任何编解码器实现都需要用到，例如4x4的变换算法。另外一些工具是可选的，例如CABAC/CAVLC熵编码器。

通过按需选择标准中定义的工具，编码器的实现可以非常的灵活，编码器可以仅仅使用工具的某些子集。

H.264配置（Profile）规范了工具子集的定义。任何H.264比特流必须遵从Profile规范，使用子集中部分或者全部工具实现编码。一个Profile兼容的解码器，必须能够解码使用子集中任何工具编码的H.264比特流。

当前最广泛使用的Profile是Main，其包含的工具很好的在压缩性能和计算复杂度之间进行权衡。Constrained Baseline这个Profile是Main的一个子集，在低复杂度、低延迟的应用程序中非常流行，例如移动视频电话。

Extended、Main、Baseline、Constrained Baseline之间的关系如下图：

说明如下：

1. Baseline设计用于低复杂度、低延迟应用程序，例如移动视频电话。它支持：
   1. I帧、P帧
   2. 允许帧内预测、基于单个参考帧的运动补偿
   3. 使用基本的4x4整数变换
   4. 使用CAVLC熵编码
   5. 支持FMO、ASO、冗余切片，这些技术用于提高传输效率
2. 上面提到的最后三个工具并不流行，很多实现不能完整支持。排除了这三者的Profile就是Constrained Baseline
3. Extended是Baseline的超集，添加了某些提高网络流传输效率的工具
4. Main是Constrained Baseline的超级，支持CABAC编码和B帧

高配置分为4个级别，添加了一些编码工具，满足高质量应用程序（高分辨率、扩展比特深度、高色彩深度）的需要。High是Main的超集，添加特性：

1. 8x8变换
2. 8x8帧间预测，这提高了编码性能，特别是高空间分辨率情况下
3. 支持频率相关的量化器权重
4. 为Cr、Cb分开设置量化器参数
5. 支持单色差视频（4:0:0格式）

不同级别High和Main的关系如下图：

级别规定了帧尺寸、处理速度（每秒能够解码的帧或者块数量）、工作内存的最大需求量。Profile + Level共同构成了对解码器的约束条件。

照度分辨率、帧率和级别的关系如下表：

鉴于大部分H.264应用程序都牵涉到传输、存储比特流。H.264标准引入了一系列工具和特性，让传输过程更加高效和健壮。

需要注意：大部分商业编解码器没有支持这些特性。

如果包含某个帧部分或者全部的重复信息，一个切片可以被标记为冗余的。解码器通常基于非冗余切片重构帧，如果非冗余切片损坏或者丢失，则使用冗余切片。

冗余切片增强了健壮性，代价是更高的比特率。

任意切片顺序（Arbitrary Slice Order，ASO）允许帧中的切片以任意（非光栅序）的解码顺序排列。可以用于辅助解码错误的隐藏。

灵活宏块排序（Flexible Macroblock Ordering，FMO）让帧中的宏块被分配到一个或者多个切片组（Slice Groups）中。每个切片组包含1-N个切片。在切片组内部，宏块以光栅序编码，但是这些宏块在帧中的位置不一定相邻。宏块和切片组的对应关系由宏块分配映射（Macroblock Allocation Map）指定。

FMO可以增加容错性，因为每个切片组可以独立的解码。如果在使用交错排序的情况下，一个切片或者切片组丢失，其影响可以利用空间插值屏蔽掉。

SP和SI切片的用途是：

1. 允许高效的在不同视频流之间切换
2. 允许解码器进行高效的随机访问

例如，同一视频源使用不同码率在网络中传输，解码器可以在正常情况下使用高码率，并且在网络拥塞的时候切换到低码率。

该特性将切片分为三个区：NAL头

1. A分区：包含切片头、每个宏块的头
2. B分区：包含帧内预测的残余数据、SI切片宏块
3. C分区：包含帧间预测的残余数据、SP切片宏块

每个分区都是独立的NAL单元。A、B、C分区的容错度依次增高，传输时可以应用不同的QoS。

这三者的逐层封装关系如下图：

说明：

1. H.264语法元素被封装为RBSP，后者被封装为NALU。由于H.264语法元素是可变长度的，为了将RBSP字节对齐，尾部可能需要补零
2. RBSP封装进NALU的方式如下：
   1. 添加一字节的NALU头
   2. 按序添加模拟预防（Emulation Prevention）字节。为了防止起始码（Start Code）出现在NALU内部，每当出现和起始码前缀一致的3字节图式时，就插入一个模拟预防字节（二进制00000011）。解码器能够检测到模拟预防字节，进而知道其相邻的字节不是起始码
3. NALU可以作为传输协议的载荷。每个NALU都前缀一个起始码，起始码为三字节的特殊序列。解码器依赖起始码来判断NALU的边界 

相关文章：实时通信协议族。

H.264对传输协议没有任何规定，常用的传输协议是RTP。RTP是一种常见的打包协议，一般在UDP基础上运行。RTP Payload Formats为很多标准的音视频编码格式定义了标准。

本节主要讨论RFC 6184：RTP Payload Format for H.264 Video。

用于H.264传输时，RTP支持三种载荷结构。接收方可以根据载荷的首字节来识别载荷结构。这个直接也作为RTP载荷头，某些情况下还作为载荷的组成部分（第一字节）。

此首字节的格式和NALU头格式一致。其中NALU类型字段指明了载荷结构是哪一种：

1. 单NALU包：载荷中仅仅包含单个NALU，NALU类型取值范围在1-23之间
2. 聚合包：载荷中包含多个NALU。这种载荷结构具有4种子类型：
   1. STAP-A：单一时间聚合包，类型A。NALU类型为24
   2. STAP-B：单一时间聚合包，类型B。NALU类型为25
   3. MTAP16：多时间聚合包，使用16bit偏移。NALU类型为26
   4. MTAP24：多时间聚合包，使用24bit偏移。NALU类型为27
3. 片断单元：其中仅仅包含NALU的一部分，这种方式允许NALU拆分到多个RTP包中传输。这种载荷结构具有2种子类型：
   1. FU-A。NALU类型为28
   2. FU-B。NALU类型为29

此首字节的NRI字段，00表示可丢弃，这个语义和H.264规范是一致的，解码器不关心任何非零NRI的具体值。RFC6184对非零值的含义进行了延伸，用于表示传输相对优先级。MANE可以对高优先级的包进行更强的保护，防止丢包，11是最高优先级。

对NALU的打包模式有三种：

1. 单NALU模式，用于遵从H.241规范的系统
2. 非交错模式，用于可能不遵循H.241规定的系统。在此模式下，NALU的按解码序传输
3. 交错模式，用于不需要非常低的端对端延迟低系统。此模式允许NALU不按解码序传输

打包模式可以从SDP的packetization-mode字段获得：

1. 0或者没有该字段对应单NALU模式
2. 1对应非交错模式
3. 2对应交错模式

打包模式和载荷结构类型的兼容性表格如下：

此类型的载荷仅仅包含一个NALU，并且，NALU头即为RTP载荷头： 

NALU由NALU头、NALU载荷组成，前缀的开始码（00 00 00 01或者00 00 01）被清除后再打包。

引入聚合包的原因是不同网络的MTU不同：

1. 有线IP网络的MTU主要受限于以太网MTU，大概1500字节左右
2. IP/非IP无线网络的MTU首先的传输单元较小，大概254字节或者更少 

由于RTP通常基于UDP，UDP包的尺寸则受限于MTU。因此聚合包能够最高效率的使用MTU。

聚合包分为两大类，分别为单时间（STAP）、多时间（MTAP）聚合包。前者的NALU时间只有一个值。后者包含低NALU可能对应不同的时间。聚合包中的每个NALU都基于聚合单元打包：

STAP和MTAP共享以下打包规则：

1. RTP时间戳必须设置为包内所有NALU的最早的那个NALU-time
2. NALU类型必须正确设置
3. 如果所有NALU的F位均为0，F位必须清零
4. NRI必须设置为所有NALU中NRI的最大值

STAP-A载荷结构如下：

STAP-B载荷结构如下：

两者的主要区别是STAP-B有一个DON字段，它以传输序指定了第一个NALU的位置，后续NALU的DON = (第一个NALU的DON + 1) %65536。

STAP-A包含1-N个聚合单元，聚合单元的结构如下：

STAP-A、STAP-B的聚合单元的头部是16bit的网络序无符号整数，指示后续NALU的长度（字节）。聚合单元在RTP包内是字节对齐的。

MTAP载荷由一个16bit网络序无符号整数的解码序号基数（Decoding Order Number Base）和1-N个聚合单元组成。DONB的值为当前包中以NALU解码序计第一个NALU的DON值。

MTAP的聚合单元MTAP16的结构如下：

MTAP24的结构如下：

两种聚合单元都有如下字段：

1. 16bit的NALU大小
2. 8bit的解码序号差异（Decoding Order Number Difference，DOND）
3. Nbit的时间戳偏移，对于MTAP16 N = 16，对于MTAP24 N = 24

当NALU长度超过MTU后，可以使用分段包，让一个NALU分散在多个RTP包中。FU有两个子类，其中FU-A的结构如下：

FU-B必须配合交错打包模式使用。其结构如下：

FU indicator结构与NALU头一致，NALU类型取值28或29。

FU header结构如下：

+---------------+
|0|1|2|3|4|5|6|7|
+-+-+-+-+-+-+-+-+
|S|E|R| Type    |
+---------------+

其中：

1. S：1bit，如果设置此位，表示此FU是第一个NALU分片
2. E：1bit，如果设置此位，表示此FU是最后一个NALU分片
3. R：1bit，取值0
4. Type：NALU载荷类型

x264是VideoLAN开源的H.264编码器，特性包括：

1. 8x8和4x4自适应空域变换
2. 自适应B帧置入
3. B帧作为参考帧
4. 任意帧顺序
5. 支持CAVLC、CABAC熵编码
6. 自定义量化矩阵
7. 帧内预测：16x16, 8x8, 4x4等任意宏块大小
8. 帧间预测：所有分区大小，从16x16到4x4
9. 帧间双向预测：分区大小支持从16x16到8x8
10. 交错扫描—— 宏块级帧场自适应（Macro-block Adaptive Field Frame，MBAFF）
11. 多参考帧
12. 速率控制：常量量化器、常量质量、单步/多步ABR、可选VBV
13. 场景切换（Scenecut）检测
14. B帧中的空域/时域直接模式，自适应模式选择
15. 使用多个CPU并行编码
16. 预测性无损模式

git clone http://git.videolan.org/git/x264.git
cd x264
./configure --enable-debug --enable-static --enable-shared --prefix=/home/alex/CPP/lib/x264
make && make install && make clean

下面是一个编码QCIF尺寸的YUV序列的示例。CMake项目配置：

cmake_minimum_required(VERSION 3.6)
project(x264 C)

set(X264_HOME /home/alex/CPP/lib/x264)
include_directories(${X264_HOME}/include)

set(SRC_ENCODER encoder.c)
add_executable(encoder ${SRC_ENCODER})
target_link_libraries(
        encoder
        ${X264_HOME}/lib/libx264.so
)

 编码器源码：

#include <stdint.h>
#include <stdio.h>
#include <x264.h>

int main( int argc, char **argv ) {
    int width = 176, height = 144;    //QCIF
    x264_param_t param;
    x264_picture_t pic;
    x264_picture_t pic_out;
    x264_t *h;
    int i_frame = 0;
    int i_frame_size;
    x264_nal_t *nal;
    int i_nal;

    /* 应用编码器预设 */
    if ( x264_param_default_preset( &param, "fast", "zerolatency" ) < 0 ) goto fail;

    /* 在预设的基础上定制 */
    param.i_csp = X264_CSP_I420;      // 色彩空间：yuv 4:2:0 planar（三个数组）
    param.i_width = width;            // 帧尺寸
    param.i_height = height;
    param.b_vfr_input = 0;            // 可变帧率的输入：否
    param.b_repeat_headers = 1;       // 在每个I帧之前插入SPS/PPS
    param.b_annexb = 1;               // 在NALU之前插入4字节起始码

    /* 设置Profile，x264仅仅提供了Baseline选项，但是由于不支持某些特性，编码实际使用的是Constrained Baseline */
    if ( x264_param_apply_profile( &param, "baseline" ) < 0 ) goto fail;
    if ( x264_picture_alloc( &pic, param.i_csp, param.i_width, param.i_height ) < 0 ) goto fail;
#undef fail
#define fail fail2
    // 创建句柄
    h = x264_encoder_open( &param );
    if ( !h ) goto fail;
#undef fail
#define fail fail3

    int luma_size = width * height;    // 单帧包含的明度元素个数
    int chroma_size = luma_size / 4;   // 单帧包括的色差元素个数
    /* 循环编码所有帧  */
    FILE *in = fopen( "/home/alex/CPP/projects/clion/x264/qcif.yuv", "r" );
    FILE *out = fopen( "/home/alex/CPP/projects/clion/x264/qcif.h264", "w" );
    for ( ;; i_frame++ ) {
        /* 读取输入帧 */
        if ( fread( pic.img.plane[ 0 ], 1, luma_size, in ) != luma_size )
            break;
        if ( fread( pic.img.plane[ 1 ], 1, chroma_size, in ) != chroma_size )
            break;
        if ( fread( pic.img.plane[ 2 ], 1, chroma_size, in ) != chroma_size )
            break;

        pic.i_pts = i_frame;  // PTS，展现时间戳
        // 编码当前帧，nal是编码后的第一个NALU的指针，i_nal是NALU个数。返回编码后NALU的总字节数
        i_frame_size = x264_encoder_encode( h, &nal, &i_nal, &pic, &pic_out );
        if ( i_frame_size < 0 ) goto fail;
            // 将NALU的载荷写入到输出流
        else if ( !fwrite( nal->p_payload, i_frame_size, 1, out ))goto fail;
    }
    /* 写出延迟帧 */
    while ( x264_encoder_delayed_frames( h )) {
        i_frame_size = x264_encoder_encode( h, &nal, &i_nal, NULL, &pic_out );
        if ( i_frame_size < 0 ) goto fail;
        else if ( i_frame_size ) if ( !fwrite( nal->p_payload, i_frame_size, 1, out )) goto fail;
    }
    // 关闭编码器
    x264_encoder_close( h );
    // 清理内存
    x264_picture_clean( &pic );
    return 0;

#undef fail
    fail3:
    x264_encoder_close( h );
    fail2:
    x264_picture_clean( &pic );
    fail:
    return -1;
}

编码后原始的5.7MB的YUV序列产生了88.3KB的H.264 NALU序列，缩小了接近80倍。 以HEX打开输出文件：

0000 0001 6742 c00b db0b 13a1 0000 0300
0100 0003 0032 8f14 2ae0 0000 0001 68ca
83cb 2000 0001 0605 ffff 66dc 45e9 bde6
d948 b796 2cd8 20d9 23ee ef78 3236 3420 ...

可以看到：

1. NALU前缀了4字节的起始码HEX：0000 0001
2. 第1个NALU头为BIN：01100111，此单元是一个SPS
3. 第2个NALU是PPS
4. 第3个NALU是一个典型切片

The post H.264学习笔记 appeared first on 绿色记忆.

Spring Boot是Spring的一个子项目，它让创建独立运行（通过java -jar）的、产品级别的Spring应用变得简单：

1. 支持创建独立运行于JVM中的Spring程序
2. 内嵌Tomcat、Jetty或者Undertow，不需要部署War包
3. 简化Maven的POM配置
4. 在任何可能的情况下，自动配置Spring
5. 提供产品级特性，包括性能度量、健康检测、外部化配置
6. 不需要任何代码生成或者XML配置

1. 支持Java 9，至少要求Java 8
2. 基于 Spring 5 构建，Spring 的新特性均可以在 Spring Boot 2.0 中使用
3. 为各种组件的响应式编程提供了自动化配置，如：Reactive Spring Data、Reactive Spring Security 等
4. 支持 Spring MVC 的非阻塞式替代方案 WebFlux 以及嵌入式 Netty Server
5. 对 HTTP/2 的支持
6. 更灵活的属性绑定API，不通过

   @ConfigurationProperties

   注解就能实现配置内容读取和使用
7. Spring Security 整合的简化
8. Gradle 插件增强，要求Gradle版本4.4+
9. Starter整合的第三方组件版本升级：
   1. Tomcat 升级至 9.0，Servlet版本4.0
   2. Jetty 升级至 9.4，Servlet版本3.1
   3. Flyway 升级至 5
   4. Hibernate 升级至 5.2
   5. Thymeleaf 升级至 3

本章我们创建一个简单的基于Spring Boot的Web应用。

首先设置父项目：

<parent>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-parent</artifactId>
    <version>2.1.6.RELEASE</version>
</parent> 

然后添加Web的Starter依赖：

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-web</artifactId>
    <version>2.1.6.RELEASE</version>
</dependency>

只需要这一个依赖就可以了，开发Spring MVC项目所需要的繁杂依赖项不需要手工指定，均使用spring-boot-starter-web的传递依赖即可。

最后配置一下Maven插件，打包为可执行JAR：

<build>
	<plugins>
		<plugin>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-maven-plugin</artifactId>
		</plugin>
	</plugins>
</build> 

package cc.gmem.study.spring;


import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.EnableAutoConfiguration;
import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.ResponseBody;

@Controller
// 让Spring Boot猜测应该怎么样配置Spring（基于添加的依赖）
@EnableAutoConfiguration
public class SampleController {

    @RequestMapping( "/" )
    @ResponseBody
    String home() {
        return "Hello World!";
    }

    public static void main( String[] args ) throws Exception {
        System.getProperties().put( "server.port", 9090 );
        SpringApplication.run( SampleController.class, args );
    }
}

运行此程序，然后打开浏览器访问http://localhost:9090，即可访问。

<project>
    <!-- 
        继承基础配置：
        1、使用JDK 1.6作为默认编译级别
        2、使用UTF-8作为源码的编码方式
    -->
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>1.5.6.RELEASE</version>
    </parent>
    <!-- 可以定制的配置 -->
    <properties>
        <java.version>1.8</java.version>
        <!-- 如果有多个main函数入口，需要指定一个start-class才能进行可执行JAR打包 -->
        <start-class>cc.gmem.study.spring.boot.HelloApp</start-class>
    </properties>
    <!-- Web应用典型依赖，包括了对Spring MVC和Tomcat的依赖 -->
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
    </dependencies>
 
    <!-- 打包为可执行的JAR -->
    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>
 
</project>

如果parent构件已经存在，可以这样引入基础配置：

<dependencyManagement>
     <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-dependencies</artifactId>
            <version>1.5.6.RELEASE</version>
            <type>pom</type>
            <scope>import</scope>
        </dependency>
    </dependencies>
</dependencyManagement>

plugins {
    id 'org.springframework.boot' version '1.5.6.RELEASE'
    id 'java'
}


jar {
    baseName = 'myproject'
    version =  '0.0.1-SNAPSHOT'
}

repositories {
    jcenter()
}

dependencies {
    compile("org.springframework.boot:spring-boot-starter-web")
    testCompile("org.springframework.boot:spring-boot-starter-test")
}

所谓Starter，就是一个依赖描述符，你可以包含它们，避免手工逐个配置依赖项。上面我们已经使用了两种Starter。常用的Starter如下表：

尽管你可以通过

SpringApplication.run()

@Configuration

你可以使用

@Import

你也可以使用

@ComponentScan

如果要引入额外的XML配置，可以使用

@ImportResource

Spring Boot的自动配置机制，尝试根据当前项目的依赖，自动判断如何配置Spring上下文、运行容器、数据库。例如，如果HSQLDB位于类路径下，Spring Boot会自动配置一个内存数据库。

要启用自动配置，可以在主配置类上添加

@EnableAutoConfiguration

@SpringBootApplication

如果要查看哪些自动配置被启用，为何被启用，可以为应用程序传入参数

--debug

你可以明确的禁用某种自动配置：

@Configuration
@EnableAutoConfiguration(exclude={DataSourceAutoConfiguration.class})
public class Configuration {
}

注意：自动配置可以被渐进的替代。例如，当你手工配置了数据源后，Spring Boot就不会自动配置HSQLDB。

此注解等价于@Configuration, @EnableAutoConfiguration,@ComponentScan的组合。其中@ComponentScan为：

@ComponentScan(excludeFilters = {
		@Filter(type = FilterType.CUSTOM, classes = TypeExcludeFilter.class),
		@Filter(type = FilterType.CUSTOM, classes = AutoConfigurationExcludeFilter.class) })

由于没有为@ComponentScan指定basePackage，因此默认扫描当前类所在包及其子包。

可以通过@ComponentScan来查找Bean，或者在配置类的方法中使用@Bean。@Component, @Service, @Repository, @Controller等注解都是支持的。

要为Bean注入字段，可以使用@Autowired,@Inject等注解。

很多IDE，包括Eclipse、IDEA都提供了对Spring Boot应用程序的支持。

通过命令行运行的示例：

java -Xdebug -Xrunjdwp:server=y,transport=dt_socket,address=8000,suspend=n -jar boot-study.jar

通过Maven运行的示例：

export MAVEN_OPTS=-Xmx1024m -XX:MaxPermSize=128M
mvn spring-boot:run

通过Gradle运行的示例：

gradle bootRun

Spring Boot仅仅是简单的Java应用程序，JVM的热交换机制直接可以使用。但是JVM热交换有所限制，更加完整的解决方案是JRebel或者Spring Load。模块spring-boot-devtools也提供了快速的应用重启机制。

有多种实现方式，推荐使用spring-boot-devtools模块，因为它提供了额外的开发时特性——快速重启、LiveReload。DevTools的工作方式是监控类路径变化，这意味着你需要触发项目构建，在IDEA中可以调用Make Project触发（或者开启自动构建）。静态内容的变化不会导致应用重启，但是会导致LiveReload。

Spring Boot支持的模板技术大部分支持禁用缓存的功能，这样模板被修改后可以立即被感知到。使用spring-boot-devtools的情况下，模板自动重新载入。

大部分IDE支持代码热替换，因此你对类进行非结构性的改变时，构建后Java类会自动更新。

Spring Loaded允许方法签名改变后的类仍然能够重新载入。

spring-boot-devtools提供了自动的重启功能，其速度比JRebel、Spring Loaded慢，但是比冷启动快的多。

spring-boot-devtools的快速重启功能依赖于ClassLoader，打包好的第三方库，使用Base加载器加载，而正在开发的那些类则使用restart加载器加载。当快速重启发生后，之前的restart加载器被丢弃，新的restart加载器被创建。

此模块提供一些开发时特性，要启用DevTools，引入：

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-devtools</artifactId>
    <version>1.5.6.RELEASE</version>
    <optional>true</optional>
</dependency>

DevTools在生产环境下会自动禁用，生产环境的判断依据是：

1. 以java -jar启动Spring Boot应用
2. 或者，使用了特殊的ClassLoader 

模板引擎具有缓存功能、Spring MVC也在HTTP头中添加了缓存字段。DevTools通过配置属性，禁用了这些功能。

默认情况下，使用了DevTools的应用会在类路径发生变化时自动重启，注意模板、静态资源不会触发重启。具体来说，下列位置的资源不会触发重启：

/META-INF/maven, /META-INF/resources ,/resources ,/static ,/public和/templates

如果需要显式指定那些资源不会触发重启，配置下面的属性：

# 自己指定不触发的资源
spring.devtools.restart.exclude=static/**,public/**
# 在默认不触发资源目录列表的基础上，额外增加
spring.devtools.restart.additional-exclude=

如果需要额外指定会触发重启的资源，配置下面的属性：

spring.devtools.restart.additional-exclude=

如果你使用某种持续的自动编译、产生输出的IDE，并且期望在这些输出发生变化时，触发重启，配置下面的属性：

spring.devtools.restart.trigger-file= 

要禁用DevTools的重启功能，配置下面的属性：

spring.devtools.restart.enabled=false

配置下面的属性以确定哪些JAR包由restart加载器加载：

# 下面的JAR由Base加载器加载
restart.exclude.companycommonlibs=/mycorp-common-[\\w-]+\.jar
# 下面的JAR由restart加载器加载
restart.include.projectcommon=/mycorp-myproj-[\\w-]+\.jar

DevTools包含了一个内嵌的LiveReload服务器，可以用来在资源发生变化时触发浏览器刷新。各大浏览器均有LiveReload扩展。

如果要禁用LiveReload服务器，配置：

spring.devtools.livereload.enabled=false 

此类提供了一些便捷方法，用于Spring应用的自举。最简单的用法：

SpringApplication.run(MyConfiguration.class, args);

可以使用链式调用进行定制化：

new SpringApplicationBuilder()
        .sources(Parent.class)
        .child(Application.class)
        .bannerMode(Banner.Mode.OFF)
        .run(args); 

启动后，控制台默认打印INFO级别的日志。

如果应用自举失败，已经注册的FailureAnalyzer会打印相关的信息，Spring Boot提供了很多FailureAnalyzer实现。 

如果FailureAnalyzer没有提供有价值的信息，你可以设置应用程序参数

--debug

你可以在类路径下放置一个banner.txt文件，或者设置banner.location来指定任意文件。你还可以在类路径下添加banner.png|gif|jpg等图片，这些图片会被转换为ASCII（透明的PNG背景被转换为黑色），打印在文本Banner之前。

除了ContextRefreshedEvent，SpringApplication会发布很多额外的事件：

SpringApplication会自动尝试创建合适的ApplicationContext实现类。默认的：

1. 如果当前应用是Web应用，创建AnnotationConfigEmbeddedWebApplicationContext
2. 否则创建AnnotationConfigApplicationContext

你可以调用setWebEnvironment()来强制指定是否Web应用。

你可以注入此类型，以访问传递给SpringApplication.run的参数。

Environment对象是配置信息的容器。

Spring Boot允许你把配置信息外部化，这样同一套代码就可以很容易的在不同环境下运行。

你可以使用YAML 、环境变量、命令行参数来指定配置。

使用

@Value

@Component
public class Bean {
    @Value("${name}")
    private String name;

}

如果类路径下的application.properties文件中有name这个键，或者命令行指定了--name参数，则会被注入到上述Bean的属性中。

Spring使用PropertySource来定位配置属性，它会从以下位置寻找（优先级从高到低）：

1. 当使用DevTools时，DevTools全局设置，位于~/.spring-boot-devtools.properties
2. 位于测试用例上的@TestPropertySource注解
3. 位于测试用例上的@SpringBootTest#properties注解
4. 命令行参数。例如 --server.port=9090
5. 来自SPRING_APPLICATION_JSON中的属性，这是内联在环境变量或者系统属性中的一个JSON
6. ServletConfig初始化参数
7. ServletContext初始化参数
8. 来自java:comp/env的JNDI属性
9. 系统属性System.getProperties()
10. OS环境变量
11. RandomValuePropertySource中的random.*属性
12. 位于应用JAR包外部的application-{profile}.properties文件（或者YAML），针对特定profile
13. 位于应用JAR包内部的application-{profile}.properties文件（或者YAML），针对特定profile
14. 位于应用JAR包外部的application.properties文件（或者YAML）
15. 位于应用JAR包内部的application.properties文件（或者YAML）
16. @Configuration类上的@PropertySource注解
17. 缺省属性，来自SpringApplication.setDefaultProperties

其中application.properties的搜索位置包括（优先级从高到低）：

1. 当前目录的/config子目录
2. 当前目录
3. 类路径下的/config包
4. 类路径根目录

如果你不想使用上述默认属性文件名称，可以指定命令行参数：

--spring.config.location=classpath:/default.properties,classpath:/override.properties

你可以针对不同运行环境，为Spring Boot应用定义多个Profile。Environment包含了若干内置Profile，且默认激活（如果你没有激活其它）default这个Profile。

针对特定Profile的属性定义在application-{profile}.properties文件中。

通过设置spring.profiles.active属性，可以改变当前活动Profile。例如：

spring.profiles.active=dev,hsqldb

在属性文件中，你可以通过占位符引用先前定义的属性：

app.name=MyApp
app.description=${app.name} is a Spring Boot application

你可以在属性文件中引用Maven项目属性：

spring.profiles.active=@environment@
app.encoding=@project.build.sourceEncoding@
app.java.version=@java.version@

配合Maven Profile：

<profile>
    <id>pro</id>
    <properties>
        <environment>pro</environment>
    </properties>
</profile>

则运行

mvn package -Ppro

Spring Boot支持使用Java Util Logging、Log4J2、Logback这几种日志实现。如果你使用Starters，则默认使用Logback。要定制日志配置，使用以下配置文件：

你可以使用Slf4J提供的日志API。

可以在application.properties中配置对应的属性：

# 设置根日志级别
logging.level.root=DEBUG
# 设置日志级别
logging.level.cc.gmem=DEBUG
# 配置基于文件的日志
logging.file=${java.io.tmpdir}/application.log
# 配置日志输出格式
logging.pattern.console= "%d{yyyy-MM-dd HH:mm:ss} - %msg%n"
logging.pattern.file= "%d{yyyy-MM-dd HH:mm:ss} [%thread] %-5level %logger{36} - %msg%n"

Spring MVC框架允许你创建特殊的@Controller、@RestController以处理入站的HTTP请求，具体处理逻辑由注解了@RequestMapping的方法负责。

执行以下自动配置：

1. 包含ContentNegotiatingViewResolver 、BeanNameViewResolver 这两个Bean
2. 支持包括WebJars在内的静态资源
3. 自动注册Converter、GenericConverter、Formatter
4. 支持HttpMessageConverters
5. 自动注册MessageCodesResolver
6. 支持静态index.html
7. 支持定制Favicon
8. 自动使用ConfigurableWebBindingInitializer 

如果你仅仅想添加额外的拦截器、formatters、view controllers，可以在WebMvcConfigurerAdapter的子类上加@Configuration注解，但是不使用@EnableWebMvc注解。

如果你希望使用自己实现的RequestMappingHandlerMapping、RequestMappingHandlerAdapter 、ExceptionHandlerExceptionResolver ，声明一个WebMvcRegistrationsAdapter，提供这些组件。

如果你希望对Spring MVC进行完全的控制，在主配置类上添加@EnableWebMvc注解。

如果需要自定义消息转换器，声明HttpMessageConverters类型的Bean即可：

import org.springframework.boot.autoconfigure.web.HttpMessageConverters;
// ...
@Bean
public HttpMessageConverters customConverters() {
    HttpMessageConverter<?> additional = ...
    HttpMessageConverter<?> another = ...
    return new HttpMessageConverters(additional, another);
}

当基于JacksonJSON来编解码JSON时，你可能需要定制JsonSerializer、JsonDeserializer。

结合Spring Boot使用时，如果要注册定制的编解码器，需要在编解码器类（或者其外部类）上声明注解：

@JsonComponent
public class JsonCodecs {
    public static class Serializer extends JsonSerializer {}
    public static class Deserializer extends JsonDeserializer {}
}

默认情况下，Spring Boot从类路径、ServletContext的根目录下寻找：

1. /static
2. /public
3. /resources
4. /META-INF/resources 

这几个目录，并将其作为静态内容看待，你可以设置spring.resources.static-locations以修改静态目录。 这些静态内容默认映射URL为/**，你可以设置下面的属性以修改：

# 重新定位URL
spring.mvc.static-path-pattern=/resources/** 

除了以目录方式组织的静态内容，Spring Boot还支持WebJars。任何/webjars/**目录下的JAR，如果符合WebJar格式，将会被作为静态资源使用。

你可以在静态文件根目录中放置一个favicon.ico文件。

Spring Boot支持FreeMarker、Groovy、Thymeleaf、Mustache这几种模板引擎的自动配置。

JSP也可以使用。

Spring Boot默认提供了一个/error映射，来处理所有错误，并且注册为Servlet容器的全局错误页面。此错误页面的默认行为：

1. 对于浏览器客户端：以HTML格式显示一个页面。要定制此页面，可以配置一个映射到/error的View
2. 对于机器客户端：返回一个JSON响应，包含错误码、详细错误信息。此JSON响应对应的Java类为ErrorAttributes，你可以注册一个ErrorAttributes的子类型Bean，改变响应内容
   你还可以针对特定的控制器、异常类型，定制此JSON：
   

   // 针对和FooController在同一包中的所有控制器
   @ControllerAdvice(basePackageClasses = FooController.class)
   public class FooControllerAdvice extends ResponseEntityExceptionHandler {
       // 针对YourException
       @ExceptionHandler(YourException.class)
       @ResponseBody
       ResponseEntity<?> handleControllerException(HttpServletRequest request, Throwable ex) {
           HttpStatus status = getStatus(request);
           // CustomErrorType的JSON展示会代替ErrorAttributes写到响应中
           return new ResponseEntity<>(new CustomErrorType(status.value(), ex.getMessage()), status);
       }
   
       private HttpStatus getStatus(HttpServletRequest request) {
           Integer statusCode = (Integer) request.getAttribute("javax.servlet.error.status_code");
           if (statusCode == null) {
               return HttpStatus.INTERNAL_SERVER_ERROR;Media Source
           }
           return HttpStatus.valueOf(statusCode);
       }
   
   }Environment

要完成替换上述默认行为，可以注册一个ErrorController类型的Bean。

如果希望针对不同的HTTP状态码定制错误页面，添加一个文件到/error目录下。错误页面可以是静态HTML或者某种被支持的模板。 

例如，要对404定制错误页面，可以创建src/main/resources/public/error/404.html。要对所有5xx定制错误页面，可以在前面的目录中创建5xx.ftl。

跨源资源共享（Cross-origin resource sharing）是被浏览器广泛实现的W3C规范，允许你指定一个灵活的策略，允许哪些跨Domain请求被发送。使用CORS可以避免使用IFRAME、JSONP等变通技术。

Spring MVC 4.2开始对CORS进行了开箱即用的支持。你可以在控制器方法上使用@CrossOrigin注解。或者配置全局性的CORS策略：

@Configuration
public class MyConfiguration {
    @Bean
    public WebMvcConfigurer corsConfigurer() {
        return new WebMvcConfigurerAdapter() {
            @Override
            public void addCorsMappings(CorsRegistry registry) {
                registry.addMapping("/api/**");
            }
        };
    }
}

如果你喜欢基于JAX-RS编程模型创建REST端点，你可以使用Jersey、 Apache CXF等框架。要集成到Spring你只需要把它们的Servlet、Filter注册为@Bean。

Jersey 2.x对Spring集成提供了支持，Spring Boot可以进行自动配置，你需要依赖spring-boot-starter-jersey这个Starter并且注册ResourceConfig类型的Bean：

@Component
@ApplicationPath("/api")  // 默认情况下Jersey Servlet被映射到/*，此注解用于定制映射路径
public class JerseyConfig extends ResourceConfig {
    public JerseyConfig() {
        register(Endpoint.class);
    }
}
// 所有注册的Endpoint，必须是@Component，且包含HTTP资源注解（例如GET)
@Component
@Path("/hello")
public class Endpoint {
    @GET
    public String message() {
        return "Hello";
    }
}

要进行更定制化的配置，实现任意数量的ResourceConfigCustomizer类型的Bean。

默认情况下，Jersey在一个ServletRegistrationBean类型的@Bean中初始化其Servlet。此Servlet默认是延迟加载的，你可以配置属性spring.jersey.servlet.load-on-startup让其立即加载。 你也可以配置spring.jersey.type=filter，这样一个ServletFilter会代替上述Servlet。

添加Maven依赖：

<dependencies>
  <dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter</artifactId>
  </dependency>
  <dependency>
    <groupId>org.apache.cxf</groupId>
    <artifactId>cxf-spring-boot-starter-jaxrs</artifactId>
    <version>3.3.1</version>
  </dependency>
  <dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-test</artifactId>
    <scope>test</scope>
  </dependency>
  <!-- 对JSON的支持 -->
  <dependency>
    <groupId>org.codehaus.jackson</groupId>
    <artifactId>jackson-jaxrs</artifactId>
    <version>1.9.13</version>
  </dependency>
  <dependency>
    <groupId>org.codehaus.jackson</groupId>
    <artifactId>jackson-xc</artifactId>
    <version>1.9.13</version>
  </dependency> 
</dependencies>

RESTful资源接口示例，一般直接将Service层作为RESTful资源的接口：

import java.util.Collection;

import javax.ws.rs.GET;
import javax.ws.rs.Path;
import javax.ws.rs.PathParam;
import javax.ws.rs.Produces;
import javax.ws.rs.core.MediaType;
import javax.ws.rs.core.Response;

import com.javacodegeeks.examples.jaxrs.model.Student;

// 将此类标识为根资源
@Path("students")
// 指定请求、响应的MIME类型
@Consumes("application/json;charset=UTF-8")
@Produces(MediaType.APPLICATION_JSON)
public interface StudentService {
  
  // 动词，此外支持@POST, @UPDATE，@DELETE
  @GET
  public Collection<Student> getAllStudents();
  
  @Path("{id}")
  @GET
  // 返回值类型javax.ws.rs.core.Response，是HTTP响应的抽象
  public Response getById(@PathParam("id") Long id);

}

在Spring属性中配置CXF：

# 默认/services
cxf.path=/studentservice
# 让CXF自动扫描带有JAX-RS注解的类
cxf.jaxrs.classes-scan=true
cxf.jaxrs.classes-scan-packages=cc.gmem.springboot.jaxrs

现在你可以通过URL：http://localhost:8080/studentservice/students来访问 StudentService暴露的RESTful服务了。

Spring Boot支持内嵌的Tomcat、Jetty或者Undertow。通过合适的Starter你就可以得到自动化的配置。内嵌服务器默认监听端口8080。

当使用内嵌Servlet容器时，标准的Servlet组件（Servlet、Filter、Listener）既可以注册为Spring Beans，也可以自动被扫描。要启用自动扫描，使用@ServletComponentScan注解，@WebServlet、@WebFilter、@WebListener可以被自动扫描。

如果应用中仅仅有一个Servlet，它会默认被映射到 /，如果有多个Servlet，其Bean名称被作为URL前缀。Filter默认映射到/*。

如果自动化配置不能满足需要，你可以实现自己的ServletRegistrationBean、FilterRegistrationBean或者ServletListenerRegistrationBean。

要定制Servlet容器的运行参数，可以使用配置属性，通常定义在application.properties文件中。通用的配置属性包括：

# 密钥数据库的位置
server.ssl.key-store:classpath:keystore.jks
# 密钥数据库的密码
server.ssl.key-store-password:kurento
# 密钥数据库的类型
server.ssl.keyStoreType:JKS
# 使用的密钥
server.ssl.keyAlias:kurento-selfsigned

这是一种特化的WebApplicationContext，在自举时它会寻找一个EmbeddedServletContainerFactory实现类，通常是TomcatEmbeddedServletContainerFactory、JettyEmbeddedServletContainerFactory或者UndertowEmbeddedServletContainerFactory，以创建Servlet容器。

Spring Boot支持基于内嵌容器的自动化WebSockets配置，包含对spring-boot-starter-websocket的依赖即可。 

要启用任务调度支持，只需要在应用程序入口添加

@EnableScheduling

@EnableScheduling
public class App {}


// 每5秒调度执行一次
@Scheduled( fixedRate = 5000 )
@Scheduled( cron = "*/5 * * * * * *" )
// 每次执行完毕后，延迟5秒再次执行
@Scheduled( fixedDelay = 5000 )
public synchronized void cleanup() {
}

引入依赖：

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-cache</artifactId>
</dependency>

在主程序上使用注解来启用缓存支持：

import org.springframework.cache.annotation.EnableCaching;

@SpringBootApplication
@EnableCaching
public class CacheApplication {} 

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <dependencies>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>6.0.6</version>
        </dependency>

        <!-- 使用Log4j2 -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
            <version>RELEASE</version>
            <exclusions>
                <exclusion>
                    <groupId>org.springframework.boot</groupId>
                    <artifactId>spring-boot-starter-logging</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-log4j2</artifactId>
            <version>RELEASE</version>
        </dependency>
        <dependency>
            <groupId>com.fasterxml.jackson.dataformat</groupId>
            <artifactId>jackson-dataformat-yaml</artifactId>
            <version>2.5.0</version>
        </dependency>

        <!-- Spring Boot 缓存支持 -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-cache</artifactId>
            <version>RELEASE</version>
        </dependency>
        <!-- Spring Boot data-jpa支持 -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-jpa</artifactId>
            <version>RELEASE</version>
        </dependency>
    </dependencies>
</project>

spring.jpa.show-sql=true
spring.jpa.hibernate.ddl-auto=none

spring.datasource.url=jdbc:mysql://10.255.223.241:3306/digital
spring.datasource.username=digital
spring.datasource.password=digital
spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver

package cc.gmem.study.sb.entity;

import javax.persistence.Column;
import javax.persistence.Entity;
import javax.persistence.Id;
import javax.persistence.Table;

@Entity
@Table( name = "media" )
public class Media {

    @Id
    private Long mediaId;

    @Column
    private Long saleId;

    @Column
    private String title;

    @Column( name = "is_bn" )
    private String isbn;

    @Column( name = "shelf_status" )
    private boolean onShelf;
}

package cc.gmem.study.sb.repo;


import cc.gmem.study.sb.entity.Media;
import org.springframework.cache.annotation.*;
import org.springframework.data.jpa.repository.JpaRepository;
import org.springframework.data.jpa.repository.Query;
import org.springframework.data.repository.query.Param;

/**
 * JpaRepository<EntityClass,IdType>，继承了：
 *      PagingAndSortingRepository 支持分页和排序
 *          CrudRepository 支持常规增删改查
 *              Repository 标识接口
 */

/* 类级别的缓存公共设置 */
@CacheConfig( cacheNames = "media" )
public interface MediaRepository extends JpaRepository<Media, Long> {

    // 指定一个JPA查询
    @Query( "SELECT m FROM Media m WHERE m.isbn=:isbn AND m.onShelf=true" )
    /**
     * 将函数调用结果放入缓存，优先从缓存中查找，如果找不到才真正调用函数
     * key 指定SpEL表达式作为缓存键，p0表示第一个入参，result表示返回值
     * keyGenerator 不能和key同时使用，指定一个org.springframework.cache.interceptor.KeyGenerator实现类
     * sync 多个线程同时调用此函数时，是否串行化。当底层操作非常耗时时可以设置为true
     * condition 指定SpEL，仅当（在函数调用前的）求值结果为true时才会缓存
     * unless 指定SpEL，仅当（在函数调用后的）求值结果为false时才会缓存，可以引用result变量
     * cacheManager 指定使用的缓存管理器，@EnableCaching会自动注册可用的缓存管理器，查找缓存实现的顺序为：
     *      GenericJCache EhCache 2.x Hazelcast Infinispan Redis Guava Simple
     *      可以使用spring.cache.type强制指定
     * cacheResolver 指定使用的缓存解析器
     */
    @Cacheable( key = "#p0", sync = false, condition = "#p0.length()==13", unless = "#result == null" )
    Media findByIsbn( @Param( "isbn" ) String isbn );

    @Override
    /**
     * 调用此函数时导致缓存清除
     * allEntries 清除所有缓存
     * beforeInvocation 在调用函数前还是后执行清除
     */
    @CacheEvict( key = "#p0", allEntries = false, beforeInvocation = false )
    void deleteById( Long mediaId );

    @Override
    // 下面的注解总是调用函数并缓存其结果
    @CachePut( key = "#p0.isbn" )
    // 可以同时存储多个缓存
    @Caching(
        put = {
            // 可以引用result
            @CachePut(value = "media", key = "#result.username", condition = "#result != null"),
            @CachePut(value = "media", key = "#result.id", condition = "#result != null")
        }
    )
    Media save( Media media );
}

package cc.gmem.study.sb.service;


import cc.gmem.study.sb.entity.Media;
import cc.gmem.study.sb.repo.MediaRepository;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import javax.transaction.Transactional;

@Service
@Transactional
public class MediaService {

    @Autowired
    private MediaRepository repo;

    public Media findUserByIsbn( String isbn ) {
        return repo.findByIsbn( isbn );
    }
}

package cc.gmem.study.sb;

import cc.gmem.study.sb.entity.Media;
import cc.gmem.study.sb.service.MediaService;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.boot.autoconfigure.domain.EntityScan;
import org.springframework.cache.annotation.EnableCaching;
import org.springframework.context.ApplicationContext;
import org.springframework.data.jpa.repository.config.EnableJpaRepositories;

@SpringBootApplication
// 启用Spring基于注解的缓存管理
@EnableCaching
// 从何处扫描JPA实体类
@EntityScan( basePackages = { "cc.gmem.study.sb.entity" } )
// 从何处查找Repository接口的子接口，并自动生成实现类
@EnableJpaRepositories( basePackages = "cc.gmem.study.sb.repo" )
public class JPACacheApplication {

    private static final Logger LOGGER = LoggerFactory.getLogger( JPACacheApplication.class );

    public static void main( String[] args ) {
        ApplicationContext ctx = SpringApplication.run( JPACacheApplication.class, args );
        MediaService ms = ctx.getBean( MediaService.class );
        Media m = ms.findUserByIsbn( "9787547227961" );
        LOGGER.debug( m.getTitle() );
        m = ms.findUserByIsbn( "9787547227961" );
        LOGGER.debug( m.getTitle() );
    }
}

org.springframework.boot.diagnostics应该调整到debug级别， org.springframework应该调整到warn级别，这样可以看到更多有价值的日志。

The post Spring Boot学习笔记 appeared first on 绿色记忆.

Apache Curator（音标[kjʊ(ə)'reɪtə]）Framework是ZooKeeper的Keeper（动物园管理员的管理员）。它是一个Java库，提供了比ZooKeeper更加高层的API，更加易用、可靠。Curator的推荐的ZooKeeper版本是 3.5+，但它也和3.4兼容。

Curator实现了自动的连接管理，当会话过期后，你需要重新创建ZooKeeper客户端，并重新设置Watcher。Curator可以透明的重新创建、重试连接。

Curator以组标识

org.apache.curator

当前版本是4.0.0，通常你需要引用下面这个构件。此构件对curator-framework、curator-client有依赖：

<dependency>
    <groupId>org.apache.curator</groupId>
    <artifactId>curator-recipes</artifactId>
    <version>4.0.0</version>
</dependency>

Curator内置了重连逻辑，因此你不再需要手工Watch和管理了：

String zookeeperConnectionString = "172.21.0.1:2181,172.21.0.2:2181,172.21.0.3:2181";
// 重试策略，如果连接不上ZooKeeper集群如何重连
RetryPolicy retryPolicy = new ExponentialBackoffRetry( 1000, 3 );
CuratorFramework client = CuratorFrameworkFactory.newClient( zookeeperConnectionString, retryPolicy );
client.start();
// 创建znode
client.create().forPath( "/tmp", EMPTY );

client.create().withMode(CreateMode.EPHEMERAL_SEQUENTIAL).forPath("/user", new byte[0]);

client.delete().inBackground().forPath("/user");

client.getData().watched().inBackground().forPath("/user");

Recipes封装了很多高层语义，例如互斥锁、Leader选举，你不再需要手工实现了：

// 分布式互斥锁用法：
InterProcessMutex lock = new InterProcessMutex(client, lockPath);
if ( lock.acquire(maxWait, waitUnit) ) {
    try{
        // 临界区
    }
    finally{
        lock.release();
    }
}

// 在多个进程之间选择Leader
LeaderSelectorListener listener = new LeaderSelectorListenerAdapter() {
    public void takeLeadership(CuratorFramework client) throws Exception {
        // 如果当前进程被选择为Leader则此回调被调用
        // 除非当前进程想放弃Leader地位，不要退出此方法
    }
}

LeaderSelector selector = new LeaderSelector(client, path, listener);
selector.autoRequeue();
selector.start();

Curator提供了此接口，用于处理连接中断：

public interface ConnectionStateListener {
    public void stateChanged(CuratorFramework client, ConnectionState newState);
} 

使用某些Recipe时，你应该通过Listenable.addListener注册此接口的实现。

Recipes是Curator提供的高层封装。大部分Recipes都会自动创建所需要的父znode。

在分布式计算领域，多个同类型服务器（节点）通常需要指定其中一员作为Leader，例如主从复制场景下需要指定主节点（Leader）。

Leader通常通过选举产生，在选举前，任何节点均不知道Leader是谁，选举完毕后，则所有节点对Leader是谁达成共识。

Curator提供了两个Recipes来支持选举。其中LeaderSelectorListener已经在起步一章示例过。

用法示例：

String id = "websvr0";
LeaderLatch ll = new LeaderLatch( client, "/pems/websvr", id );
// 需要先启动
// 一旦启动，LeaderLatch会自动联系其它选举参与者，并随机选择一个作为Leader
ll.start();
// 任何时候，你可以调用下面的接口来判断当前进程是否为Leader
ll.hasLeadership();
// 一直等待，知道变为Leader
ll.await();
// 把当前进程从被选举人列表中移除，如果当前是Leader则放弃此权利，其它进程会被选举为Leader
ll.close();

LeaderLatch会添加一个ConnectionStateListener来监控连接问题：

1. 当连接变为SUSPENDED/LOST状态后，当前Leader的hasLeadership()调用返回false（丢失Leader权限）
2. 当断开的连接变为RECONNECTED，LeaderLatch会删除之前创建的znode，并创建新的

这是一个分布式的可重入（锁的持有者可以反复获得锁）的共享锁，保证任何时刻只能有一个客户端占有锁。

用法示例：

InterProcessMutex mutex = new InterProcessMutex( client, "/mutex/resource" );
// 阻塞，直到获得锁。返回true
mutex.acquire();
// 阻塞一定时间，尝试获得锁，返回true/false
mutex.acquire( 1000, TimeUnit.SECONDS );
// 释放锁，仅仅当调用线程是当初获得锁的线程时，才可以释放
mutex.release();

// 使得锁可被撤销，当其它进程/线程attemptRevoke此锁时，你会得到通知
mutex.makeRevocable( forLock -> {
    // 得到通知后，你可以选择释放锁
    forLock.release();
} );

// 尝试撤销锁
Revoker.attemptRevoke(client,"/mutex/resource" );

你应当设置一个ConnectionStateListener来监听SUSPENDED/LOST状态变更：

1. 当连接变为SUSPENDED状态后，你无法确定当前是否仍然持有锁，除非恢复到RECONNECTED状态
2. 当连接变为LOST状态后，你肯定已经丢失了锁 

API类似于InterProcessMutex，对应类InterProcessSemaphoreMutex。此锁不可以重入。

这是一个可重入的读写锁，所有JVM中的所有线程共享一个分布式的临界区域。此外，该锁是“公平的” —— 每个请求者按照其请求的顺序（ZooKeeper角度）来获得锁。

读写锁维护一对相关联的锁，一个用于读，一个用于写。其中读锁可以被多个进程共同持有，而写锁则是独占的（也不允许读锁被持有）。

持有写锁者，可以继续请求读锁，反之则不行。通过获取写锁 —— 获取读锁 —— 释放写锁，可以实现锁降级。

代码示例：

InterProcessReadWriteLock lock = new InterProcessReadWriteLock( client, "/resource" );
// 获取两个相关的锁，然后调用InterProcessMutex的API即可
InterProcessMutex readLock = lock.readLock();
InterProcessMutex writeLock = lock.writeLock();

你应当设置一个ConnectionStateListener来监听SUSPENDED/LOST状态变更。 

这是一个分布式的信号量。所谓信号量，是一个有限数量的资源集，进程可以租借/归还信号量。此信号量实现是“公平的” —— 每个请求者按照其请求的顺序（ZooKeeper角度）来获得信号量。

确定信号量资源数的方式有两种：

1. 由SharedCountReader类提供
2. 静态声明信号量数量，这要求所有参与者声明相同的数值

代码示例：

// 声明一个具有10个资源的信号量
InterProcessSemaphoreV2 semaphore = new InterProcessSemaphoreV2( client, "/semaphore", 10 );
// 通过SharedCount指定资源数量
SharedCountReader sc = new SharedCount( client, "/sharedcount", 10 );
semaphore = new InterProcessSemaphoreV2( client, "/semaphore", sc );

// 租借一个资源，可选参数等待时间
Lease lease = semaphore.acquire();
// 租借N个资源，可选参数等待时间
Collection<Lease> leases = semaphore.acquire( 2 );

// 归还资源
lease.close();
// 或者：
semaphore.returnLease( lease );
semaphore.returnAll( leases );

你应当设置一个ConnectionStateListener来监听SUSPENDED/LOST状态变更。

持有一系列InterProcessLock的引用，客户端要么获取所有锁，要么失败。当释放时，所有锁一起被释放。

所谓屏障，是一个同步点。每一个进程到达此点都要等待，直到所有进程都到达，则继续。

代码示例： 

DistributedBarrier barrier = new DistributedBarrier( client, "/barrier" );
// 设置屏障，每个客户端设置一次
barrier.setBarrier();

// 等待所有客户端都到达，如果连接丢失，此方法会抛出异常
barrier.waitOnBarrier();

双重屏障，在协作开始之前同步，当足够数量的进程加入到屏障后，开始协作，当所有进程完毕后离开屏障。

代码示例：

// 建立一个10个资源的屏障
DistributedDoubleBarrier barrier = new DistributedDoubleBarrier( client, "/barrier", 10 );
// 进入屏障，当有10个客户端进入屏障后，阻塞解除
barrier.enter();
// 这里是协作逻辑 ...
// 离开屏障，当所有客户端都尝试离开时，阻塞解除
barrier.leave();

如果连接丢失，则enter/leave会抛出异常。 

一个共享的整数，所有客户端均看到一致性的、最新的数值。

代码示例：

// 第三个参数为初始值，假设路径不存在，则自动设置为此值
SharedCount counter = new SharedCount( client, "/counter", 0 );
// 此计数器需要启动
counter.start();
// 设置计数值
counter.setCount( 10 );
// 获取计数值
counter.getCount();
counter.addListener( new SharedCountListener() {
    @Override
    public void countHasChanged( SharedCountReader sharedCount, int newCount ) throws Exception {
        // 计数值变化后异步回调
    }

    @Override
    public void stateChanged( CuratorFramework curatorFramework, ConnectionState connectionState ) {
        // 连接数量变化后的异步回调
        // 如果连接变为SUSPENDED状态，你必须假设计数器的值不再精确
        // 如果连接变为LOST状态，则计数器永久性失效
    }
} );

Curator提供了一个基于Java 8 Completion Stage的纯异步客户端实现。要使用此实现，添加依赖：

<dependency>
    <groupId>org.apache.curator</groupId>
    <artifactId>curator-x-async</artifactId>
    <version>4.0.0</version>
</dependency>

String zookeeperConnectionString = "172.21.0.1:2181,172.21.0.2:2181,172.21.0.3:2181";
RetryPolicy retryPolicy = new ExponentialBackoffRetry( 1000, 3 );
CuratorFramework client = CuratorFrameworkFactory.newClient( zookeeperConnectionString, retryPolicy );
client.start();


// 此包装器提供异步API
AsyncCuratorFramework async = AsyncCuratorFramework.wrap( client );
//    检查znode /user是否存在             如果存在，打印状态结构
async.checkExists().forPath( "/user" ).thenAccept( stat -> LOGGER.debug( stat.toString() ) );

// 获取数据
async.getData().forPath( "/user" ).thenAccept( data -> LOGGER.debug( new String( data ) ) );

// 在最前面添加watched()调用，可以增加Watcher
// 使用AsyncStage（CompletionStage子类型）的event()方法，设置Watcher的回调
async.with( WatchMode.successOnly) // 不关心连接丢失类的事件
     .watched().getData().forPath( "/user" ).event().thenAccept( ev -> LOGGER.debug( ev.toString() ) );

// 同步化
async.create().forPath("/user").toCompletableFuture().get();

通过串行化机制，Apache Curator支持在ZooKeeper的znode中存储类型化的数据。这一功能由Modeled Curator组件负责。

MC不使用原始的字符串形式的路径，而是使用ZPath来抽象ZooKeeper路径。ZPath可以是简单的字符串，也可以包含路径变量，这些变量可以根据需要替换为动态的取值：

// 静态路径
ZPath staticPath = ZPath.parse( "/static/path" );
// 动态路径，使用 {} 包围路径变量，路径变量又叫ID，其中可以包含任何东西，例如{ any thing}但是没有什么意义
// 路径变量（ID）总是从左向右依次解析
ZPath path = ZPath.parseWithIds( "/static/{}/{}" );
// 路径变量可以被替换，如果用于替换的对象是NodeName，则调用其nodeName()方法，否则调用toString()方法
ZPath resolvedPath = path.resolved( "path", new NodeName() {
    public String nodeName() {
        return "name";
    }
}  );
// 输出内容：/static/path/name
System.out.println( resolvedPath );

// 路径可以被部分的解析：
System.out.println( path.resolved( "path" ) );

此类型包含对ZooKeeper路径进行操作（存取强类型对象）所需的全部元数据：

1. 一个ZPath
2. 用于串行化对象的串行化器
3. 关于如何创建znode的选项（顺序、压缩、TTL等）
4. 针对znode的ACL
5. 如何删除znode（是否删除子节点）

要写入一个数据模型到znode的关联数据，参考如下代码： 

public static class ServerInfo implements NodeName {
    private String name;
    private String type;

    @Override
    public String nodeName() {
        return getName();
    }
}

ModelSpec<ServerInfo> spec = ModelSpec.builder(
        ZPath.parseWithIds("/servers/{}"),
        JacksonModelSerializer.build(ServerInfo.class)
).build();
// 依赖异步客户端
ModeledFramework<ServerInfo> modeledClient = ModeledFramework.wrap(async, spec);

ServerInfo info = new ServerInfo();
info.setType("webserver");
info.setName("tk.gmem.cc");
// 输出：/servers/hk.gmem.cc，这个路径是把模型传入ZPath而解析得到的，因为模型实现了NodeName，因此调用其nodeName()替换路径变量
modeledClient.set(info).thenAccept(path -> LOGGER.debug(path)).toCompletableFuture().get();

本例使用JacksonJSON作为串行化机制的实现，需要引入依赖：

<dependency>
    <groupId>com.fasterxml.jackson.core</groupId>
    <artifactId>jackson-databind</artifactId>
    <version>LATEST</version>
</dependency>

ModelSpec<ServerInfo> spec = ModelSpec.builder(
        ZPath.parseWithIds("/servers/hk.gmem.cc"),
        JacksonModelSerializer.build(ServerInfo.class)
).build();
ModeledFramework<ServerInfo> modeledClient = ModeledFramework.wrap(async, spec);
modeledClient.read().whenComplete((info, e) -> {
    if (e != null) {
        
    } else {
        LOGGER.debug(info.getType());
    }
}).toCompletableFuture().get();

这一功能允许你在一个事务中，执行一系列的ZooKeeper操作。你可以使用迁移来保证某个ZooKeeper子树的数据一致性。示例：

// 一系列操作组成一个迁移
CuratorOp op1 = async.transactionOp().create().forPath("/parent");
CuratorOp op2 = async.transactionOp().create().forPath("/parent/one");
CuratorOp op3 = async.transactionOp().create().forPath("/parent/two");
CuratorOp op4 = async.transactionOp().create().forPath("/parent/three");
// Migration是一个函数式接口，本质上就是一系列操作
Migration migration = () -> Arrays.asList(op1, op2, op3, op4);
// 迁移集可以包含若干个迁移，迁移集必须有个ID
MigrationSet set = MigrationSet.build("main", Collections.singletonList(migration));

// 迁移管理器，负责执行迁移
// 迁移管理器会监控迁移集的执行状态，它只会应用那些没有应用的迁移
MigrationManager manager = new MigrationManager(client,
        lockPath,       // 迁移管理器会锁定此路径
        metaDataPath,   // 存储元数据的路径
        executor,       // 异步执行器
        lockMax         // 锁定最长时间
);
manager.migrate(set).exceptionally(e -> {
    if (e instanceof MigrationException) {
        // migration checksum failed, etc.
    } else {
        // some other kind of error
    }
    return null;
});

在SOA/分布式系统中，服务需要能够相互发现。例如，一个Web服务需要发现缓存服务。可以使用服务发现系统（Service Discovery system）来避免服务位置的硬编码。服务发现系统的功能包括：

1. 允许服务注册自己，便于其它服务调用之
2. 定位某种服务的但个实例
3. 当服务的实例发生变化，可以发出通知

Curator服务发现功能由单独的子项目实现：

<dependency>
    <groupId>org.apache.curator</groupId>
    <artifactId>curator-x-discovery</artifactId>
    <version>4.0.0</version>
</dependency>

这个类代表一个服务的实例，具有名称（同一类型服务共享）、标识符、地址、端口、可选的附加详细信息。服务实例被串行化在znode中，路径为/basePath/serviceName/id。

基于提供策略（provider strategy）对某个特定的命名服务的发现服务进行封装，所谓提供策略，决定了如何从多个服务实例中选择一个实例。内置的策略包括循环选择（Round Robin）、随机、粘性（Sticky，总选择一个实例）。

ServiceProviderBuilder作为ServiceProvider的工厂，由ServiceDiscovery提供。ServiceProviderBuilder允许你设置服务的名称以及其它可选的属性。

ServiceProvider必须在

start()

close()

getInstance()

noteError()

由ServiceDiscoveryBuilder创建，此类负责提供ServiceProviderBuilder。

ServiceProvider必须在

start()

close()

// 当前JVM提供的服务实例
ServiceInstance<InstanceDetail> thisService = ServiceInstance.<InstanceDetail>builder()
        .name( "cacheService" )
        .payload( new InstanceDetail() )
        .address( "192.168.0.89" )
        .port( 8088 )
        .uriSpec( new UriSpec( "http://{address}:{port}" ) )
        .build();

// 服务发现
JsonInstanceSerializer<InstanceDetail> serializer = new JsonInstanceSerializer<InstanceDetail>( InstanceDetail.class );
ServiceDiscovery<InstanceDetail> discovery = ServiceDiscoveryBuilder
        .builder( InstanceDetail.class )
        .client( client )
        .basePath( "/sd" )
        .serializer( serializer )
        .thisInstance( thisService )
        .build();
// 需要启动
discovery.start();

// 服务提供者
ServiceProvider<InstanceDetail> sp = discovery
        .serviceProviderBuilder()
        .serviceName( "cacheService" )
        // 随机选取服务实例
        .providerStrategy( new RandomStrategy<>() )
        // 如果在一分钟内，有10此noteError则认为目标实例宕机
        .downInstancePolicy( new DownInstancePolicy( 60, TimeUnit.SECONDS, 10 ) )
        .build();
// 需要启动
sp.start();


LOGGER.debug( sp.getInstance().buildUriSpec() );

为了让非JVM应用使用服务发现功能，Curator提供了RESTful的WebService，你可以通过HTTP协议来注册、移除、查询服务。

Curator提供了JAX-RS组件，你可以在任何Web容器中，配合JAX-RS提供者（例如Jersey）使用该组件。

可能原因是ZooKeeper服务器的版本与工程声明的ZooKeeper客户端版本不兼容导致。

The post Apache Curator学习笔记 appeared first on 绿色记忆.

Apache Drill是一个模式自由（Schema-free ）的、低延迟的、分布式的、可扩容的SQL查询引擎，可以让你使用熟悉的SQL语法对各种非关系型数据库进行操作。Drill支持针对PB级别数据的即席查询。Drill支持大量NoSQL数据和文件系统，包括MongoDB、HBase、HDFS。支持对不同数据源中的数据进行join操作。Drill支持Windows/Linux/Mac系统，可以很容易的在服务器集群中扩容。

Drill的优势包括：

1. 支持模式自由的JSON模型，Drill是第一个、目前也是唯一的不对Schema做任何要求的分布式SQL引擎。这种模式自由类似于MongoDB。Drill在查询执行过程中可以自动发现Schema
2. 即席的查询复杂的、半结构化的数据。你不需要对数据进行任何转换，Drill对SQL进行了直观的扩展，方面处理内嵌数据，就好像内嵌数据是普通的SQL列一样
3. 真实的SQL语言，Drill支持标准的SQL 2003语法。支持DATE, INTERVAL, TIMESTAMP, VARCHAR等数据类型，以及关联子查询、JOIN子句
4. 方便的和既有BI工具集成
5. 针对Hive表的交互式查询
6. 同时访问多个数据源
7. 用户自定义函数支持，直接支持Hive用户定义函数
8. 高性能、可扩容

Drill的核心是Drillbit服务，它负责接受客户请求、处理查询、返回查询结果。Drillbit可以被安装到并运行在数据库集群的所有节点上，这样在执行查询时可以减少网络流量。Drill通过ZooKeeper来维护集群成员状态、检查健康状况。

当你以SQL的形式发起一个查询时，查询被发送给Drill集群中的一个Drillbit，这个Drillbit成为领头（Foreman），它负责协作其它Drillbit以完成查询执行：

1. 解析SQL语句，将SQL操作符转换为Drill理解的逻辑操作符。这些逻辑操作符共同组成了逻辑执行计划，描述了生成查询结果所需的操作、哪些数据源需要参与其中
2. Foreman把逻辑计划发送给基于成本的优化器，优化操作符的顺序，最终转换为物理执行计划
3. Foreman中的并行器（parallelizer）把物理计划分为多个阶段 —— major/minor fragments。这些片断会并行的在所配置的数据源中执行

构成执行计划的一个阶段，每个阶段可以由1-N个主片断构成，这些片断代表完成此阶段Drill必须执行的操作。Drill为每个主片段分配一个ID。

例如，为了针对两个文件进行哈希聚合，Drill可能创建具有两个阶段的查询计划，每个计划包含一个主片断。第一个阶段专注于扫描文件，第二个阶段则专注于数据的聚合。

Drill使用exchange operator来分隔多个主片段，所谓exchange可以是：

1. 数据位置的变化，或/和
2. 物理计划的并行化

一个exchange由sender/receiver组成，允许数据在节点之间流动。

主片断本身不负责任何查询任务的实际执行。每个主片段包含若干个从片断，从片断负责执行并完成查询。

你可以获得物理计划的JSON表示，修改之，然后通过Drill的SUBMIT PLAN命令提交执行。

每个主片断被并行化为多个从片断。从片断是运行在一个线程内的逻辑工作单元（也叫slice）。每个从片断被分配一个ID。

Foreman中的并行器在执行期间把一个主片段拆分为1-N个从片断。Drill会根据数据局部性（data locality）把从片断调度到特定的节点上，并尽快的执行从片断（根据上流数据需求）。

从片断包含1-N个关系操作符，关系操作符执行关系型操作，例如scan, filter, join,group by。

从片断们可以形成树形结构，并分为root、intermediate、leaf三种角色。这种执行树仅仅包含一个运行在Foreman上的root从片断，需要执行的操作逐级下发，直到leaf从节点。leaf从节点与存储层交互或者访问磁盘数据，得到部分的结果，由上级节点进行聚合操作。 

每个Drillbit都由以下模块组成：

Drill暴露的低资源消耗的RPC协议，用于客户端连接。客户端可以直接连接到Drillbit，或者通过ZooKeeper连接。推荐使用后一种方式，以隔离Drill集群变化造成的影响。

基于开源SQL解析器Calcite实现，用于解析客户端请求。解析结果是语言无关、计算机友好的逻辑计划。

屏蔽特定数据存储的差异性。存储插件的功能包括：

1. 从数据源获取元数据
2. 读写数据
3. 数据位置感知、一系列优化规则

访问Drill的途径包括：

1. Drill Shell
2. Drill Web Console
3. ODBC/JDBC
4. C++ API

如果仅仅在单个节点上使用Drill，可以使用嵌入式安装。这种模式下，不需要安装ZooKeeper，也不需要进行配置。当你启动Drill shell时，本地的Drillbit服务自动启动。

安装步骤：

wget http://apache.mirrors.hoobly.com/drill/drill-1.11.0/apache-drill-1.11.0.tar.gz
tar xzf apache-drill.tar.gz

要运行Drill，执行下面的命令以打开Drill Shell：

drill-embedded
0: jdbc:drill:zk=local> 
# 命令提示符说明：
# 0 表示连接到drill的连接数
# jdbc为连接类型
# zk=local 作为ZooKeeper的代替

或者执行

sqlline -u "jdbc:drill:zk=local"

要退出Drill Shell，在Shell中输入

!quit

要访问Web Console，在浏览器地址栏输入

http://127.0.0.1:8047/

要在Hadoop集群环境下使用Drill，可以使用分布式安装。ZooKeeper的分布式集群是必须的前提，你也需要对Drill进行配置，才能连接到各种数据源。

下载、解压后，修改配置文件：

drill.exec: {
  # Drill集群标识符
  cluster-id: "drillbits",
  # ZooKeeper连接字符串
  zk.connect: "172.21.0.1:2181,172.21.0.2:2181,172.21.0.3:2181"
}

要以集群模式启动Drill，首先需要在集群的每个节点上启动守护程序Drillbit：

# 命令格式：drillbit.sh [--config <conf-dir>] (start|stop|status|restart|autorestart)
/home/alex/JavaEE/middleware/drill/bin/drillbit.sh --config /home/alex/JavaEE/middleware/drill/conf start

要连接到分布式部署的Drill Shell，可以：

1. 执行drill-conf，此脚本使用conf/drill-override.conf配置
2. 执行drill-localhost连接到运行在本机的ZooKeeper 

连接上以后，可以执行

SELECT * FROM sys.drillbits;

参考如下Dockerfile：

FROM openjdk:8-jre

ENV CLUSTER_ID drillbits
ENV ZK_CONNECT 172.21.0.1:2181


RUN apt-get install -y wget tar

ADD docker-entrypoint.sh .
ADD apache-drill.tar.gz  .

RUN chmod +x docker-entrypoint.sh && mv apache-drill-1.11.0 /opt/drill

ENTRYPOINT ["/docker-entrypoint.sh"]

入口脚本：

#!/usr/bin/env bash

cat << EOF  > /opt/drill/conf/drill-override.conf
drill.exec: {
  cluster-id: "$CLUSTER_ID",
  zk.connect: "$ZK_CONNECT"
}
EOF

/opt/drill/bin/drillbit.sh --config /opt/drill/conf run

创建并运行容器： 

docker run -e ZK_CONNECT=172.21.0.1:2181,172.21.0.2:2181,172.21.0.3:2181 --name drill-14 \
           --network local --ip 172.21.1.14 -d docker.gmem.cc/drill 

你可以配置分配给Drillbit的用于处理查询的直接内存的量。默认配置是8G，在高负载下可能需要16G或者更多。

Drill使用Java的直接内存来存储执行中的操作，除非必须，它不会使用磁盘。这和MapReduce不同，后者将任务每个阶段的输出都存放在磁盘上。JVM的堆内存不限制Drillbit能够使用的直接内存。Drillbit的堆内存通常设置到4-8G就足够了，因为Drill避免在堆中写数据。

从1.5版本开始，Drill使用新的直接内存分配器，可以更好的使用、跟踪直接内存。由于这一变化，sort操作符可能因为内存不足而失败。

系统选项 planner.memory.max_query_memory_per_node 设置单个Drillbit中每个查询的sort操作符能够使用的内存量。如果一个查询计划中包含多个sort操作符，它们共享这一内存。如果sort查询出现内存问题，考虑增加此选项的值。如果问题仍然存在，考虑减小系统选项planner.width.max_per_node的值，该值控制单个节点的并行度。

在drill-env.sh中设置环境变量：

# 如果堆内存没有设置，将其设置为4G
export DRILL_HEAP=${DRILL_HEAP:-"4G”}  
# 如果直接内存没有设置，将其设置为8G
export DRILL_MAX_DIRECT_MEMORY=${DRILL_MAX_DIRECT_MEMORY:-"8G"}

Drill提供两种角色：

用户身份模拟（Impersonation）允许一个服务代表客户端执行某个操作。默认的，身份模拟被关闭。

Drill支持基于Linux PAM的身份验证。PAM允许和系统密码文件（/etc/passwd）或者LDAP等PAM实体进行交互以完成身份验证。

使用PAM验证时，运行Drill查询的用户必须存在于每一个Drill节点上。

Drill支持Kerberos v5网络认证、客户端 - Drill的通信加密。需要配合JDBC驱动来使用该认证方式。

在启动时，一个Drillbit必须被验证。在运行时Drill使用和KDC共享的keytab文件，Drill使用该文件来验证票据的合法性。

配置

security.user.encryption.sasl.enabled

你需要为Drill创建principal，可以：

kadmin
# 一个集群使用单个实体
# addprinc  <username>/<clustername>@<REALM>.COM 
addprinc  drill/drillbits@GMEM.CC

你需要为上面的principal创建一个keytab文件：

ktadd -k /home/alex/JavaEE/middleware/drill/conf/drill.keytab drill/drillbits@GMEM.CC

然后，为Drill配置文件添加：

drill.exec: {
  security: {
  	user.auth.enabled: true,
  	user.encryption.sasl.enabled: true,
  	auth.mechanisms: ["KERBEROS"],
  	auth.principal: "drill/drillbits@GMEM.CC",
  	auth.keytab: "/home/alex/JavaEE/middleware/drill/conf/drill.keytab"
  }
}

并重启。

你可以在conf/drill-override.conf中配置启动选项，其中最常用的如下表：

Drill通过存储插件（Storage）连接到底层数据源。存储插件通常负责：

1. 连接到数据源，例如数据库、文件
2. 优化Drill查询的执行
3. 提供数据的位置信息
4. 配置工作区、文件格式以读取数据

常用的几个存储插件跟随Drill一起安装

所谓插件配置，就是连接到目标数据源的配置信息。Drill默认注册了这几个默认的插件配置：

通过Web Console连接（地址示例：http://172.21.1.14:8047/storage），可以注册插件配置。

点击Disable按钮可以禁用当前的配置，禁用后，show databases中对应的条目消失。点击Enable可以启用某个可用配置。输入存储插件名称，点击Create，可以建立新的插件配置。

插件配置都是JSON格式，MongoDB配置的示例：

{
  "type": "mongo",
  "connection": "mongodb://root:root@mongo-s1.gmem.cc:27017/",
  "enabled": true
}

打开drill-conf，输入命令验证连接是否正常：

0: jdbc:drill:> show databases;
+---------------------+
|     SCHEMA_NAME     |
+---------------------+
| INFORMATION_SCHEMA  |
| mongo.admin         |
| mongo.bais          |
| mongo.config        |
| sys                 |
+---------------------+

# 上面的结果意味着已经连接到此配置，注意数据库名称的前缀，就是配置的名称

use mongo.bais;
select regNo,stocks[0].stockName as stock0Name from corps;
+----------------+-------------+
|     regNo      | stock0Name  |
+----------------+-------------+
| 3208261000000  | 汪震          |
+----------------+-------------+

# 上面的结果意味着查询测试成功 

除了Shell、Web Console以外，Drill还提供C++ API以及JDBC、ODBC驱动。

添加依赖以使用此驱动：

<dependency>
    <groupId>org.apache.drill.exec</groupId>
    <artifactId>drill-jdbc</artifactId>
    <version>1.11.0</version>
</dependency>

# jdbc:drill:zk={ZooKeeper连接字符串}/drill/{Drill集群标识符};schema={存储插件配置.数据库名称}
jdbc:drill:zk=zookeeper-1.gmem.cc:2181,zookeeper-2.gmem.cc:2181,zookeeper-3.gmem.cc:2181/drill/drillbits;schema=mongo.bais

Class.forName( "org.apache.drill.jdbc.Driver" );
String url = "jdbc:drill:zk=zookeeper-1.gmem.cc:2181/drill/drillbits;schema=mongo.bais";
Connection connection = DriverManager.getConnection( url );
Statement st = connection.createStatement();
ResultSet rs = st.executeQuery( "select regNo,stocks[0].stockName as stock0Name from corps" );
while ( rs.next() ) {
    System.out.println( rs.getString( 2 ) );
}

所谓复杂数据结构，是指与关系型数据库那种简单的表格形式（行、字段）不同的，具有复杂数据类型字段（内嵌结构）的数据结构。

Drill可以在执行查询请求的时候，发现数据的结构。类似于JSON、Parquet之类的嵌套数据结构不仅仅可以被简单的访问，Drill还提供特殊的操作符、函数对其进行钻取操作。这些操作符、函数能够：

1. 引用内嵌数据结构的值
2. 访问数组元素、嵌套数组

你可以使用SQL标准的join子句来连接两个表或/和文件。示例：

select c.regNo, c.corpName, o.name from corps as c join orgs as o on c.belongOrg = o._id where c.regCapi > 10000;

-- 访问内嵌文档
select c.address.detail as addr from corps as c;
-- 访问内嵌数组
select c.stocks[0].stockName from corps as c;
select c.stocks[0].stockName, c.stocks[0].subsCapi from corps as c;

Drill使用Logback作为默认的日志系统，日志配置位于conf/logback.xml。

默认的，日志被输出到文件系统，位于$DRILL_HOME/logs目录下，你可以在drill-env.sh中设置$DRILL_HOME环境变量。在每个Drill节点上，文件drillbit_queries.json记录每个查询的ID、profile信息。

要获得查询的执行计划，执行

explain plan for

explain plan for select regNo,corpName from bais.corps;

从输出结果中，可以看到Drill如何访问底层数据源：

# explain plan for select regNo,corpName from bais.corps where regNo like '3208%';
00-00    Screen
00-01      Project(regNo=[$0], corpName=[$1])
00-02        UnionExchange
01-01          Scan(groupscan=[MongoGroupScan [MongoScanSpec=MongoScanSpec
                   [dbName=bais, collectionName=corps, filters=null], columns=[`regNo`, `corpName`]]])
                                                       # 没有过滤器，意味着需要全表扫描
# explain plan for select regNo,corpName from bais.corps where regNo > '320800100' and regNo < '320800200' limit 10;
00-00    Screen
00-01      Project(regNo=[$0], corpName=[$1])
00-02        SelectionVectorRemover
00-03          Limit(fetch=[10])
00-04            UnionExchange
01-01              SelectionVectorRemover
01-02                Limit(fetch=[10])
01-03                  Scan(groupscan=[MongoGroupScan [MongoScanSpec=MongoScanSpec 
                     [dbName=bais, collectionName=corps, 
                     filters=Document{{$and=[Document{{regNo=Document{{$gt=320800100}}}}, 
                     Document{{regNo=Document{{$lt=320800200}}}}]}}], columns=[`regNo`, `corpName`]]])
                                                       # 这里可以看到使用了MongoDB的查询过滤，可能利用到索引

Drill支持ANSI标准SQL，你可以使用统一的语法查询各种数据源。为了支持嵌套数据结构，Drill提供特殊的操作符和函数。

使用CAST、CONVERT TO/FROM、TO_CHAR、TO_DATE、TO_NUMBER、TO_TIMESTAMP，可以进行显式的类型转换。某些类型之间可以进行隐式转换，NULL可以转换到任何类型。示例代码：

-- CAST (<expression> AS <data type>)
CAST( regNo as INT )

-- 把目标列转换为字节
CONVERT_TO (column, type)
-- 把regNo作为大端整数，转换为字节
CONVERT_TO(regNo , 'INT_BE')

-- 把字节转换为type
CONVERT_FROM(column, type)
-- 把字符串转换为JSON map
CONVERT_FROM('{x:100, y:215.6}' ,'JSON')

-- TO_CHAR (expression, 'format') 转换数字、日期、时间、时间戳为字符串形式
SELECT TO_CHAR(1256.789383, '#,###.###') FROM (VALUES(1));   -- 1,256.789
TO_CHAR((CAST('2008-2-23' AS DATE)), 'yyyy-MMM-dd')          -- 2008-Feb-23 
TO_CHAR(CAST('12:20:30' AS TIME), 'HH mm ss'                 --  12 20 30
TO_CHAR(CAST('2015-2-23 12:00:00' AS TIMESTAMP), 'yyyy MMM dd HH:mm:ss')
                                                             -- 2015 Feb 23 12:00:00 

-- TO_DATE (expression [, 'format']) 转换字符串或者UNIX时间戳为日期
TO_DATE('2015-FEB-23', 'yyyy-MM-dd')
-- TO_TIME (expression [, 'format']) 转换为时间
TO_TIME('12:20:30', 'HH:mm:ss')
TO_TIME(82855000)
-- TO_TIMESTAMP (expression [, 'format'])
TO_TIMESTAMP('2008-2-23 12:00:00', 'yyyy-MM-dd HH:mm:ss')

主要分为数学、日期、字符串、聚合等函数，参考官方文档。

窗口函数针对一系列行进行计算操作，并为每一行返回单个值。这些值虽然归属到某个行，但是它可能取决于其它多个行（这些行就是所谓窗口）。

你可以使用

OVER()

1. 定义对行进行分组（partition）的标准，聚合函数在这些分组上进行。这通过PARTITION BY子句实现
2. 在一个分组内部，对行进行排序。这通过ORDER BY子句实现

对于窗口函数，你需要注意：

1. 仅仅支持在查询的SELECT、ORDER BY字句中使用窗口函数
2. Drill在WHERE, GROUP BY, HAVING之后处理窗口函数
3. 在聚合函数之后跟随OVER()导致其作为窗口函数使用
4. 使用窗口函数，你可以针对窗口帧中任意数量的行进行聚合
5. 如果要针对FLATTEN子句的生成的结果集执行窗口函数，应该在子查询中使用FLATTEN

窗口函数完整的调用语法：

-- window_function指定一种窗口函数，这些函数可能和普通的聚合函数同名，识别它是否为窗口函数的唯一方法就是看看
-- 后面有没有OVER关键字。窗口函数在窗口内部进行聚合
-- expression 为列表达式
-- PARTITION BY关键字定义了窗口：
-- expr_lists 可以是  expression | column_name [, 其它expr_list ]
-- ORDER BY 定义窗口内排序规则，如果没有PARTITION BY则针对整个表格排序
--  order_lists 可以是 expression | column_name [ASC | DESC] [ NULLS { FIRST | LAST } ] [, 其它 order_list ]  
-- frame_clause 可以是：
-- { RANGE | ROWS } frame_start
-- { RANGE | ROWS } BETWEEN frame_start AND frame_end
-- frame_start 格式：UNBOUNDED PRECEDING 或者 CURRENT ROW 
-- frame_end 格式：CURRENT ROW 或者 UNBOUNDED FOLLOWING 
window_function (expression) OVER (
    [ PARTITION BY expr_list ]
    [ ORDER BY order_list ][ frame_clause ] )

-- 查询企业信息，为结果集的每一行增加列：当前企业类型的平均注册资金
select 
    cast(c.corpName as char) corpName, c.corpType, 
    avg( c.regCapi ) over( partition by c.corpType) as avgRegCapi  
from bais.corps c where c.regNo >= '320100100' and c.regNo < '320100200';

嵌套数据函数用于访问内嵌式的数据结构，包括数组、映射、重复标量类型。不要在GROUP BY、ORDER BY子句或者在比较操作符中使用前述内嵌数据。Drill不支持 VARCHAR:REPEATED之间的比较。

把嵌套数据结构分解为单独的记录（行），示例：

-- 每个企业包含多个股东，股东为数组
SELECT FLATTEN(stocks) FROM bais.corps  WHERE stocks IS NOT NULL;

从一个映射中抽取键值对

返回数组的长度：

REPEATED_COUNT (array)

在数组中搜索指定的关键字：

REPEATED_CONTAINS(array_name, keyword)

原因：DNS将当前主机名解析到本地环回地址，可能需要更改/etc/hosts文件

原因：DNS没有正确配置

解决办法：如果网络中没有启用DNS服务，可以静态的修改/etc/hosts文件

可以用这种方式来指定中文查询条件：

select * from bais.trades where name like _UTF16'%农产品%';

原因：如果分片集群启用了身份验证，不但需要建立集群上的用户，还要为每个复制集创建本地用户。如果报错信息中有servers=[{address=****而且地址是分片的（而不是mongos的）地址，说明就是分片的身份验证出错。

The post Apache Drill学习笔记 appeared first on 绿色记忆.

Web图形库（Web Graphics Library）简称WebGL，是在浏览器环境下进行3D/2D图像渲染的技术。你不需要额外的插件，就可以在HTML5的Canvas上绘制复杂的、可交互的图形。

大部分现代浏览器支持WebGL技术，IE从11开始支持，老版本的IE可以通过第三方插件支持，例如IEWebGL。

WebGL基于OpenGL ES 2.0提供3D图形接口。后者是OpenGL的一个子集，主要针对手机、PDA之类的嵌入式设备。

直接使用WebGL编程难度较高，需要了解WebGL的细节、学习复杂的着色器（Shader）语言。Three.js对WebGL的底层细节进行了封装，让你更加容易的、仅利用JavaScript语言创建3D图形，你可以：

1. 创建简单/复杂的3D几何图形
2. 在3D场景中动画、移动对象
3. 给对象应用纹理、材质
4. 从3D模型软件中加载对象

术语	说明
场景 Scene	存储并跟踪所有待渲染对象的容器。场景被渲染器渲染到一个HTML5画布中
镜头 Camera	定义查看场景的视角，有多种实现： PerspectiveCamera，基于透视投影（perspective projection）的镜头。透视投影模拟人的视觉效果（近大远小），从某个投射中心（人眼）将物体投射到单一投影面（画面）之上。是最常使用的投影模式
视截锥 View Frustum	在3D计算机图形学中，视截锥是指被建模世界空间的一个区域，该区域可以出现在屏幕中，视截锥定义了概念相机的视界（Field of view，FOV） 使用两个平行的平面，对视野金字塔（pyramid of vision）进行截断操作，即得到视截锥。视截锥的精确形状取决于期望模拟的相机棱镜的形状，典型情况下为六面体，其中远近平面为同长宽比的矩形，如下图：   所谓远、近平面，是指六面体中与视觉方向正交的那两个平面。近平面即上图中标为黄色的那一面。比近平面更近、远平面更远的区域中的对象，不会被绘制。某些情况下远平面被放置到无限远处 视截锥选择（View frustum culling）是指从渲染过程中移除完全位于视截锥之外的对象的处理步骤
视界 FOV	在第一人称游戏中，所谓视界（ field of view, field of vision）是指某一时刻游戏世界中显示在屏幕中的（矩形）范围（extent）。视界通常用角度（angle）来描述，但是此角度可能指FOV在垂直、水平、对角线（diagonal）方向的分量 在一定的分辨率下，FOV会依据屏幕纵横比（aspect ratio）而变化，通常FOV在宽屏上更大 我们常以FOV在水平/垂直方向的角度、结合纵横比来描述FOV。它们之间的换算公式如下： r  = w / h = tan(H/2) / tan(V/2) 其中r为屏幕纵横比，w/h为屏幕宽高度，H/V为水平、垂直方向的FOV分量 在Three.js中，PerspectiveCamera的fov参数为FOV的垂直分量，这意味着取值从0 ~ 180之间时变化时，如果r保持不变，则视界越大，场景中的目标显得越小
渲染器 Renderer	负责计算在指定的Camera之下，Scene长得什么样子
多边形网格 Polygon mesh	多边形网格是一系列顶点（vertex）、边线（edge）、面（face）的几何。它在3D计算机图形学中定义了一个多面体的轮廓。网格中的面通常由三角形、四边形或者其它简单的凸面多边形（ convex polygons）构成，以简化渲染的计算量。下面是一个由三角形网格构成的海豚模型示例：
混合模式 Blend mode /  Mixing mode	图像处理中的概念。用于确定两层图像如何叠加到一起。大部分应用中默认的叠加模式就是让顶层（top layer ）直接覆盖较低的层（lower layers ）。由于每个像素的色彩都是基于数字来表示的，因此基于数学运算的大量混合模式可用 大部分图像处理软件，例如Photoshop、GIMP，都支持用户修改混合模式。 参考：https://en.wikipedia.org/wiki/Blend_modes
粒子，精灵 Particles, Sprite	指存在于3D场景中的二维图形或者动画
右手系 right-handed system	Three.js默认使用右手坐标系，因为这是OpenGL默认的坐标系 所谓右手系，是指： 伸出右手，伸直拇指，让它与另外四指垂直 弯曲中、无名、小指，让它们与食指垂直 以拇指指向为X轴正向、食指指向为Y轴正向、其它手指指向为Z轴正向的坐标系，即右手系 图示如下： Blender等3D建模软件，使用Z轴向上（上图右手系沿X轴正向逆时针旋转90度）的右手系。主要原因是大部分CAD软件均使用这样的坐标系

在本节，我们创建以下几个对象：

代码及注释：

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Three.js Study</title>
    <script src="https://code.jquery.com/jquery-1.12.4.js"></script>
    <script src="three.js"></script>
    <style>
        body {
            margin: 0;
            overflow: hidden;
        }
    </style>
</head>
<body>
<div id="WebGL"></div>
<script type="text/javascript">
    $( function () {
        // 场景
        var scene = new THREE.Scene();

        var aspect = window.innerWidth / window.innerHeight;
        /**
         * 定义一个透视镜头，参数：
         * fov FOV垂直分量，镜头到视截锥近平面上下边之间的夹角
         * aspect 视截锥的纵横比
         * near 近平面离镜头多远
         * far 远平面离镜头多远
         */
        var camera = new THREE.PerspectiveCamera( 45, aspect, 0.1, 1000 );

        // WebGL渲染器，使用显卡来渲染场景。尽管还存在其它渲染器实现，但是处于性能、特性的考虑，不推荐使用
        var renderer = new THREE.WebGLRenderer();
        // 设置背景色，第二参数为透明度
        renderer.setClearColor( 0xEEEEEE, 1 );
        // 设置场景的大小
        renderer.setSize( window.innerWidth, window.innerHeight );

        // 创建一个调试用途的坐标轴，X轴红色、Y轴绿色、Z轴蓝色。20表示轴线长度
        var axes = new THREE.AxisHelper( 20 );
        // 把对象添加到场景中
        scene.add( axes );

        // 创建一个平面几何图形，宽60高20，在宽、高方向上分段数为1（不切分）
        var planeGeometry = new THREE.PlaneGeometry( 60, 20, 1, 1 );
        // 材质，定义颜色、透明度、反光效果之类的属性
        // MeshBasicMaterial是一种简单材质，它不受光线影响，使用纯色或者网格（wireframe）渲染几何图形
        var planeMaterial = new THREE.MeshBasicMaterial( { color: 0xcccccc } );
        // Mesh表示一类基于三角形网格（triangular polygon mesh）的对象
        var plane = new THREE.Mesh( planeGeometry, planeMaterial );
        // 默认的，平面的对称中心位于原点，width与X轴平行，height与Y轴平行
        // 在X轴方向逆时针（从原点往X轴正向看）旋转90度
        plane.rotation.x = -0.5 * Math.PI; // 圆周长2PI，PI代表180度，
        // 在X轴方向偏移15
        plane.position.x = 15;
        plane.position.y = 0;
        plane.position.z = 0;
        scene.add( plane );

        // 类似的，创建一个立方体，类似的，其对称中心也是默认位于原点
        var cubeGeometry = new THREE.CubeGeometry( 4, 4, 4 );
        // wireframe表示绘制网格线
        var cubeMaterial = new THREE.MeshBasicMaterial( { color: 0xff0000, wireframe: true } );
        var cube = new THREE.Mesh( cubeGeometry, cubeMaterial );
        cube.position.x = -4;
        cube.position.y = 3;
        cube.position.z = 0;
        scene.add( cube );

        // 绘制一个球体
        var sphereGeometry = new THREE.SphereGeometry( 4, 20, 20 );
        var sphereMaterial = new THREE.MeshBasicMaterial( { color: 0x7777ff, wireframe: true } );
        var sphere = new THREE.Mesh( sphereGeometry, sphereMaterial );
        sphere.position.x = 20;
        sphere.position.y = 4;
        sphere.position.z = 2;
        scene.add( sphere );

        // 移动镜头
        camera.position.x = -30;
        camera.position.y = 40;
        camera.position.z = 30;
        // 将镜头指向场景的中心
        camera.lookAt( scene.position );
        
        // 渲染
        $( "#WebGL" ).append( renderer.domElement );
        renderer.render( scene, camera );
    } );
</script>
</body>
</html>

渲染效果：

本节我们改进一下上面的例子，修改材质，并添加光线、阴影效果。

首先，为场景添加一个光源：

// 聚光灯效果的白色光源
var spotLight = new THREE.SpotLight( 0xffffff );
// 设置聚光灯的位置
spotLight.position.set( -40, 60, -10 );
scene.add( spotLight );

添加这段代码后，渲染效果不会有任何改变。原因我们已经在前面的代码注释中提到过， MeshBasicMaterial这种材质不会对光线作出反应。我们替换一下材质：

var planeMaterial = new THREE.MeshLambertMaterial( { color: 0xcccccc } );
// ...
var cubeMaterial = new THREE.MeshLambertMaterial( { color: 0xff0000 } );
// ... 
var sphereMaterial = new THREE.MeshLambertMaterial( { color: 0x7777ff} );

除了MeshLambertMaterial之外，MeshPhongMaterial也会对光源作出反应。

现在刷新一下页面，可以看到如下渲染效果：

比上一幅截图好看多了，但是还有点不自然，因为没有阴影效果。

由于渲染阴影比较消耗资源，因此默认情况下Three.js关闭了阴影。要启用阴影其实很简单：

// 启用阴影效果
renderer.shadowMapEnabled = true;

此外，你还需要定义什么对象产生（cast）阴影，什么对象接收阴影：

// 阴影由平面接收
plane.receiveShadow = true;
// ...
cube.castShadow = true;
// ...
sphere.castShadow = true;


// 设置产生阴影的光源
spotLight.castShadow = true;
// 提高阴影质量
spotLight.shadowMapWidth = spotLight.shadowMapHeight = 1024 * 4;

要想为场景添加动画效果，我们需要找到定期重渲染场景的方法。setInterval()这种定时器是不适合的，因为它与渲染行为不是同步的，会导致严重性能问题。

requestAnimationFrame()

function renderScene() {
    requestAnimationFrame( renderScene );
    renderer.render( scene, camera );
}

上面的函数把自己传递给requestAnimationFrame，从而导致函数的逻辑被反复调用，从而可以产生动画效果。

为了显示动画帧率信息，我们引入一个助手库stats.js：

<script src="stat.js"></script>
<script type="text/javascript">
    var stats = new Stats();
    stats.showPanel( 0 ); // 0: fps, 1: ms, 2: mb, 3+: custom
    document.body.appendChild( stats.dom );
    function renderScene() {
        // 开始统计
        stats.begin();
        // 这里编写被监控的代码
        stats.end();
        requestAnimationFrame( animate );
    }
    requestAnimationFrame( renderScene );
</script>

下面我们为立方体添加一个翻滚效果，为球体添加一个弹跳效果：

var step = 0;

function animate() {
    stats.begin();
    cube.rotation.x += 0.02;
    cube.rotation.y += 0.02;
    cube.rotation.z += 0.02;
    step += 0.04; // 定义弹跳速度
    sphere.position.x = 20 + ( 10 * (Math.cos( step )));
    sphere.position.y = 2 + ( 10 * Math.abs( Math.sin( step ) ));
    renderer.render( scene, camera );  // 反复渲染
    stats.end();
    requestAnimationFrame( animate );
}

requestAnimationFrame( animate );

刷新浏览器，可以查看动画效果，注意左上角的帧率窗口。

上一章的学习中，我们创建了由几个对象构成的简单场景，并制作了简单的动画效果。现在我们来更深入的了解一下构成Three.js场景的组件。 

之前我们调用

new THREE.Scene()

1. 镜头（Camera）：决定了查看场景的角度和方式。在渲染场景的时候镜头可以自动创建，但是你也可以手工指定其参数
2. 光源（Lights）：影响材质的渲染效果、阴影
3. 物体（Objects）：场景中渲染的主要东西。包括各种几何形状、导入的模型

// 白色雾，从near=0.015开始出现，far=100表示雾变浓厚的速率
scene.fog = new THREE.Fog( 0xffffff, 0.015, 100 );
// 指定颜色、浓度
scene.fog = new THREE.FogExp2( 0xffffff, 0.01 );

scene.overrideMaterial = new THREE.MeshLambertMaterial({color: 0xffffff});

Three.js提供了大量开箱即用的Geometry， Geometry用于定义物体的形状，材质则定义其外观。

在大部分3D图形库中，Geometry基本上都是三维空间中一系列点、以及连接这些点的面的集合。以立方体为例：

1. 每个立方体包含8个角，这些角可以由三维空间中的一个点来确定。这些点称为顶点（vertices）
2. 每个立方体包含6个面，这些面的每个角都对应一个顶点。这些面称为face

当使用Three.js自带的Geometry时你不需要逐个定义所有点、面。例如对于Cube，你只需要定义长宽高即可，Three.js会利用你提供的这些信息创建所有必须的点、面。

Three.js允许自定义点、面，然后构成一个几何图形。下面是手工构建Cube的例子：

// 所有顶点
var vertices = [
    new THREE.Vector3( 1, 3, 1 ),
    new THREE.Vector3( 1, 3, -1 ),
    new THREE.Vector3( 1, -1, 1 ),
    new THREE.Vector3( 1, -1, -1 ),
    new THREE.Vector3( -1, 3, -1 ),
    new THREE.Vector3( -1, 3, 1 ),
    new THREE.Vector3( -1, -1, -1 ),
    new THREE.Vector3( -1, -1, 1 )
];
// 所有三角形的面，数字为从0开始的顶点序号
var faces = [
    new THREE.Face3( 0, 2, 1 ),
    new THREE.Face3( 2, 3, 1 ),
    new THREE.Face3( 4, 6, 5 ),
    new THREE.Face3( 6, 7, 5 ),
    new THREE.Face3( 4, 5, 1 ),
    new THREE.Face3( 5, 0, 1 ),
    new THREE.Face3( 7, 6, 2 ),
    new THREE.Face3( 6, 3, 2 ),
    new THREE.Face3( 5, 7, 0 ),
    new THREE.Face3( 7, 2, 0 ),
    new THREE.Face3( 1, 3, 4 ),
    new THREE.Face3( 3, 6, 4 ),
];
var geom = new THREE.Geometry();
geom.vertices = vertices;
geom.faces = faces;
// 在重新设置顶点数组后，提示需要更新。这是因为Three.js默认假设Mesh的Geometry的形状在生命周期内保持不变
geom.verticesNeedUpdate = true;
// 根据顶点重新计算面法线
geom.computeFaceNormals();

在以前版本的Three.js中，允许使用四边形来定义面。四边形在建模时比较受欢迎，原因是很容易被增强、平滑。三角形在渲染、游戏引擎中比较受欢迎，原因是比较简单。 

有了Geometry后，加上材质就可以构成简单的3D物体——Mesh了：

// 材质数组
var materials = [
    new THREE.MeshLambertMaterial( { opacity: 0.6, color: 0x44ff44, transparent: true } ),
    new THREE.MeshBasicMaterial( { color: 0x666666, wireframe: true } )
];
// Mesh组
var mesh = THREE.SceneUtils.createMultiMaterialObject( geom, materials );
scene.add( mesh );

Three.js允许给Geometry应用多个材质，上例中的Cube既有颜色填充，也显示了线条，这是两种材质的混合效果。从实现角度来说，Three.js创建了两个THREE.Mesh实例，每个材质对应一个实例，这两个实例被放置到一个组里面。添加组到场景的方式，与添加Mesh一致。

我们可以调用组的forEach，对其中所有Mesh进行操作：

mesh.children.forEach( function ( e ) {
    e.castShadow = true
} );

// 方法一：
cube.position.x=10;
cube.position.y=3;
cube.position.z=1;
// 方法二：
cube.position.set(10,3,1);
// 方法三：
cube.postion=new THREE.Vector3(10,3,1)

Three.js支持两种类型的镜头：正交（orthographic）镜头、透视（perspective）镜头。到目前为止我们还没有使用过正交镜头。

正交镜头的特点是，物品的渲染尺寸与它距离镜头的远近无关。也就是说在场景中移动一个物体，其大小不会变化。正交镜头适合2D游戏。

透视镜头则是模拟人眼的视觉特点，距离远的物体显得更小。透视镜头通常更适合3D渲染。

构造函数参数：

关于这些参数的形象化描述，请参考术语视截锥中的截图。

正交镜头不关心FOV、纵横比这些概念。其构造函数实际上是指定了一个Cube，落在其中的物体会被渲染：

关于这些参数的形象化描述，参考下图：

镜头聚焦

创建镜头后，还需要将其移动、然后对准物体积聚的场景中心位置，才能确保物体的渲染。移动镜头，通过设置其position属性来实现：

camera.position.x = 120;
camera.position.y = 60;
camera.position.z = 180;

聚焦，则是调用下面的方法实现：

camera.lookAt( new THREE.Vector3( x, 10, 0 ) );

所谓HUD（head-up display，平视显示），是指在屏幕（挡风玻璃）上显示一些辅助信息（例如飞机、汽车的仪表信息），避免驾驶员低头分散注意力。HUD的特点是其显示内容的大小、位置与镜头无关。

要实现HUD效果，可以同时渲染两套场景，其中HUD场景使用OrthographicCamera镜头：

var scene = new THREE.Scene();
var sceneOrtho = new THREE.Scene();

var camera = new THREE.PerspectiveCamera(45, window.innerWidth / window.innerHeight, 0.1, 250);
// 正交镜头的近平面的大小，和浏览器窗口大小一致
var cameraOrtho = new THREE.OrthographicCamera(0, window.innerWidth, window.innerHeight, 0, -10, 10);

var webGLRenderer = new THREE.WebGLRenderer();

webGLRenderer.render(scene, camera);
// 防止在下一次render时，自动清屏
webGLRenderer.autoClear = false;
webGLRenderer.render(sceneOrtho, cameraOrtho);

在Three.js中光源很重要。不设置光源你就看不到被渲染的物体。Three.js内置了多种光源以满足特定场景的需要。

这种光源为场景添加全局的环境光。这种光没有特定的方向，不会产生阴影。通常不会把AmbientLight作为唯一的光源，而是和SpotLight、DirectionalLight等光源结合使用，从而达到柔化阴影、添加全局色调的效果。

指定颜色时要相对保守，例如#0c0c0c。设置太亮的颜色会导致整个画面过度饱和，什么都看不清：

var ambiColor = "#0c0c0c";
var ambientLight = new THREE.AmbientLight(ambiColor);
scene.add(ambientLight);

该类模拟一个点光源，具有以下属性：

示例代码：

var pointColor = "#ccffcc";
var pointLight = new THREE.PointLight( pointColor );
pointLight.distance = 100;
scene.add( pointLight );
// 设置强度
pointLight.intensity = 2.4;

这种光源的使用场景最多，特别是在你需要阴影效果的时候。PointLight的所有属性对于SpotLight可用，前者还包括以下属性：

var targetObject = new THREE.Object3D();
scene.add(targetObject);
// 聚光灯将跟踪三维空间中的一个点
light.target = targetObject;

示例代码：

var spotLight = new THREE.SpotLight(pointColor);
spotLight.position.set(-40, 60, -10);
spotLight.castShadow = true;
spotLight.shadowCameraNear = 2;
spotLight.shadowCameraFar = 200;
spotLight.shadowCameraFov = 30;
spotLight.target = plane;   // 跟踪目标
spotLight.distance = 0;
spotLight.angle = 0.4;

scene.add(spotLight);

光锥的宽、高可以基于以下代码求出：

var coneLength = light.distance ? light.distance : 10000;
var coneWidth = coneLength * Math.tan( light.angle * 0.5 ) * 2;

用于模拟遥远的，类似太阳那样的光源。该光源与SpotLight的主要区别是，它不会随着距离而变暗，所有被照耀的地方获得相同的光照强度。

DirectionalLight具有大部分SpotLight的属性。示例代码：

var directionalLight = new THREE.DirectionalLight( pointColor );
directionalLight.position.set( -40, 60, -10 );
directionalLight.castShadow = true;
directionalLight.shadowCameraNear = 2;
directionalLight.shadowCameraFar = 200;
directionalLight.shadowCameraLeft = -50;
directionalLight.shadowCameraRight = 50;
directionalLight.shadowCameraTop = 50;
directionalLight.shadowCameraBottom = -50;

directionalLight.distance = 0;
directionalLight.intensity = 0.5;
directionalLight.shadowMapHeight = 1024;
directionalLight.shadowMapWidth = 1024;

scene.add( directionalLight );

模拟穹顶（半球）的微弱发光效果，让户外场景更加逼真。使用DirectionalLight + AmbientLight可以在某种程度上来模拟户外光线，但是不够真实，因为无法体现大气层的散射效果、地面或物体的反射效果。常用属性：

示例代码：

// 三个参数分别对应天空颜色、地面颜色、强度
var hemiLight = new THREE.HemisphereLight(0x0000ff, 0x00ff00, 0.6);
hemiLight.position.set(0, 500, 0);
scene.add(hemiLight);

用于定义一个发光的矩形区域，该光源属于Three.js扩展。

THREE.WebGLRenderer这个渲染器不能和AreaLight一起使用，原因是THREE.AreaLight是一种复杂的光源，与WebGLRenderer一起使用会导致严重的性能问题。

渲染器THREE.WebGLDeferredRenderer使用不同的途径来渲染场景，它将渲染拆分为几个步骤。它能够处理复杂的光源或者数量众多的光源。

通过前面章节的学习，我们已经知道材质 + Geometry可以构成Mesh——可以添加到3D场景中的物体。

Geometry就好像是骨架，材质则类似于皮肤，它定义了Geometry的外观——是否有金属质感、是否透明、是否显示为线框（wireframe）。

作为所有材质的基类，THREE.Material提供了以下属性：

本章跳过了所有和纹理（textures）、映射（maps）、动画 有关的属性。

你可以把属性组成一个对象，作为构造函数的入参：

var material = new THREE.MeshBasicMaterial( {
    color: 0xff0000,
    name: 'material-1',
    opacity: 0.5,
    transparency: true
} );

或者逐个的设置属性：

var material = new THREE.MeshBasicMaterial();
material.color = new THREE.Color( 0xff0000 );  // 这种方式必须提供Color对象
material.name = 'material-1';
material.opacity = 0.5;
material.transparency = true;

该材质不考虑场景中的光源，目标物体被渲染成简单的、扁平（Flat）的形状。可选的，你可以显示物体的线框（Wireframe），线框由所有面的边构成。

该材质具有以下额外属性：

使用这种材质，物体的外观会受到物体离镜头的距离的影响——随着距离增加而淡出。你可以联合使用其它材质，产生淡出效果。该材质具有以下额外属性：

设置相机的near、far属性，可以决定使用此材质的物体的淡出速度 。如果far - near很大，则物体的淡出速度非常慢。

每个面显示特定的颜色，其颜色取决于该面的法线（垂直于面的向量）。当物体旋转时，其固定角度的颜色保持不变。

法线在Three.js中被大量使用，它被用来确定光线反射效果、帮助映射纹理到3D模型，并且为如何照亮、shade、染色（color）一个表面上的像素点。

为了查看法线的方向，我们可以使用THREE.ArrowHelper：

//遍历球体的所有面
for ( var f = 0, fl = sphere.geometry.faces.length; f < fl; f++ ) {
    var face = sphere.geometry.faces[ f ];
    // 计算面的中心点：把面的3个顶点依次加到三维向量中，然后除以3
    var centroid = new THREE.Vector3( 0, 0, 0 );
    centroid.add( sphere.geometry.vertices[ face.a ] );
    centroid.add( sphere.geometry.vertices[ face.b ] );
    centroid.add( sphere.geometry.vertices[ face.c ] );
    centroid.divideScalar( 3 );
    // 创建一个箭头助手
    var arrow = new THREE.ArrowHelper(
        face.normal,  // 法线矢量（箭头方向）
        centroid,   // 中心点 （箭头起点）
        2, // 长度
        0x3333FF, // 颜色
        0.5,  //箭头长度
        0.5 //箭头宽度
    );
    sphere.add( arrow );
}

该材质的额外属性包括：wireframe、wireframeLineWidth、shading。 使用FlatShading、SmoothShading的效果分别如下图：

这不是一个单独的材质，而是一个容器。使用它，你可以为每个面指定材质。例如，对于具有12个面（Three.js仅支持三角形面）的Cube，你可以指定具有12个元素的MeshFaceMaterial：

var mats = [];
mats.push(new THREE.MeshBasicMaterial({color: 0x009e60}));
mats.push(new THREE.MeshBasicMaterial({color: 0x009e60}));
mats.push(new THREE.MeshBasicMaterial({color: 0x0051ba}));
mats.push(new THREE.MeshBasicMaterial({color: 0x0051ba}));
mats.push(new THREE.MeshBasicMaterial({color: 0xffd500}));
mats.push(new THREE.MeshBasicMaterial({color: 0xffd500}));
mats.push(new THREE.MeshBasicMaterial({color: 0xff5800}));
mats.push(new THREE.MeshBasicMaterial({color: 0xff5800}));
mats.push(new THREE.MeshBasicMaterial({color: 0xC41E3A}));
mats.push(new THREE.MeshBasicMaterial({color: 0xC41E3A}));
mats.push(new THREE.MeshBasicMaterial({color: 0xffffff}));
mats.push(new THREE.MeshBasicMaterial({color: 0xffffff}));

var faceMaterial = new THREE.MeshFaceMaterial(mats);

var cubeGeom = new THREE.BoxGeometry( 2.9, 2.9, 2.9 );
var cube = new THREE.Mesh( cubeGeom, faceMaterial );

你可以设置

geometry.faces[*].materialIndex

像MeshDepthMaterial这样的材质，不能设置颜色或者纹理，基本不能单独使用。

Three.js允许联合使用多个材质，以产生新的特效。材质联合也使混合（blending）有意义。示例：

var cubeMaterial = new THREE.MeshDepthMaterial();
var colorMaterial = new THREE.MeshBasicMaterial( {
    // 绿色材质
    color: 0x00ff00,
    // 允许透明度
    transparent: true,
    // 决定如何与背景（即使用了MeshDepthMaterial的那个内部盒子）进行交互
    // MultiplyBlending将前景、背景色进行乘积运算（正片叠底）
    blending: THREE.MultiplyBlending
} );
// 创建两个物体构成的组
var cube = new THREE.SceneUtils.createMultiMaterialObject( cubeGeometry, [ colorMaterial, cubeMaterial ] );
// 避免两个相同大小的重叠物体产生闪烁
cube.children[ 1 ].scale.set( 0.99, 0.99, 0.99 );

此材质用于创建哑光效果。提供额外属性：

此材质用于创建高反光效果。提供额外属性： 

基于这种材质，可以应用自己开发的着色器。通过定制着色器，你可以精确的定义物体如何被渲染，或者修改Threee.js的默认渲染行为。

ShaderMaterial支持wireframe、Wireframelinewidth、linewidth、shading、vertexColors、fog以及以下额外属性：

对于前面已经讨论过的其它材质，Three.js已经提供了它们的片断着色器、顶点着色器。

着色器不是基于JavaScript语言编写的，它的专用语言是GSGL，即OpenGL ES着色器语言的WebGL支持。这种语言的语法风格类似于C语言。

在本节，我们编写：

1. 一个简单顶点着色器。该着色器能够修改Cube顶点的坐标值
2. 多个借用自glslsandbox代码的片断着色器，创建具有动画效果的材质

顶点着色器代码：

<script id="vertex-shader" type="x-shader/x-vertex">
    // 外部传入的时间
    uniform float time;
    varying vec2 vUv;


    void main()
    {
        // 计算变换后的位置
        vec3 posChanged = position;
        posChanged.x = posChanged.x*(abs(sin(time*1.0)));
        posChanged.y = posChanged.y*(abs(cos(time*1.0)));
        posChanged.z = posChanged.z*(abs(sin(time*1.0)));
        gl_Position = projectionMatrix * modelViewMatrix * vec4(posChanged,1.0);
    }

</script>

为了JavaScript与着色器之间的通信，我们使用所谓uniforms。上面的例子中定义了一个uniform，传递外部的时间，根据此时间来变换顶点的位置。

gl_Position

其中一个片断着色器代码：

<script id="fragment-shader-6" type="x-shader/x-fragment">


    uniform float time;
    uniform vec2 resolution;


    void main( void )
    {
        vec2 uPos = ( gl_FragCoord.xy / resolution.xy );

        uPos.x -= 1.0;
        uPos.y -= 0.5;

        vec3 color = vec3(0.0);
        float vertColor = 2.0;
        for( float i = 0.0; i < 15.0; ++i )
        {
        float t = time * (0.9);

        uPos.y += sin( uPos.x*i + t+i/2.0 ) * 0.1;
        float fTemp = abs(1.0 / uPos.y / 100.0);
        vertColor += fTemp;
        color += vec3( fTemp*(10.0-i)/10.0, fTemp*i/10.0, pow(fTemp,1.5)*1.5 );
        }

        vec4 color_final = vec4(color, 1.0);
        // 把颜色传递回JavaScript
        gl_FragColor = color_final;
    }

</script> 

材质的创建，可以基于以下助手函数：

function createMaterial( vertexShader, fragmentShader ) {
    // 从HTML标签中读取着色器源码vertexShader、fragmentShader为脚本标签的ID
    var vertShader = document.getElementById( vertexShader ).innerHTML;
    var fragShader = document.getElementById( fragmentShader ).innerHTML;

    var attributes = {};
    // 向着色器传递变量
    var uniforms = {
        time: { type: 'f', value: 0.2 },
        scale: { type: 'f', value: 0.2 },
        alpha: { type: 'f', value: 0.6 },
        resolution: { type: "v2", value: new THREE.Vector2() }
    };

    uniforms.resolution.value.x = window.innerWidth;
    uniforms.resolution.value.y = window.innerHeight;

    // 创建一个ShaderMaterial材质
    var meshMaterial = new THREE.ShaderMaterial( {
        uniforms: uniforms,
        attributes: attributes,
        vertexShader: vertShader,
        fragmentShader: fragShader,
        transparent: true

    } );

    return meshMaterial;
}

渲染循环中，我们需要改变uniform，从而导致着色器绘制结果发生变化，进而产生动画效果：

function render() {
    // 递增time
    cube.material.materials.forEach( function ( e ) {
        e.uniforms.time.value += 0.01;
    } );

    requestAnimationFrame( render );
    renderer.render( scene, camera );
}

有两类仅仅支持用在线条（THREE.Line）的材质。线条这种特殊的Geometry仅仅具有顶点，而没有面。

这种线条非常简单，可用属性：

除了上面的四个属性以外，还具有以下额外属性：

Three.js内置了大量的Geometry，可以开箱即用。 本章介绍其中的二维、三维Geometry，线条类不再介绍。

二维图形的初始摆放位置是X-Y平面，但是很多情况下需要需要将它们（特别是PlaneGeometry）放置到“地面”上，也就是X-Z平面上。此时可以让它绕着X轴逆时针旋转90度：

mesh.rotation.x =- Math.PI/2; 

外观上是一个矩形。示例：

new THREE.PlaneGeometry(width, height, widthSegments, heightSegments);

可用属性：

外观上是一个圆形或者扇形。示例：

// 半径为3的圆
new THREE.CircleGeometry(3, 12);
// 半径为3的半圆
new THREE.CircleGeometry(3, 12, 0, Math.PI);

可用属性：

外观上是一个圆环或者扇环。示例：

Var ring = new THREE.RingGeometry();

可用属性： 

该形状允许你创建自定义的二维图形，其操作方式类似于SVG/Canvas中的画布。 示例：

var shape = new THREE.Shape();

// 移动画笔到指定的点
shape.moveTo( 10, 10 );

// 向Y方向画30像素的线段
shape.lineTo( 10, 40 );

// 绘制贝塞尔曲线
shape.bezierCurveTo( 15, 25, 25, 25, 30, 40 );

// 绘制拟合曲线
shape.splineThru( [
    new THREE.Vector2( 32, 30 ),
    new THREE.Vector2( 28, 20 ),
    new THREE.Vector2( 30, 10 ),
] );

// 绘制二次方曲线
shape.quadraticCurveTo( 20, 15, 10, 10 );

// 添加一个路径到形状中，挖洞
var hole1 = new THREE.Path();
hole1.absellipse( 16, 24, 2, 3, 0, Math.PI * 2, true );
shape.holes.push( hole1 );
// 再挖一个洞
var hole2 = new THREE.Path();
hole2.absellipse( 23, 24, 2, 3, 0, Math.PI * 2, true );
shape.holes.push( hole2 );
// 再一个挖洞
var hole3 = new THREE.Path();
hole3.absarc( 20, 16, 2, 0, Math.PI, true );
shape.holes.push( hole3 );

// 基于上述形状创建Geometry对象
new THREE.ShapeGeometry( shape );

运行结果示意图：

ShapeGeometry支持以下属性：

该类型是THREE.ShapeGeometry的最重要的部分，允许你创建自定义的形状。它提供以下方法和属性：

new THREE.Line( 
    shape.createPointsGeometry(10), new
    THREE.LineBasicMaterial( { color: 0xff3333, linewidth: 2 } ) 
);

这是一个非常简单的三维图形，具有长宽高的盒子：

new THREE.BoxGeometry(10,10,10);

可用属性：

基于此类型，你可以绘制三维球体、不完整球体：

可以看到，你可以截取球体经度、纬度方向的任意片断。

代码示例：

new THREE.SphereGeometry(radius,widthSegments,heightSegments,phiStart,phiLength,thetaStart,thetaLength) 

该类型提供以下属性：

可以绘制圆柱、圆筒、圆锥或者截锥。代码示例：

new THREE.CylinderGeometry(radiusTop,radiusBottom,height,radialSegments,heightSegments,openEnded)

可用属性：

类似于甜甜圈的圆环面。代码示例：

new THREE.TorusGeometry(radius, tube, radialSegments,tubularSegments,arc)

 可用属性：

创建基于若干点的最小化凸面体。该形状不是Three.js核心库的组成部分。

允许你基于一个光滑曲线来创建形状。此曲线由一系列的点（Knots）指定，通常是拟合曲线。曲线围绕对象的中心Z轴转动，可以产生类似于花瓶、钟之类的形状。示例：

可用属性：

可以把2D图形凸起、抬高为3D图形。比如我们可以把上面章节中的ShapeGeometry抬高：

var options = {
    amount: 10,
    bevelThickness: 2,
    bevelSize: 1,
    bevelSegments: 3,
    bevelEnabled: true,
    curveSegments: 12,
    steps: 1
};
new THREE.ExtrudeGeometry( drawShape(), options );

 运行效果图如下：

可用属性：

与ExtrudeGeometry类似，这个类也是用于“凸起”的，只是它凸起的目标是3D的拟合曲线，而非2D图形。可用属性：

基于一个函数来生成几何图形。此函数有两个入参u、v，其返回值是一个三维向量，此向量作为几何图形的顶点，本质上是二维平面到三维空间的映射。

可用属性：

示例：

var radialWave = function ( u, v ) {
    var r = 50;

    var x = Math.sin( u ) * r;
    var z = Math.sin( v / 2 ) * 2 * r;
    var y = (Math.sin( u * 4 * Math.PI ) + Math.cos( v * 2 * Math.PI )) * 2.8;

    return new THREE.Vector3( x, y, z );
};

var mesh = createMesh( new THREE.ParametricGeometry( radialWave, 120, 120, false ) );

运行效果图：

该类型用于创建凸起、抬升的3D文本。可用属性：

你可以把Three.js的标准几何图形联合起来，形成复杂的新图形，这种技术叫做CSG（Constructive Solid Geometry，构造实体几何）。

为了支持CSG，我们需要使用到Three.js扩展ThreeBSP。该库提供了以下函数：

注意：这三个函数都基于Mesh的绝对位置执行计算。因此，如果你对组（或者应用多重材质）进行操作，可能得到意外的结果。

下面的代码示例了如何对两个球体进行二进制操作：

// 创建BSP对象
var sphere1BSP = new ThreeBSP( sphere1 );
var sphere2BSP = new ThreeBSP( sphere2 );

var resultBSP;

switch ( controls.actionSphere ) {
    case "subtract":
        resultBSP = sphere1BSP.subtract( sphere2BSP );
        break;
    case "intersect":
        resultBSP = sphere1BSP.intersect( sphere2BSP );
        break;
    case "union":
        resultBSP = sphere1BSP.union( sphere2BSP );
        break;
    case "none": // noop;
}
// 转换为Mesh并添加到场景
result = resultBSP.toMesh();
result.geometry.computeFaceNormals();
result.geometry.computeVertexNormals();
scene.add(result);

在前面的章节中，我们以及了解了Three.js的大部分重要组件：场景、镜头、灯光、图形、材质。本章主要研究一个重要的，但是迄今为止尚未提及的重要概念——粒子。

粒子（particles）某些时候也称为精灵（sprites），是场景中的小物体。这些物体很容易被大量的创建，以模拟雨、雪、烟以及其它多种有趣的特效。

需要注意，在较近版本的Three.js中，与粒子相关的物体的类型名称从THREE.ParticleSystem变为THREE.PointCloud。粒子本身的类型名称从THREE.Particle变为THREE.Sprite。

粒子是2D的平面，该平面总是正向面对镜头。下面的代码创建了100个粒子：

// 粒子的材质
var material = new THREE.SpriteMaterial();
for ( var x = -5; x < 5; x++ ) {
    for ( var y = -5; y < 5; y++ ) {
        // 创建粒子
        var sprite = new THREE.Sprite( material );
        // 设置其位置
        sprite.position.set( x * 10, y * 10, 0 );
        // 添加到场景
        scene.add( sprite );
    }
}

当你不指定任何属性的时候，粒子被渲染为白色二维小方块。 所以，上面的代码会在场景中展示10 x 10的小方块阵列。

粒子接受的材质类型只有：THREE.SpriteCanvasMaterial、THREE.SpriteMaterial。

与Three.Mesh类似，THREE.Sprite也继承自THREE.Object3D。这意味着THREE.Mesh的很多属性/方法对于粒子也是可用的，你可以使用scale属性对其缩放、使用position让其移动。

虽然创建并移动粒子很简单，但是如果操控的粒子数量很大，你很快就会遇到性能问题。为此，Three.js提供了THREE.PointCloud用来统一处理大量的粒子。基于PointCloud的、与上面等效的代码如下：

var geom = new THREE.Geometry();
// 点云材质
var material = new THREE.PointCloudMaterial( {
    size: 4,
    vertexColors: true, color: 0xffffff
} );
for ( var x = -5; x < 5; x++ ) {
    for ( var y = -5; y < 5; y++ ) {
        // 每个粒子是三维空间中的一个点
        var particle = new THREE.Vector3( x * 10, y * 10, 0 );
        geom.vertices.push( particle );
        geom.colors.push( new THREE.Color( Math.random() * 0x00ffff ) );
    }
}
// 点的集合，点云
var cloud = new THREE.PointCloud( geom, material );
scene.add( cloud );

要创建点云，需要两个参数：

1. 材质，使用颜色或者纹理来装饰粒子
2. Geometry， 指定所有粒子的位置

下面再举一个例子：创建15000个随机亮度的绿色粒子构成的点云：

var geom = new THREE.Geometry();
var material = new THREE.PointCloudMaterial( {
    size: size,
    transparent: transparent,
    opacity: opacity,
    vertexColors: vertexColors,
    sizeAttenuation: sizeAttenuation,
    color: color
} );


var range = 500;
for ( var i = 0; i < 15000; i++ ) {
    // 位置随机的粒子
    var particle = new THREE.Vector3( 
        Math.random() * range - range / 2, 
        Math.random() * range - range / 2, 
        Math.random() * range - range / 2 
    );
    geom.vertices.push( particle );
    var color = new THREE.Color( 0x00ff00 );
    // 以色相、饱和度、亮度的方式设置颜色。随机亮度的绿色
    color.setHSL( color.getHSL().h, color.getHSL().s, Math.random() * color.getHSL().l );
    // 顶点颜色数组
    geom.colors.push( color );

}

当自动旋转点云时，你可以看到粒子满天飞舞的效果。

该材质的属性说明如下：

你可以使用三种方式来基于HTML画布装饰（Style）粒子：

1. 如果使用THREE.CanvasRenderer，你可以直接通过THREE.SpriteCanvasMaterial引用HTML5画布对象
2. 如果使用THREE.WebGLRenderer，你需要一些额外的步骤来使用HTML5画布

在使用该渲染器时，你可以使用THREE.SpriteCanvasMaterial，直接把画布的输出作为粒子的纹理使用。SpriteCanvasMaterial这个材质是专门为CanvasRenderer准备的，支持以下属性：

示例：

var canvasRenderer = new THREE.CanvasRenderer();
// ...

// 抽取纹理的程序
var getTexture = function ( ctx ) {

    // the body
    ctx.translate( -81, -84 );

    ctx.fillStyle = "orange";
    ctx.beginPath();
    // ...
    ctx.fill();

};

// 粒子材质
var material = new THREE.SpriteCanvasMaterial( {
        program: getTexture,
        color: 0xffffff
    }
);
// 旋转
material.rotation = Math.PI;
// 创建粒子
var range = 500;
for ( var i = 0; i < 1500; i++ ) {
    var sprite = new THREE.Sprite( material );
    sprite.position.set( /* random */ );
    sprite.scale.set( 0.1, 0.1, 0.1 );
    scene.add( sprite );
}

使用该渲染器时， 你需要手工在内存中创建画布对象，完成2D图形绘制，并返回一个纹理对象：

var getTexture = function () {
    var canvas = document.createElement( 'canvas' );
    canvas.width = 32;
    canvas.height = 32;

    var ctx = canvas.getContext( '2d' );
    // ...

    // 返回一个纹理对象
    var texture = new THREE.Texture( canvas );
    texture.needsUpdate = true;
    return texture;
};

var geom = new THREE.Geometry();


var material = new THREE.PointCloudMaterial( {
    size: size,
    transparent: transparent,
    opacity: opacity,
    // 指定使用的THREE.Texture对象
    map: getTexture(),
    sizeAttenuation: sizeAttenuation,
    color: color
} );


var range = 500;
for ( var i = 0; i < 5000; i++ ) {
    var particle = new THREE.Vector3( /* random */ );
    geom.vertices.push( particle );
}

cloud = new THREE.PointCloud( geom, material );

下面的代码演示了如何使用Canvas绘制一个径向渐变的光球：

var canvas = document.createElement('canvas');
canvas.width = 16;
canvas.height = 16;

var context = canvas.getContext('2d');
var gradient = context.createRadialGradient(
    canvas.width / 2, canvas.height / 2, 0, canvas.width / 2, canvas.height / 2, canvas.width / 2
);
gradient.addColorStop(0, 'rgba(255,255,255,1)');
gradient.addColorStop(0.2, 'rgba(0,255,255,1)');
gradient.addColorStop(0.4, 'rgba(0,0,64,1)');
gradient.addColorStop(1, 'rgba(0,0,0,1)');

context.fillStyle = gradient;
context.fillRect(0, 0, canvas.width, canvas.height);

var texture = new THREE.Texture(canvas);
texture.needsUpdate = true;
return texture;

可以使用此光球来装饰粒子，产生荧光那样的效果。 

上一个粒子中，我们已经使用了纹理，纹理的图像从画布中抓取。

实际上，我们可以把任何图片作为纹理使用：

var texture = THREE.ImageUtils.loadTexture( "../assets/textures/particles/raindrop-3.png" );

注意：作为纹理的图片，大小必须是2的N次方，必须是正方形。

下面使用该纹理模拟下雨效果：

var geom = new THREE.Geometry();

var material = new THREE.ParticleBasicMaterial( {
    size: size,
    transparent: transparent,
    opacity: opacity,
    map: texture,
    // 设置混合模式为相加，意味着雨滴图片中黑色背景部分（000000）不会被绘制——背景色 + 0 仍然是背景色
    // 使用透明背景的纹理是不支持的
    blending: THREE.AdditiveBlending,
    sizeAttenuation: sizeAttenuation,
    color: color
} );


var range = 40;
for ( var i = 0; i < 1500; i++ ) {
    var particle = new THREE.Vector3(
        Math.random() * range - range / 2,
        Math.random() * range * 1.5,
        Math.random() * range - range / 2 
    );
    // 设置随机的速度属性，备用
    particle.velocityY = 0.1 + Math.random() / 5;
    particle.velocityX = (Math.random() - 0.5) / 3;
    geom.vertices.push( particle );
}

cloud = new THREE.ParticleSystem( geom, material );
cloud.sortParticles = true;

scene.add( cloud );


function render() {
    scene.children.forEach( function ( child ) {
        if ( child instanceof THREE.PointCloud ) {
            var vertices = child.geometry.vertices;
            // 在渲染循环中遍历处理所有粒子，根据速度设置其位置
            vertices.forEach( function ( v ) {
                v.y = v.y - (v.velocityY);
                v.x = v.x - (v.velocityX);
                // 如果粒子超出显示范围，则重置其位置
                if ( v.y <= 0 ) v.y = 60;
                if ( v.x <= -20 || v.x >= 20 ) v.velocityX = v.velocityX * -1;
            } );
        }
    } );
    requestAnimationFrame( render );
    webGLRenderer.render( scene, camera );
}

我们改进一下上面的例子，模拟更真实的下雪效果：

1. 建立多个点云，来模拟不同大小的雪花
2. 在Z轴方向改变雪花的位置，模拟三维空间中雪花的飘舞

代码如下：

function createPointCloud( name, texture, size, transparent, opacity, sizeAttenuation, color ) {
    var geom = new THREE.Geometry();

    var color = new THREE.Color( color );
    // 随机的改变亮度
    color.setHSL( color.getHSL().h, color.getHSL().s, (Math.random()) * color.getHSL().l );

    var material = new THREE.PointCloudMaterial( {
        size: size,
        transparent: transparent,
        opacity: opacity,
        map: texture,
        blending: THREE.AdditiveBlending,
        // 设置为false，表示对象不影响WebGL的depth buffer，这样不同的粒子系统就不会相互干扰
        depthWrite: false,
        sizeAttenuation: sizeAttenuation,
        color: color
    } );

    var range = 40;
    for ( var i = 0; i < 50; i++ ) {
        var particle = new THREE.Vector3(
            Math.random() * range - range / 2,
            Math.random() * range * 1.5,
            Math.random() * range - range / 2 );
        // 雪花在三个轴的方向上都具有速度
        particle.velocityY = 0.1 + Math.random() / 5;
        particle.velocityX = (Math.random() - 0.5) / 3;
        particle.velocityZ = (Math.random() - 0.5) / 3;
        geom.vertices.push( particle );
    }

    var system = new THREE.PointCloud( geom, material );
    system.name = name;
    system.sortParticles = true;
    return system;
}
// 创建多个粒子系统
function createPointClouds( size, transparent, opacity, sizeAttenuation, color ) {

    var texture1 = THREE.ImageUtils.loadTexture( "../assets/textures/particles/snowflake1.png" );
    var texture2 = THREE.ImageUtils.loadTexture( "../assets/textures/particles/snowflake2.png" );
    var texture3 = THREE.ImageUtils.loadTexture( "../assets/textures/particles/snowflake3.png" );
    var texture4 = THREE.ImageUtils.loadTexture( "../assets/textures/particles/snowflake5.png" );

    scene.add( createPointCloud( "system1", texture1, size, transparent, opacity, sizeAttenuation, color ) );
    scene.add( createPointCloud( "system2", texture2, size, transparent, opacity, sizeAttenuation, color ) );
    scene.add( createPointCloud( "system3", texture3, size, transparent, opacity, sizeAttenuation, color ) );
    scene.add( createPointCloud( "system4", texture4, size, transparent, opacity, sizeAttenuation, color ) );
}

createPointClouds( controls.size, controls.transparent, controls.opacity, controls.sizeAttenuation, controls.color );

function render() {

    scene.children.forEach( function ( child ) {
        if ( child instanceof THREE.PointCloud ) {
            var vertices = child.geometry.vertices;
            vertices.forEach( function ( v ) {
                // 模拟三维飘落效果
                v.y = v.y - (v.velocityY);
                v.x = v.x - (v.velocityX);
                v.z = v.z - (v.velocityZ);

                if ( v.y <= 0 ) v.y = 60;
                if ( v.x <= -20 || v.x >= 20 ) v.velocityX = v.velocityX * -1;
                if ( v.z <= -20 || v.z >= 20 ) v.velocityZ = v.velocityZ * -1;
            } );
        }
    } );

    requestAnimationFrame( render );
    webGLRenderer.render( scene, camera );
}

我们可以把多个Sprite放在一个图片中，然后通过偏移量来加载、使用。就像CSS Sprite那样：

var spriteMaterial = new THREE.SpriteMaterial({
        opacity: opacity,
        color: color,
        transparent: transparent,
        map: getTexture() // 这个纹理中包含五个横向排列的小图片，我们只需要其中一个
    }
);
// 纹理图片中，X轴（u）\Y轴（v）方向的偏移量
// 如果spriteNumber取2，表示需要第三个小图片，u-offset = 0.2 * 2 = 0.4，即u偏移为0.4
// 注意u、v的最大值都是1，表示整个图片的大小，因此每个图片的大小是0.2
spriteMaterial.map.offset = new THREE.Vector2(0.2 * spriteNumber, 0);
// 如果不设置repeat，那么3、4、5几个小图都称为Sprite的一部分。而我们只需要第三个图片
// 1/5表示在u方向仅需要1/5长度，恰好是一个小图的大小
spriteMaterial.map.repeat = new THREE.Vector2(1 / 5, 1);
spriteMaterial.depthTest = false;

spriteMaterial.blending = THREE.AdditiveBlending;

var sprite = new THREE.Sprite(spriteMaterial);

点云基于你所提供的Geometry的顶点来渲染粒子。这意味着我们可以向它传递前面所学过的任何几何图形。

前面的章节我们了解到，可以通过ThreeBSP这个插件来创建复合的Mesh。本章我们将学习另外两种创建高级Geometry/Mesh的机制：

1. 分组、合并：Three.js支持内置的分组/合并机制，允许基于现存的对象来创建Mesh/Geometry
2. 加载模型：Three.js支持从多种外部格式来加载Mesh/Geometry

这个机制我们已经使用过，当为Geometry应用多个材质时，实际上Three.js就创建了组。

创建组非常容易，任何Mesh都可以包含子元素，你可以通过

add()

sphere = createMesh(new THREE.SphereGeometry(5, 10, 10));
cube = createMesh(new THREE.BoxGeometry(6, 6, 6));

// 任何3D对象可以作为组的容器，Object3D是Mesh、Scene的超类
group = new THREE.Object3D();   // 最近版本的Three.js引入THREE.Group，专门用作组容器
// 向容器中添加其它Mesh
group.add(sphere);
group.add(cube);

scene.add(group); 

当你针对组中的父对象进行移动、缩放、旋转等操作时，所有子对象将会被应用相同的操作。需要强调的是旋转操作，执行旋转的时候，是整个组围绕组的中心进行旋转，而不是每个元素绕着各自的中心旋转。

使用组时，你依然可以对单个元素进行移动、缩放、旋转等操作。但是需要注意，这些操作都是相对于父对象进行的。

大部分情况下，使用分组可以让你方便的操控大量的Mesh。但是性能问题也可能出现，因为使用分组时，每个对象依然需要被单独的处理、渲染。

使用

THREE.Geometry.merge()

var geometry = new THREE.Geometry();
for ( var i = 0; i < controls.numberOfObjects; i++ ) {
    var cubeMesh = createCube();
    cubeMesh.updateMatrix();
    // 提供被合并geometry的转换矩阵，确保geometry被正确的置位、旋转
    geometry.merge( cubeMesh.geometry, cubeMesh.matrix );
}
scene.add( new THREE.Mesh( geometry, cubeMaterial ) );

使用编程方式来模拟真实世界中复杂的形状是困难的，Three.js允许加载3D建模软件设计的Geometry/Mesh。

加载外部模型，是通过Three.js加载器（Loader）实现的。加载器把文本/二进制的模型文件转化为Three.js对象结构。

每个加载器理解某种特定的文件格式。

使用Three.js的JSON格式，你可以保存/加载一个Mesh或者整个场景。

knot = createMesh(new THREE.TorusKnotGeometry());
scene.add(knot);

// 保存
var result = knot.toJSON();
localStorage.setItem("json", JSON.stringify(result));

// 加载
var json = localStorage.getItem("json");
if (json) {
    var loadedGeometry = JSON.parse(json);
    var loader = new THREE.ObjectLoader();
    // 将JSON解析为Mesh
    loadedMesh = loader.parse(loadedGeometry);
    loadedMesh.position.x -= 50;
    scene.add(loadedMesh);
}

首先引入必要的脚本：

<script type="text/javascript" src="../libs/SceneLoader.js"></script>
<script type="text/javascript" src="../libs/SceneExporter.js"></script>

代码示例：

var exporter = new THREE.SceneExporter();
var sceneJson = JSON.stringify(exporter.parse(scene));
localStorage.setItem('scene', sceneJson);


var json = (localStorage.getItem('scene'));
var sceneLoader = new THREE.SceneLoader();
// 最后一个参数 . 定义了相对URL，加载纹理时需要
sceneLoader.parse(JSON.parse(json), function(e) {
    scene = e.scene;
}, '.');

市场上有大量3D建模软件，用来设计复杂的Mesh。开源领域比较流行的是Blender。

Three.js提供了针对Blender、Maya、3D Studio Max等流行软件的Exporter，可以把基于这些软件设计的模型直接导出为Three.js的JSON格式。 

Exporter并非Three.js支持Blender的唯一途径，因为Three.js本身理解多种3D格式，而Blender也支持保存为这些格式。

1. 复制/home/alex/JavaScript/three.js/utils/exporters/blender/addons目录到/home/alex/Applications/blender/2.78/scripts/addons
2. 打开Blender，点击菜单栏File ⇨ User Preferences，选择Addons选项卡，搜索Three.js，勾选以启用：
3. 点击File ⇨ Export，在弹出的菜单中应该可以看到Three.js项

点击File ⇨ Open，你可以打开既有模型文件并编辑。点击File ⇨ Export ⇨ Three.js(json)，选择目标路径即可导出。

在导出对话框中，可以修改设置：

这样，导出的JSON会包含材质的声明，并且模型使用的纹理自动导出为图片。

var loader = new THREE.JSONLoader();
// 设置纹理的加载路径，JSON中仅仅包含纹理图片文件的名称，不包括目录前缀
loader.setTexturePath( './assets/' ); // 注意结尾的 /
// 异步的加载操作，回调函数提供两个入参：加载的Geometry、加载到的材质的数组
loader.load( './assets/chair.json', function ( geometry, materials ) {
    // 回调参数是THREE.Geometry，THREE.Material[]
    var material = new THREE.MultiMaterial( materials );
    var mesh = new THREE.Mesh( geometry, material );
    // 放大以便看清
    mesh.scale.x = 15;
    mesh.scale.y = 15;
    mesh.scale.z = 15;
    scene.add( mesh );

} ); 

此格式被Blender原生支持、Three.js也提供了相应的加载器。

首先引入必要的脚本：

<script type="text/javascript" src="../libs/OBJLoader.js"></script>
<!-- 下面两个用于加载MTL -->
<script type="text/javascript" src="../libs/MTLLoader.js"></script>
<script type="text/javascript" src="../libs/OBJMTLLoader.js"></script>

var loader = new THREE.OBJLoader();
loader.load( '../assets/models/pinecone.obj', function ( loadedMesh ) {
    // 回调参数是一个THREE.Object3D对象
    var material = new THREE.MeshLambertMaterial( { color: 0x5C3A21 } );
    loadedMesh.children.forEach( function ( child ) {
        child.material = material;
        child.geometry.computeFaceNormals();
        child.geometry.computeVertexNormals();
    } );

    scene.add( loadedMesh );
} );

一个好的实践是，在回调中打印加载对象的结构。通常，加载的Geometry/Mesh表现为层次化的Group。理解此Group的结构，以便正确的应用材质，并执行额外的处理步骤。

此外，注意查看顶点的位置信息，然后估算是否需要进行缩放、如何放置镜头。

对Geometry调用computeFaceNormals、computeVertexNormals，以确保材质被正确的渲染。

如果你需要通过OBJ/MTL来加载模型，首先检查MTL的内容，确保它以相对路径来引用纹理图片。

下面的例子加载一个蝴蝶模型，需要注意，某些时候需要对材质进行微调：

var loader = new THREE.OBJMTLLoader();

loader.load( '../assets/models/butterfly.obj', '../assets/models/butterfly.mtl', function ( object ) {
    // 回调参数是一个THREE.Group对象

    var wing2 = object.children[ 5 ].children[ 0 ];
    var wing1 = object.children[ 4 ].children[ 0 ];

    // 模型源文件中，蝴蝶翅膀的透明度设置有误导致看不见，这里手工调整一下材质
    wing1.material.opacity = 0.6;
    wing1.material.transparent = true;
    // 禁用深度测试，避免渲染错误（不指定下面的代码来运行示例，可以看到翅膀中部分像素不停抖动）
    wing1.material.depthTest = false;
    // 默认情况下，Three.js仅仅会渲染一个面
    wing1.material.side = THREE.DoubleSide;

    wing2.material.opacity = 0.6;
    wing2.material.depthTest = false;
    wing2.material.transparent = true;
    wing2.material.side = THREE.DoubleSide;

    object.scale.set( 140, 140, 140 );
    mesh = object;
    scene.add( mesh );

    object.rotation.x = 0.2;
    object.rotation.y = -1.3;
} );

此格式的默认扩展名为.dae，也被广泛的使用。此格式用来定义场景、模型，甚至是动画。一个Collada模型同时包含了Geometry、材质的定义。

不意外的，要加载Collada格式同样需要引入Loader脚本：

<script type="text/javascript" src="../libs/ColladaLoader.js"></script>

下面的代码，从Collada模型中导入一个卡车模型：

var loader = new THREE.ColladaLoader();

var mesh;
loader.load( "../assets/models/dae/Truck_dae.dae", function ( result ) {
    // 从模型场景中克隆出一个对象
    mesh = result.scene.children[ 0 ].children[ 0 ].clone();
    mesh.scale.set( 4, 4, 4 );
    // 添加到当前场景中
    scene.add( mesh );
} );

需要注意的是，Collada加载器回调参数是如下结构：

var result = {
    scene: scene,  // 场景对象，THREE.Scene，包括所有模型对象，都在其中
    morphs: morphs,
    skins: skins,
    animations: animData,
    dae: {}
};

本章仅关心scene属性中的对象。需要注意，纹理可能基于WebGL不支持的格式（例如.tga），你可能需要将其转换为.png格式，并编辑Collada文件。

我们之前的动画，都是基于渲染循环来实现——通知Three.js尽快的重新渲染。实现代码都是如下的模式：

render();
function render() {
    // 在此，可以修改模型属性
    /* ... */
    // 执行渲染
    renderer.render( scene, camera );
    // 调度下依次渲染
    requestAnimationFrame( render );
}

我们只需要手工触发一次render()调用，之后它就会被定期（通常是每秒60次）递归调用了。 

基于这种方式，我们可以修改模型的各种属性——otation,scale, position, material, vertices, faces从而产生简单的动画效果。

尽管用鼠标选择对象和动画没有直接关系，但是为了深入理解镜头和动画，我们需要用到这一功能。

Three.js没有直接提供“点击”功能，但是我们可以基于THREE.Projector、THREE.Raycaster来判断鼠标当前对应到哪个物体：

document.addEventListener( 'mousedown', onDocumentMouseDown, false );

var projector = new THREE.Projector();

function onDocumentMouseDown( event ) {
    // 基于鼠标当前位置，创建一个3D向量
    var x = ( event.clientX / window.innerWidth ) * 2 - 1;
    var y = -( event.clientY / window.innerHeight ) * 2 + 1;
    var z = 0.5;
    var vector = new THREE.Vector3( x, y, z );
    // 把鼠标当前位置转换为Three.js场景中的坐标 —— 把2D屏幕坐标unproject为3D世界坐标
    vector = vector.unproject( camera );
    // 从相机所在位置发出一条射线，射到鼠标位置
    var raycaster = new THREE.Raycaster( camera.position, vector.sub( camera.position ).normalize() );
    // 检查此射线穿过哪些物体
    var intersects = raycaster.intersectObjects( [ sphere, cylinder, cube ] );

    if ( intersects.length > 0 ) {

        console.log( intersects[ 0 ] );

        intersects[ 0 ].object.material.transparent = true;
        intersects[ 0 ].object.material.opacity = 0.1;
    }
}

Tween.js是一个简单的JS库，可以基于给定的初值、终值自动计算所有中间值。这个中间值计算过程一般叫做tweening。示例代码：

var coords = { x: 0, y: 0 };
var tween = new TWEEN.Tween( coords )
    .to( { x: 100, y: 100 }, 1000 ) // 在1秒内完成变换
    .onUpdate( function () {  // 每当值变化时，执行的回调
        console.log( this.x, this.y );
    } )
    .start();

requestAnimationFrame( animate );
// requestAnimationFrame会自动把一个高精度的、从DOM加载到当前流逝的时间传递给回调
function animate( time ) {
    requestAnimationFrame( animate );
    TWEEN.update( time );
}

我们可以创建一个改变物体位置的循环动画：

var posSrc = { pos: 1 };
// 创建两个Tween并链接，形成循环动画
var tween = new TWEEN.Tween( posSrc ).to( { pos: 0 }, 5000 );
tween.easing( TWEEN.Easing.Sinusoidal.InOut );

var tweenBack = new TWEEN.Tween( posSrc ).to( { pos: 1 }, 5000 );
tweenBack.easing( TWEEN.Easing.Sinusoidal.InOut );

tween.chain( tweenBack );
tweenBack.chain( tween );
// 当值变化时，改变物体的顶点位置
var onUpdate = function () {
    var count = 0;
    var pos = this.pos;

    loadedGeometry.vertices.forEach( function ( e ) {
        var newY = ((e.y + 3.22544) * pos) - 3.22544;
        pointCloud.geometry.vertices[ count++ ].set( e.x, newY, e.z );
    } );

    pointCloud.sortParticles = true;
};

tween.onUpdate( onUpdate );
tweenBack.onUpdate( onUpdate );

function render() {
    TWEEN.update();
    // 以16.7次/秒的频率，更新Tween，然后重渲染场景
    requestAnimationFrame( render );
    webGLRenderer.render( scene, camera );
}

跟踪球控制，允许你使用鼠标进行镜头的平移（鼠标左键）、缩放（鼠标中键）、旋转操作（鼠标右键）。

使用该控制方式，需要引入：

<script type="text/javascript" src="../libs/TrackballControls.js"></script>

然后，创建控制器对象：

// 关联到镜头
var trackballControls = new THREE.TrackballControls( camera );
// 设置速度
trackballControls.rotateSpeed = 1.0;
trackballControls.zoomSpeed = 1.0;
trackballControls.panSpeed = 1.0;


function render() {
    // 获取上一次调用getDelta到现在流逝的时间
    var delta = clock.getDelta();
    // 传递此时间增量，控制器会根据移动速度来计算距离
    trackballControls.update( delta );
    requestAnimationFrame( render );
    webGLRenderer.render( scene, camera )
}

飞行控制，好像你在驾驶一架飞机，在场景中穿梭。

使用该控制方式，需要引入：

<script type="text/javascript" src="../libs/FlyControls.js"></script>

示例代码：

var flyControls = new THREE.FlyControls(camera);
flyControls.movementSpeed = 25;
// 需要指向渲染场景的DOM元素
flyControls.domElement = document.querySelector('#WebGL');
flyControls.rollSpeed = Math.PI / 24;
flyControls.autoForward = true;
flyControls.dragToLook = false;

第一人称视角。示例代码：

var camControls = new THREE.FirstPersonControls(camera);
camControls.lookSpeed = 0.1;
camControls.movementSpeed = 20;
camControls.noFly = true;
camControls.lookVertical = true;
camControls.constrainVertical = true;
camControls.verticalMin = 1.0;
camControls.verticalMax = 2.0;
// 场景最初渲染时，镜头的位置
camControls.lon = -150;
camControls.lat = 120; 

与上一个类似，但是提供鼠标锁定功能。避免镜头一直移动导致晃眼。具体查看这个示例。

这种方式可以很方便的旋转、平移、缩放位于场景中心位置的物体。例如太空场景中的星球。示例代码：

var orbitControls = new THREE.OrbitControls(camera);
orbitControls.autoRotate = true;
var clock = new THREE.Clock();
...
var delta = clock.getDelta();
orbitControls.update(delta);