日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Nova 启动虚拟机流程解析

發布時間:2025/3/21 编程问答 34 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Nova 启动虚拟机流程解析 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

目錄

文章目錄

  • 目錄
  • 前言
  • 從請求說起
    • nova-api service 階段

前言

Nova 啟動虛擬機的東西太多,持續更新…

從請求說起

無論是通過 Dashboard 還是 CLI 啟動一個虛擬機,發送的是 POST /servers請求,改與該請求的 Body 詳情,可以瀏覽官方文檔 Create server。

nova-api service 階段

Nova API Service 本質是一個 WSGI Application,采用了 Paste + PasteDeploy + Routes + WebOb 框架,簡稱 PPRW。關于架構的實現不屬于本文范疇,所以直接看接收到 POST /servers 請求之后的處理函數(View Method)create。

NOTE:首先需要說明的是,下文中所有的代碼解析均直接通過注釋的方式呈現完成。

# File: /opt/stack/nova/nova/api/openstack/compute/servers.py@wsgi.response(202)@wsgi.expected_errors((400, 403, 409))@validation.schema(schema_servers.base_create_v20, '2.0', '2.0')@validation.schema(schema_servers.base_create, '2.1', '2.18')@validation.schema(schema_servers.base_create_v219, '2.19', '2.31')@validation.schema(schema_servers.base_create_v232, '2.32', '2.32')@validation.schema(schema_servers.base_create_v233, '2.33', '2.36')@validation.schema(schema_servers.base_create_v237, '2.37', '2.41')@validation.schema(schema_servers.base_create_v242, '2.42', '2.51')@validation.schema(schema_servers.base_create_v252, '2.52', '2.56')@validation.schema(schema_servers.base_create_v257, '2.57', '2.62')@validation.schema(schema_servers.base_create_v263, '2.63', '2.66')@validation.schema(schema_servers.base_create_v267, '2.67')def create(self, req, body):"""Creates a new server for a given user."""context = req.environ['nova.context']server_dict = body['server']# 用戶設置的虛擬機密碼password = self._get_server_admin_password(server_dict)name = common.normalize_name(server_dict['name'])description = nameif api_version_request.is_supported(req, min_version='2.19'):description = server_dict.get('description')# Arguments to be passed to instance create functioncreate_kwargs = {}# 需要注入到虛擬機的 user_data 數據(Configuration information or scripts to use upon launch.)create_kwargs['user_data'] = server_dict.get('user_data')# NOTE(alex_xu): The v2.1 API compat mode, we strip the spaces for# keypair create. But we didn't strip spaces at here for# backward-compatible some users already created keypair and name with# leading/trailing spaces by legacy v2 API.# keypair 名稱create_kwargs['key_name'] = server_dict.get('key_name')# 是否啟用 config_drive(布爾值)create_kwargs['config_drive'] = server_dict.get('config_drive')# 虛擬機安全組security_groups = server_dict.get('security_groups')if security_groups is not None:create_kwargs['security_groups'] = [sg['name'] for sg in security_groups if sg.get('name')]create_kwargs['security_groups'] = list(set(create_kwargs['security_groups']))# 虛擬機調度提示信息,是一種高級的調度因子scheduler_hints = {}if 'os:scheduler_hints' in body:scheduler_hints = body['os:scheduler_hints']elif 'OS-SCH-HNT:scheduler_hints' in body:scheduler_hints = body['OS-SCH-HNT:scheduler_hints']create_kwargs['scheduler_hints'] = scheduler_hints# min_count and max_count are optional. If they exist, they may come# in as strings. Verify that they are valid integers and > 0.# Also, we want to default 'min_count' to 1, and default# 'max_count' to be 'min_count'.min_count = int(server_dict.get('min_count', 1))max_count = int(server_dict.get('max_count', min_count))return_id = server_dict.get('return_reservation_id', False)if min_count > max_count:msg = _('min_count must be <= max_count')raise exc.HTTPBadRequest(explanation=msg)create_kwargs['min_count'] = min_countcreate_kwargs['max_count'] = max_countcreate_kwargs['return_reservation_id'] = return_id# 指定可用域availability_zone = server_dict.pop("availability_zone", None)# 虛擬機 tags 信息if api_version_request.is_supported(req, min_version='2.52'):create_kwargs['tags'] = server_dict.get('tags')helpers.translate_attributes(helpers.CREATE,server_dict, create_kwargs)target = {'project_id': context.project_id,'user_id': context.user_id,'availability_zone': availability_zone}# 驗證 target 是否支持 create 操作context.can(server_policies.SERVERS % 'create', target)# Skip policy check for 'create:trusted_certs' if no trusted# certificate IDs were provided.# 鏡像證書trusted_certs = server_dict.get('trusted_image_certificates', None)if trusted_certs:create_kwargs['trusted_certs'] = trusted_certscontext.can(server_policies.SERVERS % 'create:trusted_certs',target=target)# TODO(Shao He, Feng) move this policy check to os-availability-zone# extension after refactor it.parse_az = self.compute_api.parse_availability_zonetry:# 解析 --availability-zone AZ1:Compute1:Hypervisor1 參數availability_zone, host, node = parse_az(context,availability_zone)except exception.InvalidInput as err:raise exc.HTTPBadRequest(explanation=six.text_type(err))if host or node:context.can(server_policies.SERVERS % 'create:forced_host', {})# NOTE(danms): Don't require an answer from all cells here, as# we assume that if a cell isn't reporting we won't schedule into# it anyway. A bit of a gamble, but a reasonable one.min_compute_version = service_obj.get_minimum_version_all_cells(nova_context.get_admin_context(), ['nova-compute'])# 是否支持 device tagging 功能supports_device_tagging = (min_compute_version >=DEVICE_TAGGING_MIN_COMPUTE_VERSION)# 兩個 Boot from volume 的 block device mapping 版本block_device_mapping_legacy = server_dict.get('block_device_mapping',[])block_device_mapping_v2 = server_dict.get('block_device_mapping_v2',[])if block_device_mapping_legacy and block_device_mapping_v2:expl = _('Using different block_device_mapping syntaxes ''is not allowed in the same request.')raise exc.HTTPBadRequest(explanation=expl)if block_device_mapping_legacy:for bdm in block_device_mapping_legacy:if 'delete_on_termination' in bdm:bdm['delete_on_termination'] = strutils.bool_from_string(bdm['delete_on_termination'])create_kwargs['block_device_mapping'] = block_device_mapping_legacy# Sets the legacy_bdm flag if we got a legacy block device mapping.create_kwargs['legacy_bdm'] = Trueelif block_device_mapping_v2:# Have to check whether --image is given, see bug 1433609image_href = server_dict.get('imageRef')image_uuid_specified = image_href is not Nonetry:# Transform the API format of data to the internally used one.# block_device_mapping_v2 的數據結構:# "block_device_mapping_v2": [{# "boot_index": "0",# "uuid": "ac408821-c95a-448f-9292-73986c790911",# "source_type": "image",# "volume_size": "25",# "destination_type": "volume",# "delete_on_termination": true,# "tag": "disk1",# "disk_bus": "scsi"}]block_device_mapping = [block_device.BlockDeviceDict.from_api(bdm_dict,image_uuid_specified)for bdm_dict in block_device_mapping_v2]except exception.InvalidBDMFormat as e:raise exc.HTTPBadRequest(explanation=e.format_message())create_kwargs['block_device_mapping'] = block_device_mapping# Unset the legacy_bdm flag if we got a block device mapping.create_kwargs['legacy_bdm'] = Falseblock_device_mapping = create_kwargs.get("block_device_mapping")if block_device_mapping:# 檢查 target 是否支持 create:attach_volume 操作context.can(server_policies.SERVERS % 'create:attach_volume',target)for bdm in block_device_mapping:if bdm.get('tag', None) and not supports_device_tagging:msg = _('Block device tags are not yet supported.')raise exc.HTTPBadRequest(explanation=msg)# 獲取指定的 image uuid# 如果沒有 image_href 并且存在 block_device_mapping 則返回 '' 空字符串,Boot from volume 就不需要指定 Image 了# 如果有 image_href,則 image_uuid = image_hrefimage_uuid = self._image_from_req_data(server_dict, create_kwargs)# NOTE(cyeoh): Although upper layer can set the value of# return_reservation_id in order to request that a reservation# id be returned to the client instead of the newly created# instance information we do not want to pass this parameter# to the compute create call which always returns both. We use# this flag after the instance create call to determine what# to return to the clientreturn_reservation_id = create_kwargs.pop('return_reservation_id',False)# 通過 networks attribute 創建一個 list of requested networksrequested_networks = server_dict.get('networks', None)if requested_networks is not None:requested_networks = self._get_requested_networks(requested_networks, supports_device_tagging)# Skip policy check for 'create:attach_network' if there is no# network allocation request.if requested_networks and len(requested_networks) and \not requested_networks.no_allocate:context.can(server_policies.SERVERS % 'create:attach_network',target)# 獲取 flavor object(DB)flavor_id = self._flavor_id_from_req_data(body)try:inst_type = flavors.get_flavor_by_flavor_id(flavor_id, ctxt=context, read_deleted="no")# 是否支持 Cinder Mulit-Attachsupports_multiattach = common.supports_multiattach_volume(req)# 跳轉到 Compute API 處理,實際上后來是繼續跳轉到 Conductor 了。(instances, resv_id) = self.compute_api.create(context,inst_type,image_uuid,display_name=name,display_description=description,availability_zone=availability_zone,forced_host=host, forced_node=node,metadata=server_dict.get('metadata', {}),admin_password=password,requested_networks=requested_networks,check_server_group_quota=True,supports_multiattach=supports_multiattach,**create_kwargs)except (exception.QuotaError,exception.PortLimitExceeded) as error:raise exc.HTTPForbidden(explanation=error.format_message())except exception.ImageNotFound:msg = _("Can not find requested image")raise exc.HTTPBadRequest(explanation=msg)except exception.KeypairNotFound:msg = _("Invalid key_name provided.")raise exc.HTTPBadRequest(explanation=msg)except exception.ConfigDriveInvalidValue:msg = _("Invalid config_drive provided.")raise exc.HTTPBadRequest(explanation=msg)except (exception.BootFromVolumeRequiredForZeroDiskFlavor,exception.ExternalNetworkAttachForbidden) as error:raise exc.HTTPForbidden(explanation=error.format_message())except messaging.RemoteError as err:msg = "%(err_type)s: %(err_msg)s" % {'err_type': err.exc_type,'err_msg': err.value}raise exc.HTTPBadRequest(explanation=msg)except UnicodeDecodeError as error:msg = "UnicodeError: %s" % errorraise exc.HTTPBadRequest(explanation=msg)except (exception.CPUThreadPolicyConfigurationInvalid,exception.ImageNotActive,exception.ImageBadRequest,exception.ImageNotAuthorized,exception.FixedIpNotFoundForAddress,exception.FlavorNotFound,exception.FlavorDiskTooSmall,exception.FlavorMemoryTooSmall,exception.InvalidMetadata,exception.InvalidRequest,exception.InvalidVolume,exception.MultiplePortsNotApplicable,exception.InvalidFixedIpAndMaxCountRequest,exception.InstanceUserDataMalformed,exception.PortNotFound,exception.FixedIpAlreadyInUse,exception.SecurityGroupNotFound,exception.PortRequiresFixedIP,exception.NetworkRequiresSubnet,exception.NetworkNotFound,exception.InvalidBDM,exception.InvalidBDMSnapshot,exception.InvalidBDMVolume,exception.InvalidBDMImage,exception.InvalidBDMBootSequence,exception.InvalidBDMLocalsLimit,exception.InvalidBDMVolumeNotBootable,exception.InvalidBDMEphemeralSize,exception.InvalidBDMFormat,exception.InvalidBDMSwapSize,exception.VolumeTypeNotFound,exception.AutoDiskConfigDisabledByImage,exception.ImageCPUPinningForbidden,exception.ImageCPUThreadPolicyForbidden,exception.ImageNUMATopologyIncomplete,exception.ImageNUMATopologyForbidden,exception.ImageNUMATopologyAsymmetric,exception.ImageNUMATopologyCPUOutOfRange,exception.ImageNUMATopologyCPUDuplicates,exception.ImageNUMATopologyCPUsUnassigned,exception.ImageNUMATopologyMemoryOutOfRange,exception.InvalidNUMANodesNumber,exception.InstanceGroupNotFound,exception.MemoryPageSizeInvalid,exception.MemoryPageSizeForbidden,exception.PciRequestAliasNotDefined,exception.RealtimeConfigurationInvalid,exception.RealtimeMaskNotFoundOrInvalid,exception.SnapshotNotFound,exception.UnableToAutoAllocateNetwork,exception.MultiattachNotSupportedOldMicroversion,exception.CertificateValidationFailed) as error:raise exc.HTTPBadRequest(explanation=error.format_message())except (exception.PortInUse,exception.InstanceExists,exception.NetworkAmbiguous,exception.NoUniqueMatch,exception.MultiattachSupportNotYetAvailable,exception.VolumeTypeSupportNotYetAvailable,exception.CertificateValidationNotYetAvailable) as error:raise exc.HTTPConflict(explanation=error.format_message())# If the caller wanted a reservation_id, return itif return_reservation_id:return wsgi.ResponseObject({'reservation_id': resv_id})server = self._view_builder.create(req, instances[0])# Enables returning of the instance password by the relevant server API calls# such as create, rebuild, evacuate, or rescue. if CONF.api.enable_instance_password:server['server']['adminPass'] = passwordrobj = wsgi.ResponseObject(server)return self._add_location(robj)

上述的參數基本上可以與 Dashboard 上的 Form 表單一一對應:

# File: /opt/stack/nova/nova/compute/api.py@hooks.add_hook("create_instance")def create(self, context, instance_type,image_href, kernel_id=None, ramdisk_id=None,min_count=None, max_count=None,display_name=None, display_description=None,key_name=None, key_data=None, security_groups=None,availability_zone=None, forced_host=None, forced_node=None,user_data=None, metadata=None, injected_files=None,admin_password=None, block_device_mapping=None,access_ip_v4=None, access_ip_v6=None, requested_networks=None,config_drive=None, auto_disk_config=None, scheduler_hints=None,legacy_bdm=True, shutdown_terminate=False,check_server_group_quota=False, tags=None,supports_multiattach=False, trusted_certs=None):"""Provision instances, sending instance information to thescheduler. The scheduler will determine where the instance(s)go and will handle creating the DB entries.Returns a tuple of (instances, reservation_id)"""if requested_networks and max_count is not None and max_count > 1:# 驗證不能指定一個 IP 地址來創建多個虛擬機self._check_multiple_instances_with_specified_ip(requested_networks)if utils.is_neutron():# # 驗證不能指定一個 Port 來創建多個虛擬機self._check_multiple_instances_with_neutron_ports(requested_networks)# 驗證指定的 AZ 是否為可用域if availability_zone:available_zones = availability_zones.\get_availability_zones(context.elevated(), True)if forced_host is None and availability_zone not in \available_zones:msg = _('The requested availability zone is not available')raise exception.InvalidRequest(msg)# filter_properties 就是一個 Dict 類型對象,現在包含了實參的列表的內容。filter_properties = scheduler_utils.build_filter_properties(scheduler_hints, forced_host, forced_node, instance_type)return self._create_instance(context, instance_type,image_href, kernel_id, ramdisk_id,min_count, max_count,display_name, display_description,key_name, key_data, security_groups,availability_zone, user_data, metadata,injected_files, admin_password,access_ip_v4, access_ip_v6,requested_networks, config_drive,block_device_mapping, auto_disk_config,filter_properties=filter_properties,legacy_bdm=legacy_bdm,shutdown_terminate=shutdown_terminate,check_server_group_quota=check_server_group_quota,tags=tags, supports_multiattach=supports_multiattach,trusted_certs=trusted_certs)def _create_instance(self, context, instance_type,image_href, kernel_id, ramdisk_id,min_count, max_count,display_name, display_description,key_name, key_data, security_groups,availability_zone, user_data, metadata, injected_files,admin_password, access_ip_v4, access_ip_v6,requested_networks, config_drive,block_device_mapping, auto_disk_config, filter_properties,reservation_id=None, legacy_bdm=True, shutdown_terminate=False,check_server_group_quota=False, tags=None,supports_multiattach=False, trusted_certs=None):"""Verify all the input parameters regardless of the provisioningstrategy being performed and schedule the instance(s) forcreation."""# Normalize and setup some parametersif reservation_id is None:reservation_id = utils.generate_uid('r')security_groups = security_groups or ['default']min_count = min_count or 1max_count = max_count or min_countblock_device_mapping = block_device_mapping or []tags = tags or []if image_href:# 獲取 Image Id 和 Image Metadataimage_id, boot_meta = self._get_image(context, image_href)else:# This is similar to the logic in _retrieve_trusted_certs_object.if (trusted_certs or(CONF.glance.verify_glance_signatures andCONF.glance.enable_certificate_validation andCONF.glance.default_trusted_certificate_ids)):msg = _("Image certificate validation is not supported ""when booting from volume")raise exception.CertificateValidationFailed(message=msg)image_id = None# 如果沒有指定 Image 的話就獲取 block device 的 Metadataboot_meta = self._get_bdm_image_metadata(context, block_device_mapping, legacy_bdm)# ???self._check_auto_disk_config(image=boot_meta,auto_disk_config=auto_disk_config)# 進一步驗證和轉換虛擬機創建參數base_options, max_net_count, key_pair, security_groups, \network_metadata = self._validate_and_build_base_options(context, instance_type, boot_meta, image_href, image_id,kernel_id, ramdisk_id, display_name, display_description,key_name, key_data, security_groups, availability_zone,user_data, metadata, access_ip_v4, access_ip_v6,requested_networks, config_drive, auto_disk_config,reservation_id, max_count)# max_net_count is the maximum number of instances requested by the# user adjusted for any network quota constraints, including# consideration of connections to each requested network# 如果最大的 network 數量小于最小的虛擬機數量,則觸發異常if max_net_count < min_count:raise exception.PortLimitExceeded()elif max_net_count < max_count:LOG.info("max count reduced from %(max_count)d to ""%(max_net_count)d due to network port quota",{'max_count': max_count,'max_net_count': max_net_count})max_count = max_net_count# 進一步檢查 Boot from volume 的 block device 的可用性block_device_mapping = self._check_and_transform_bdm(context,base_options, instance_type, boot_meta, min_count, max_count,block_device_mapping, legacy_bdm)# We can't do this check earlier because we need bdms from all sources# to have been merged in order to get the root bdm.# 進一步檢查 quota 和 image 的可用性self._checks_for_create_and_rebuild(context, image_id, boot_meta,instance_type, metadata, injected_files,block_device_mapping.root_bdm())# 轉換為多個虛擬機為 InstanceGroup 數據結構instance_group = self._get_requested_instance_group(context,filter_properties)# 轉換為 TagList 數據結構tags = self._create_tag_list_obj(context, tags)# 將諸多創建參數封裝到 instances_to_build 列表類型對象中instances_to_build = self._provision_instances(context, instance_type, min_count, max_count, base_options,boot_meta, security_groups, block_device_mapping,shutdown_terminate, instance_group, check_server_group_quota,filter_properties, key_pair, tags, trusted_certs,supports_multiattach, network_metadata)instances = []request_specs = []build_requests = []for rs, build_request, im in instances_to_build:build_requests.append(build_request)instance = build_request.get_new_instance(context)instances.append(instance)request_specs.append(rs)if CONF.cells.enable:# NOTE(danms): CellsV1 can't do the new thing, so we# do the old thing here. We can remove this path once# we stop supporting v1.for instance in instances:# 創建 Instance 數據庫對象instance.create()# NOTE(melwitt): We recheck the quota after creating the objects# to prevent users from allocating more resources than their# allowed quota in the event of a race. This is configurable# because it can be expensive if strict quota limits are not# required in a deployment.# 再一次檢查資源配額if CONF.quota.recheck_quota:try:compute_utils.check_num_instances_quota(context, instance_type, 0, 0,orig_num_req=len(instances))except exception.TooManyInstances:with excutils.save_and_reraise_exception():# Need to clean up all the instances we created# along with the build requests, request specs,# and instance mappings.self._cleanup_build_artifacts(instances,instances_to_build)self.compute_task_api.build_instances(context,instances=instances, image=boot_meta,filter_properties=filter_properties,admin_password=admin_password,injected_files=injected_files,requested_networks=requested_networks,security_groups=security_groups,block_device_mapping=block_device_mapping,legacy_bdm=False)else:self.compute_task_api.schedule_and_build_instances(context,build_requests=build_requests,request_spec=request_specs,image=boot_meta,admin_password=admin_password,injected_files=injected_files,requested_networks=requested_networks,block_device_mapping=block_device_mapping,tags=tags)return instances, reservation_iddef _validate_and_build_base_options(self, context, instance_type,boot_meta, image_href, image_id,kernel_id, ramdisk_id, display_name,display_description, key_name,key_data, security_groups,availability_zone, user_data,metadata, access_ip_v4, access_ip_v6,requested_networks, config_drive,auto_disk_config, reservation_id,max_count):"""Verify all the input parameters regardless of the provisioningstrategy being performed."""# 確定 Flavor 可用if instance_type['disabled']:raise exception.FlavorNotFound(flavor_id=instance_type['id'])# 確定 user_data 數據編碼格式為 Base64if user_data:try:base64utils.decode_as_bytes(user_data)except TypeError:raise exception.InstanceUserDataMalformed()# When using Neutron, _check_requested_secgroups will translate and# return any requested security group names to uuids.security_groups = (self._check_requested_secgroups(context, security_groups))# Note: max_count is the number of instances requested by the user,# max_network_count is the maximum number of instances taking into# account any network quotasmax_network_count = self._check_requested_networks(context,requested_networks, max_count)# Choose kernel and ramdisk appropriate for the instance.# ramdisk(虛擬內存盤)是一種將內存模擬成硬盤來使用的技術,可以在內存啟動虛擬機。kernel_id, ramdisk_id = self._handle_kernel_and_ramdisk(context, kernel_id, ramdisk_id, boot_meta)# 依舊返回是布爾值類型config_drive = self._check_config_drive(config_drive)# 通過 keypair name 獲取 keypair dataif key_data is None and key_name is not None:key_pair = objects.KeyPair.get_by_name(context,context.user_id,key_name)key_data = key_pair.public_keyelse:key_pair = None# 獲取系統盤設備的名稱(可能從 Image 獲取或者從 Volume 獲取)root_device_name = block_device.prepend_dev(block_device.properties_root_device_name(boot_meta.get('properties', {})))try:# 此處的 image 是一個抽象概念,表示啟動操作系統的系統盤。將 Image File 和 Volume 統一為 ImageMeta 對象。image_meta = objects.ImageMeta.from_dict(boot_meta)except ValueError as e:# there must be invalid values in the image meta properties so# consider this an invalid requestmsg = _('Invalid image metadata. Error: %s') % six.text_type(e)raise exception.InvalidRequest(msg)# 從 Flavor properties 和 Image properties 獲取 NUMA 屬性numa_topology = hardware.numa_get_constraints(instance_type, image_meta)system_metadata = {}# PCI requests come from two sources: instance flavor and# requested_networks. The first call in below returns an# InstancePCIRequests object which is a list of InstancePCIRequest# objects. The second call in below creates an InstancePCIRequest# object for each SR-IOV port, and append it to the list in the# InstancePCIRequests object# PCI requests come from two sources: instance flavor and requested_networks. # 從 Flavor 獲取 PCI 設備pci_request_info = pci_request.get_pci_requests_from_flavor(instance_type)# ???network_metadata = self.network_api.create_resource_requests(context, requested_networks, pci_request_info)# base_options 的數據基本就是 instances 數據庫表的屬性。base_options = {'reservation_id': reservation_id,'image_ref': image_href,'kernel_id': kernel_id or '','ramdisk_id': ramdisk_id or '','power_state': power_state.NOSTATE,'vm_state': vm_states.BUILDING,'config_drive': config_drive,'user_id': context.user_id,'project_id': context.project_id,'instance_type_id': instance_type['id'],'memory_mb': instance_type['memory_mb'],'vcpus': instance_type['vcpus'],'root_gb': instance_type['root_gb'],'ephemeral_gb': instance_type['ephemeral_gb'],'display_name': display_name,'display_description': display_description,'user_data': user_data,'key_name': key_name,'key_data': key_data,'locked': False,'metadata': metadata or {},'access_ip_v4': access_ip_v4,'access_ip_v6': access_ip_v6,'availability_zone': availability_zone,'root_device_name': root_device_name,'progress': 0,'pci_requests': pci_request_info,'numa_topology': numa_topology,'system_metadata': system_metadata}options_from_image = self._inherit_properties_from_image(boot_meta, auto_disk_config)base_options.update(options_from_image)# return the validated options and maximum number of instances allowed# by the network quotasreturn (base_options, max_network_count, key_pair, security_groups,network_metadata)def _provision_instances(self, context, instance_type, min_count,max_count, base_options, boot_meta, security_groups,block_device_mapping, shutdown_terminate,instance_group, check_server_group_quota, filter_properties,key_pair, tags, trusted_certs, supports_multiattach,network_metadata=None):# Check quotasnum_instances = compute_utils.check_num_instances_quota(context, instance_type, min_count, max_count)security_groups = self.security_group_api.populate_security_groups(security_groups)self.security_group_api.ensure_default(context)LOG.debug("Going to run %s instances...", num_instances)instances_to_build = []try:for i in range(num_instances):# Create a uuid for the instance so we can store the# RequestSpec before the instance is created.instance_uuid = uuidutils.generate_uuid()# Store the RequestSpec that will be used for scheduling.# 將于 scheduling 相關的參數都封裝到 RequestSpec 對象,便于在 Nova Scheduler 中應用。req_spec = objects.RequestSpec.from_components(context,instance_uuid, boot_meta, instance_type,base_options['numa_topology'],base_options['pci_requests'], filter_properties,instance_group, base_options['availability_zone'],security_groups=security_groups)# 如果是 Boot from Volume,則使用系統盤作為操作系統的根盤if block_device_mapping:# Record whether or not we are a BFV instanceroot = block_device_mapping.root_bdm()# 標記為 Boot from volumereq_spec.is_bfv = bool(root and root.is_volume)else:# If we have no BDMs, we're clearly not BFVreq_spec.is_bfv = False# NOTE(danms): We need to record num_instances on the request# spec as this is how the conductor knows how many were in this# batch.req_spec.num_instances = num_instances# 創建 RequestSpec 數據庫記錄req_spec.create()# NOTE(stephenfin): The network_metadata field is not persisted# and is therefore set after 'create' is called.if network_metadata:req_spec.network_metadata = network_metadata# Create an instance object, but do not store in db yet.instance = objects.Instance(context=context)instance.uuid = instance_uuidinstance.update(base_options)instance.keypairs = objects.KeyPairList(objects=[])if key_pair:instance.keypairs.objects.append(key_pair)instance.trusted_certs = self._retrieve_trusted_certs_object(context, trusted_certs)instance = self.create_db_entry_for_new_instance(context,instance_type, boot_meta, instance, security_groups,block_device_mapping, num_instances, i,shutdown_terminate, create_instance=False)# 確定 Block Device 時可用的,并設定其 Size 且與 Instance 關聯起來block_device_mapping = (self._bdm_validate_set_size_and_instance(context,instance, instance_type, block_device_mapping,supports_multiattach))instance_tags = self._transform_tags(tags, instance.uuid)# 將于虛擬機創建(啟動)相關的參數封裝到 BuildRequest 對象build_request = objects.BuildRequest(context,instance=instance, instance_uuid=instance.uuid,project_id=instance.project_id,block_device_mappings=block_device_mapping,tags=instance_tags)build_request.create()# Create an instance_mapping. The null cell_mapping indicates# that the instance doesn't yet exist in a cell, and lookups# for it need to instead look for the RequestSpec.# cell_mapping will be populated after scheduling, with a# scheduling failure using the cell_mapping for the special# cell0.# 將于虛擬機定位(cells)相關的參數封裝到 InstanceMapping 對象inst_mapping = objects.InstanceMapping(context=context)inst_mapping.instance_uuid = instance_uuidinst_mapping.project_id = context.project_idinst_mapping.cell_mapping = Noneinst_mapping.create()instances_to_build.append((req_spec, build_request, inst_mapping))if instance_group:if check_server_group_quota:try:objects.Quotas.check_deltas(context, {'server_group_members': 1},instance_group, context.user_id)except exception.OverQuota:msg = _("Quota exceeded, too many servers in ""group")raise exception.QuotaError(msg)members = objects.InstanceGroup.add_members(context, instance_group.uuid, [instance.uuid])# NOTE(melwitt): We recheck the quota after creating the# object to prevent users from allocating more resources# than their allowed quota in the event of a race. This is# configurable because it can be expensive if strict quota# limits are not required in a deployment.if CONF.quota.recheck_quota and check_server_group_quota:try:objects.Quotas.check_deltas(context, {'server_group_members': 0},instance_group, context.user_id)except exception.OverQuota:objects.InstanceGroup._remove_members_in_db(context, instance_group.id, [instance.uuid])msg = _("Quota exceeded, too many servers in ""group")raise exception.QuotaError(msg)# list of members added to servers group in this iteration# is needed to check quota of server group during add next# instanceinstance_group.members.extend(members)# In the case of any exceptions, attempt DB cleanupexcept Exception:with excutils.save_and_reraise_exception():self._cleanup_build_artifacts(None, instances_to_build)return instances_to_build

至此,POST /servers 在 nova-api service 的工作流程基本就完成了,總的來說主要做了兩件事情:校驗轉換。

  • API 接口的版本控制、數據類型校驗(e.g. validation.schema)
  • 用戶操作意圖許可校驗(e.g. context.can、supports_device_tagging、supports_multiattach)
  • 虛擬機關聯資源的可用性校驗
  • 用戶輸入數據整理、歸納、分類并轉化為程序內部使用的數據結構(對象)

后面通過 self.compute_task_api 調用進入到 nova-conductor service 的工作流程。

轉載于:https://www.cnblogs.com/jmilkfan-fanguiju/p/10589721.html

總結

以上是生活随笔為你收集整理的Nova 启动虚拟机流程解析的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

久久久久成人精品 | 国产精品成人免费精品自在线观看 | 国产麻豆剧传媒免费观看 | 日日干美女 | 日韩午夜视频在线观看 | 国产精品福利无圣光在线一区 | 午夜av一区二区三区 | 亚洲春色成人 | 成人高清av在线 | 亚洲婷婷网 | 日韩电影精品 | 69精品在线观看 | 久久人人爽人人爽人人片 | 国产日韩中文字幕在线 | 久久成视频 | 97香蕉久久国产在线观看 | 久久久久久久久久久影院 | 天天干,狠狠干 | 操操操日日 | 欧美日韩精品二区第二页 | 久久国产女人 | 91在线免费播放 | 欧美精品一二 | 午夜久久久精品 | 久久精品中文字幕一区二区三区 | 99视频这里只有 | 91九色自拍 | 国产精品com | 99视频播放 | 六月丁香婷婷网 | 欧美日韩视频 | 久久久久久久久影视 | 日日夜夜天天综合 | 精品国产视频一区 | 成人久久综合 | 韩国av一区二区 | 欧洲亚洲激情 | 国产中文字幕视频在线观看 | 日韩中文字幕91 | 欧美成人影音 | 天天舔天天射天天操 | 99视频偷窥在线精品国自产拍 | 午夜 免费 | 成人av在线一区二区 | 免费涩涩网站 | 在线观看免费av网站 | 国产精品网红直播 | 国产精品欧美精品 | 黄色片免费电影 | 五月婷婷一区二区三区 | 久久国产日韩 | 亚洲国产资源 | 激情开心网站 | 久久久电影 | 欧美不卡在线 | 日韩成人看片 | 日本激情动作片免费看 | 欧美日韩一级在线 | 国产亚洲午夜高清国产拍精品 | 五月激情丁香婷婷 | 久久成人高清视频 | 亚洲欧美日韩一二三区 | 国产最新视频在线 | 国产精品成人免费精品自在线观看 | 嫩嫩影院理论片 | 高清中文字幕 | 欧美一级片| 国产99视频在线观看 | 亚洲免费在线看 | 69国产盗摄一区二区三区五区 | 久久亚洲美女 | 欧美亚洲久久 | 国产精品原创av片国产免费 | 毛片激情永久免费 | 久久久国产在线视频 | 国产精品福利在线观看 | 伊人首页| 亚洲日韩中文字幕在线播放 | 久久久久久久久久久电影 | 蜜臀av免费一区二区三区 | 日韩中文久久 | 日韩精品一区二区三区三炮视频 | 美女在线免费观看视频 | 国产高清专区 | 国产婷婷久久 | 婷婷精品国产欧美精品亚洲人人爽 | 美女视频网站久久 | 欧美一级裸体视频 | av成人动漫 | 中文字幕在线免费观看 | 99草视频| 午夜视频在线观看一区 | 欧美aaaxxxx做受视频 | 午夜精品福利一区二区三区蜜桃 | 在线免费观看羞羞视频 | 国产成人精品久久久久蜜臀 | 免费色视频在线 | av在线免费不卡 | 国产精品女人网站 | 久久久久久久久久久免费 | 色婷av| 欧美精品久久久久久久久久久 | 高清av免费看 | 一区二区三区四区五区在线 | 亚洲天堂网视频在线观看 | 欧洲亚洲激情 | 999抗病毒口服液 | 久久夜av | 欧美精品一区二区在线播放 | 天天干天天干天天色 | www.色婷婷.com| 精品专区 | av三区在线 | 日韩手机在线 | 午夜成人免费电影 | 永久免费看av| 99热这里只有精品国产首页 | 精品国产一区二区在线 | 91干干干| 高清视频一区二区三区 | 成人黄在线 | 亚洲免费精彩视频 | 色狠狠操 | 国产精品99精品久久免费 | 综合网婷婷| 中文国产字幕在线观看 | 日日爽天天爽 | 欧美日韩视频在线观看一区二区 | 国产精品区一区 | av片无限看 | 精品一区二区三区电影 | 日韩欧美在线视频一区二区 | 久久久精品久久日韩一区综合 | 黄色av网站在线观看免费 | 日韩电影黄色 | 91黄色免费网站 | 91九色porn在线资源 | 久精品视频在线 | 欧美日韩在线视频免费 | 国产免费一区二区三区最新6 | av丝袜制服 | 中文字幕乱在线伦视频中文字幕乱码在线 | 久久怡红院 | 色亚洲激情 | 欧美日韩精品免费观看 | 久久精品二区 | 91福利社在线观看 | 美女av电影 | 亚州免费视频 | 三上悠亚一区二区在线观看 | 久久国产精品视频观看 | 激情综合五月天 | 亚洲v精品| 久久精品亚洲国产 | 国产视频二区三区 | 久久精品一区二 | 国产伦精品一区二区三区在线 | 国产在线看 | 九九精品在线观看 | 成人av片在线观看 | 欧美成人精品三级在线观看播放 | 91系列在线观看 | 日本三级吹潮在线 | 久久伦理电影 | 国产精品九九久久久久久久 | 欧美一区二区在线免费看 | 久久伊99综合婷婷久久伊 | 欧美日韩国产一区二区在线观看 | 亚洲成人高清在线 | 国产精选在线观看 | 日韩18p| av888.com| 国产98色在线 | 日韩 | 成人黄色影片在线 | 国产成人久久精品77777 | 亚洲精品资源在线观看 | 色综合久久久久久久久五月 | 国产黄在线| 国产精品18久久久久久久网站 | 国产精品久久久免费看 | 99自拍视频在线观看 | 国产一级在线观看视频 | 国产成人99av超碰超爽 | 青青草国产精品视频 | 91香蕉视频色版 | 日韩 国产| 在线视频第一页 | 三级视频片 | 五月婷婷免费 | 色综合久久久久综合99 | 中文字幕精品三级久久久 | 色亚洲网 | 一区二区三区在线免费播放 | 国产.精品.日韩.另类.中文.在线.播放 | 日韩在线网址 | 五月天激情视频在线观看 | 欧美日韩一区二区在线 | 久久av在线播放 | 一区二区三区精品在线视频 | 精品一区二区av | 一本色道久久综合亚洲二区三区 | 毛片久久久 | 欧美与欧洲交xxxx免费观看 | 丁香激情综合 | 精品国产伦一区二区三区免费 | 国产精品视频免费在线观看 | 奇米影视8888在线观看大全免费 | 精品国产精品久久一区免费式 | 天天色天天骑天天射 | 玖草影院 | 久久久久久久久久久久电影 | 久久99在线 | 又黄又爽又无遮挡的视频 | 色吊丝在线永久观看最新版本 | 精品久久久久久久久久久久 | av成人免费观看 | www.99热精品 | 国产综合精品久久 | 亚洲 欧美 变态 国产 另类 | 亚洲欧美精品一区二区 | 精品a级片 | 日本不卡一区二区三区在线观看 | 精品久久久久久亚洲综合网站 | 97超级碰碰碰碰久久久久 | 在线久热 | 日韩久久精品一区二区三区 | 亚洲天堂精品视频在线观看 | 人人澡人人添人人爽一区二区 | 中文一区二区三区在线观看 | 天堂在线免费视频 | 美女搞黄国产视频网站 | 成人免费视频网站 | 蜜臀av性久久久久av蜜臀三区 | 视频三区 | 国产在线a视频 | 久久久久久久久久久久国产精品 | 欧美韩国日本在线观看 | 四虎成人精品永久免费av | 国产成人333kkk | 99热999| 一区二区视频在线免费观看 | 国产中文字幕视频在线 | 国产午夜一区二区 | 一级一级一片免费 | 久久97久久97精品免视看 | 欧美网址在线观看 | 日日弄天天弄美女bbbb | 久久婷综合 | 成人免费在线观看电影 | 国产精品久久久久久爽爽爽 | 少妇bbw搡bbbb搡bbb| 蜜臀av夜夜澡人人爽人人 | 国产午夜剧场 | 一区二区激情 | 亚洲一区视频在线播放 | 久久综合五月天婷婷伊人 | 日韩在线观看视频免费 | 黄色录像av | 丁香综合五月 | 91亚洲网站| 亚洲乱亚洲乱亚洲 | 婷婷av综合 | 亚洲精品在线观看的 | 黄网站大全 | 日本三级中文字幕在线观看 | 久亚洲 | www.夜夜操.com| 久久理论影院 | 五月花丁香婷婷 | 久久系列 | 免费亚洲婷婷 | 久久不卡电影 | 三上悠亚一区二区在线观看 | 亚洲片在线观看 | 99视频精品视频高清免费 | 日韩精品久久一区二区三区 | 99在线观看视频网站 | 日韩一区二区三免费高清在线观看 | 99色视频在线 | 色视频在线| 国产精品免费大片视频 | 91在线免费视频观看 | 日韩一级黄色av | 国产日本在线播放 | 久久日韩精品 | 国产一区久久 | 国产精品久久网站 | 91在线最新 | 在线观看视频一区二区三区 | 日韩动态视频 | 91精品国产自产在线观看永久 | 中文字幕日韩av | 国产成人久久精品77777综合 | 最新成人在线 | 精品视频免费久久久看 | 91精品麻豆 | 狠狠色丁香婷婷综合视频 | 黄在线免费观看 | 99久久精品国产一区二区三区 | 99视频精品全部免费 在线 | 亚洲精品视频在线免费播放 | 色婷婷五 | 日韩av三区 | 国产精品福利在线播放 | 亚洲视频 视频在线 | 国产高清av在线播放 | 精品欧美日韩 | 中文在线字幕观看电影 | 免费在线国产视频 | 在线免费观看黄色 | 97福利在线 | 国产又粗又猛又黄又爽的视频 | 在线观看视频你懂得 | 综合色综合色 | 亚洲午夜精品久久久久久久久久久久 | 狠狠狠色丁香婷婷综合激情 | 欧美精品久久久久a | 贫乳av女优大全 | 91在线视频 | 亚洲一区 影院 | av在线h | 色综合天天狠天天透天天伊人 | 久久久免费毛片 | 99精品一区二区三区 | 99热这里只有精品免费 | 国产视频 亚洲精品 | 国产69精品久久久久9999apgf | 99精品乱码国产在线观看 | 中文字幕乱码一区二区 | 二区三区av | 日韩在线观看一区二区三区 | 51久久成人国产精品麻豆 | 色综合激情网 | 综合久久网| 国产在线国偷精品产拍免费yy | 天天操夜夜逼 | 国产在线视频不卡 | 免费成人看片 | 中文字幕字幕中文 | 日韩一二三| 国产免费作爱视频 | 超碰在线cao | 免费99精品国产自在在线 | 中文字幕国产精品 | www.少妇 | 亚洲精品免费视频 | 国产 av 日韩| 成人午夜影视 | 中文字幕在线免费观看 | 亚洲精品一区二区三区四区高清 | 久久综合干 | 精品国产午夜 | 亚洲精品中文在线观看 | 干干操操 | av在线网站免费观看 | 美女免费视频网站 | 美女免费视频观看网站 | 最近最新中文字幕视频 | wwwwwww黄 | 日韩综合精品 | 免费色av| 久久a国产| 国内精品久久久久影院日本资源 | 中文不卡视频 | 人人爽人人看 | 韩国av电影网| 久久综合操 | 精品久久免费看 | 免费观看v片在线观看 | 亚洲免费国产 | 久久黄色影院 | 97碰在线视频 | 中文字幕精品一区二区三区电影 | 美女网站视频一区 | 亚洲最新视频在线播放 | 久久久久国产精品午夜一区 | 美女黄色网在线播放 | www.五月天 | 韩日精品在线观看 | 久在线观看 | 69亚洲乱| 久久久999免费视频 日韩网站在线 | www久草 | 午夜精品一区二区三区免费 | 欧美激情视频久久 | 午夜在线免费视频 | 69av网| 亚洲精品久久久久中文字幕m男 | 亚洲天天综合网 | 91成人在线视频 | 国产精品精品国产 | 中文字幕在线观看视频一区 | 手机成人av在线 | 免费网站观看www在线观看 | 色偷偷888欧美精品久久久 | 97视频免费看 | 免费日韩一区二区三区 | 中文字幕在线观看视频免费 | 国产一级免费视频 | 四虎在线视频 | 国产最顶级的黄色片在线免费观看 | 久久精品亚洲国产 | 中文字幕在线第一页 | 日韩av在线一区二区 | 97国产大学生情侣酒店的特点 | 色偷偷88欧美精品久久久 | 麻豆国产精品永久免费视频 | 97超碰人人爱 | 国产福利一区二区三区视频 | 亚洲精品在线观看中文字幕 | 视频一区二区在线 | 天天天综合 | 97国产在线| 福利一区在线 | 国内精品久久久久久久影视麻豆 | 在线日韩| 日日日日日 | 日韩中字在线观看 | 91网站观看 | 国产精品一区二区在线免费观看 | 在线免费观看亚洲视频 | 九九热精品在线 | 久久99国产精品久久99 | 国产探花在线看 | 天天天天色射综合 | 91插插影库 | 99视频播放 | 久久久精品国产一区二区三区 | 久久爱www.| 久久免费视频这里只有精品 | 91自拍视频在线观看 | 亚洲视频 一区 | 欧美色图p | 国产日韩欧美视频 | 久99精品| 成人av网站在线观看 | 亚洲综合在线播放 | 久久国产精品99精国产 | 一区二区三区中文字幕在线 | 激情久久小说 | 99精品一区 | 91探花系列在线播放 | 在线免费观看的av网站 | 天天操伊人 | 美女福利视频一区二区 | 在线看国产日韩 | 亚洲国内精品在线 | 国产91精品久久久久 | 久插视频 | 日韩激情视频在线 | 久久久这里有精品 | 一区二区 精品 | 亚洲欧美视频在线播放 | 亚洲视频久久久 | 日韩精品中文字幕av | 久久免费精品一区二区三区 | 97超碰资源总站 | 日韩在线无 | 91精品国产高清自在线观看 | 日免费视频 | 91视频网址入口 | 免费又黄又爽 | 国产午夜在线 | 成人av视屏| 日本女人的性生活视频 | 在线观看亚洲专区 | 国产午夜一级毛片 | 中文区中文字幕免费看 | 黄色三级av | 91精品啪在线观看国产 | 国产高清不卡在线 | 超碰97在线看 | 六月天综合网 | 国产精品久久久久久吹潮天美传媒 | 日韩午夜一级片 | 婷婷在线观看视频 | 美女网站在线看 | 国产小视频91 | 在线免费观看黄色小说 | 国内久久久久 | 午夜国产在线 | 成人黄色小说在线观看 | 久久av中文字幕片 | 91高清一区 | 免费日韩三级 | 激情视频在线观看网址 | 国产又粗又猛又爽又黄的视频先 | 国产成人在线观看免费 | 国产视频18 | 亚洲免费观看视频 | 欧美与欧洲交xxxx免费观看 | 99久久久| 亚洲国产精品成人女人久久 | 国产夫妻自拍av | aaawww | 在线视频中文字幕一区 | 国产91精品高清一区二区三区 | 欧美日韩视频免费看 | 97在线观 | 日韩一区二区三区在线观看 | 国产福利av在线 | 最新极品jizzhd欧美 | 欧美视频日韩视频 | 亚洲精品456在线播放乱码 | 夜夜视频| 伊人影院av | 中文字幕成人在线观看 | 国产精品一区二区av | 国产精品久久久久一区 | 五月激情丁香婷婷 | 四虎在线免费观看 | 国产麻豆果冻传媒在线观看 | 欧美小视频在线观看 | 九九久久久久久久久激情 | 在线成人小视频 | 国产精品粉嫩 | 亚洲欧美日韩中文在线 | 亚洲一区日韩精品 | 99视频精品全部免费 在线 | 精品一区二区在线免费观看 | 丁香视频五月 | 精品国产1区2区3区 国产欧美精品在线观看 | 中文字幕av全部资源www中文字幕在线观看 | 国产精品一区二区av日韩在线 | 在线免费黄色av | 激情电影在线观看 | 天堂av在线 | 中文字幕一区二区三区四区久久 | 手机看片| 在线观看av中文字幕 | 九九热在线观看视频 | 又黄又爽又刺激的视频 | 国产原创在线 | 视频国产精品 | 99色99| 免费看黄色毛片 | www亚洲视频 | 日日夜夜av| 欧美精品一级视频 | 一区二区电影在线观看 | 一本一道波多野毛片中文在线 | 日韩欧美在线免费观看 | 日韩国产欧美在线播放 | 伊人成人激情 | 91视频午夜 | 狠狠色丁香婷婷 | 色悠悠久久综合 | 国产精品视频免费观看 | av超碰免费在线 | 黄色成人av| 六月色播| 日韩在线高清免费视频 | 色七七亚洲影院 | 成人a视频在线观看 | 91亚洲精品久久久蜜桃网站 | 欧美日韩国产精品一区 | 欧美在线视频精品 | 久久精品女人毛片国产 | 在线免费av播放 | 中文字幕资源在线 | 不卡日韩av | 日韩欧美高清在线观看 | 欧美另类一二三四区 | 亚洲人在线视频 | 高清一区二区三区av | 久草在线免费看视频 | 人人插人人 | 国产麻豆精品传媒av国产下载 | 精品人妖videos欧美人妖 | 国产精品久久久久久久久久久久久久 | 免费观看午夜视频 | 免费视频二区 | 99人成在线观看视频 | 亚洲精品在线观看av | 国产一卡二卡在线 | 国产精品18久久久久久不卡孕妇 | 国产69久久久欧美一级 | 久久伊人热 | 久久免费视频8 | 黄色av高清 | 黄色免费网站 | 午夜精品一区二区三区在线 | 91porny九色91啦中文 | 日本狠狠色 | 免费欧美精品 | 99精品久久99久久久久 | 毛片网站在线看 | 中文字幕日本特黄aa毛片 | 天天色天天上天天操 | 日韩欧美一区二区在线观看 | 国内少妇自拍视频一区 | 亚洲mv大片欧洲mv大片免费 | 国产超碰97 | 久久精品国产一区二区电影 | 毛片网站在线看 | 最新国产视频 | 亚洲综合小说 | 久久久影院一区二区三区 | 啪啪精品 | 中文字幕一区二区三区在线视频 | 欧美精品亚州精品 | 国产精品一区二区三区电影 | 日日日日 | 欧美福利精品 | 日韩欧美精品在线 | 国产高清视频免费最新在线 | 国产视频一区二区在线观看 | 97爱| 国产电影一区二区三区四区 | 日韩免费观看av | 日韩三级视频在线看 | 午夜精品久久久久久99热明星 | 精品国产成人在线 | 国产一二三区在线观看 | 91精品国产乱码久久桃 | 亚洲a网| 开心激情综合网 | www.国产毛片 | 国产精品一区一区三区 | 国产69精品久久99的直播节目 | 96精品高清视频在线观看软件特色 | 亚洲精品小区久久久久久 | 成人电影毛片 | 中文字幕超清在线免费 | 婷婷色在线观看 | 四虎永久免费 | 日本激情视频中文字幕 | 狠狠色狠狠色综合日日92 | 中文字幕av电影下载 | 国产精品s色 | av日韩在线网站 | 高清视频一区 | 色偷偷97 | 91一区二区三区久久久久国产乱 | 五月婷婷av在线 | 欧美一二三区播放 | 日日夜夜精品免费 | 免费久久久 | 欧美日韩p片 | 亚洲精品影视 | 免费激情在线电影 | 国产黄色精品网站 | 欧美激情h| 国产日韩欧美中文 | 美女久久久久久久久久 | www.国产视频 | 久久久国产精品一区二区三区 | 美女又爽又黄 | 久久九九国产精品 | 成人h动漫精品一区二 | 欧美日韩高清免费 | 日韩精品视频免费 | 黄色片网站av | 日韩午夜在线 | 国产精品久久久久一区二区三区 | 国产精品h在线观看 | 99久久综合精品五月天 | 国产视频网站在线观看 | 亚洲精品视频免费观看 | 免费高清在线一区 | 999色视频 | 六月丁香伊人 | 久久久男人的天堂 | 在线看不卡av | 免费高清在线观看电视网站 | 亚a在线| 久久中文字幕在线视频 | 99精品在线观看视频 | 亚洲爽爽网 | 91香蕉视频色版 | 天天色天天干天天色 | 一本一本久久a久久精品综合小说 | 99久久久国产免费 | 韩国一区二区三区视频 | 欧美日韩另类视频 | 91最新中文字幕 | 7777精品伊人久久久大香线蕉 | 成人h视频| 不卡的av在线 | 亚洲电影网站 | 国产成人精品久久二区二区 | 国内精品久久天天躁人人爽 | 日韩av三区 | 国产婷婷一区二区 | 亚洲国产日韩欧美在线 | 伊人看片 | 免费精品在线视频 | www好男人 | 久操免费视频 | 国产精品久久久视频 | 日韩va亚洲va欧美va久久 | 五月婷婷一区二区三区 | 国产免费一区二区三区最新 | 人人澡人摸人人添学生av | www.激情五月.com | 青草视频在线看 | 久久精品99久久久久久2456 | 亚洲成色777777在线观看影院 | 国产免费美女 | 国产91对白在线播 | 久久综合成人网 | 亚洲成人资源在线 | 亚洲国产精品小视频 | 91精品视频一区二区三区 | 午夜精品三区 | 国产资源中文字幕 | 亚洲精品麻豆视频 | 中文字幕影片免费在线观看 | 日韩三区在线观看 | 午夜精品久久久久久久99 | 欧美日韩另类在线观看 | 成人午夜电影在线观看 | 97免费视频在线 | 97色婷婷成人综合在线观看 | av不卡网站 | 人人爽久久久噜噜噜电影 | 在线视频区 | 国产精品美女久久久久久久久 | 日韩一区二区三区高清在线观看 | 色婷婷国产精品 | 免费a级黄色毛片 | 欧美巨大 | 国产精品久久久久婷婷 | 中文字幕成人网 | 亚洲国产成人精品在线观看 | 亚洲天堂网站视频 | 99视频一区 | 免费看的国产视频网站 | 国产精品久久久久久久毛片 | 亚洲精品久久久蜜臀下载官网 | 伊人久久国产 | 久久久精品国产一区二区电影四季 | 人人干人人添 | 亚洲精品免费看 | 日本中文一级片 | 亚洲男男gaygayxxxgv | 亚洲成人精品在线 | 免费a v视频| 一二三精品视频 | 国产精品一区免费在线观看 | 日日日天天天 | 国产色在线视频 | 在线观看中文字幕一区二区 | 一区中文字幕电影 | 久久在视频 | 国产精品免费人成网站 | 精品毛片一区二区免费看 | 国产精品久久久网站 | 免费观看日韩av | 亚洲一区二区黄色 | 久久精品麻豆 | 亚洲精品9| 天天爽天天碰狠狠添 | 99视频在线精品免费观看2 | 香蕉在线视频观看 | 色.com| 麻豆精品视频在线 | 成人在线视频网 | 久久久蜜桃一区二区 | 激情综合网五月激情 | 最新av中文字幕 | 私人av| 国产一区精品在线观看 | 99精品在线免费观看 | 国产精品久久一 | 亚洲无吗av | 日韩欧美精品在线 | 日韩中文字| 日韩av网页 | 亚洲精品视频在线看 | 91精品久久久久久久久 | 精品在线观看一区二区三区 | 国产一级免费av | 国产成人在线网站 | 99热精品久久 | 日韩免费视频网站 | 91大片网站 | 精品不卡视频 | 特黄一级毛片 | 天天色综合三 | 69av视频在线 | 一区二区三区四区久久 | 一本一道波多野毛片中文在线 | 亚洲国产成人久久综合 | 色综合久久久久久久久五月 | 久久成人在线 | 国产精品一区二区久久 | av在线a | 最近免费观看的电影完整版 | www.五月天婷婷.com | 夜夜夜影院| 国产日韩欧美视频在线观看 | 久久久午夜精品理论片中文字幕 | 精品在线二区 | 成人蜜桃网 | 人人狠狠综合久久亚洲婷 | 婷婷视频在线观看 | 日韩美在线观看 | 精品毛片一区二区免费看 | 国产色视频网站2 | 精品国产一区二区三区日日嗨 | 9在线观看免费 | 成人在线播放网站 | 久久综合九色综合欧美狠狠 | 黄色小说视频在线 | 欧美色噜噜 | 中文字幕中文字幕在线中文字幕三区 | 狠狠久久 | 91精品视频一区二区三区 | 国产原创91 | 久草电影免费在线观看 | 999成人| 国产在线观看免 | 深爱婷婷激情 | 日韩视频中文字幕在线观看 | 97超碰免费在线 | 一级电影免费在线观看 | 91av在线国产 | 国产精品手机视频 | 午夜精品视频福利 | 日韩免费中文字幕 | 欧美做受xxx| 久久久精品一区二区三区 | 国产亚洲精品女人久久久久久 | 97在线观看免费观看高清 | 中文字幕在线观 | 欧美a级在线免费观看 | 激情综合电影网 | 日韩免费一级电影 | 91视视频在线直接观看在线看网页在线看 | 国产理论片在线观看 | 欧美极品一区二区三区 | 国产韩国日本高清视频 | 午夜精品成人一区二区三区 | 最新色站| 久久 地址 | 在线视频精品播放 | 91在线网址| 国产精品二区在线 | 中字幕视频在线永久在线观看免费 | 91精品啪在线观看国产线免费 | 亚洲mv大片欧洲mv大片免费 | 精品一区二区三区香蕉蜜桃 | 五月花丁香婷婷 | 日韩国产欧美在线视频 | 色天天天 | 亚洲精品国产精品乱码在线观看 | 天堂在线v | 天天综合入口 | 日韩精品一区二区三区水蜜桃 | 天天射,天天干 | 9在线观看免费高清完整版在线观看明 | 国产在线观看,日本 | 成年人在线看视频 | 看片一区二区三区 | 97电影院网| 在线国产激情视频 | av网站大全免费 | 亚洲精品久久久久久久不卡四虎 | 中文字幕成人在线 | 久久99精品国产麻豆婷婷 | 91视视频在线直接观看在线看网页在线看 | 男女免费av | 99久久精品国产观看 | 成年人在线观看网站 | 丁香婷婷综合网 | 夜夜爽天天爽 | 国产精品久久久久久久久久久久冷 | 亚洲经典视频 | 92精品国产成人观看免费 | 日本高清中文字幕有码在线 | 色综合中文综合网 | 成人国产精品一区 | 成人中心免费视频 | 国产免费叼嘿网站免费 | 国产人成在线视频 | 精品国产一区二区三区久久久 | 91精品视屏 | 天堂在线成人 | 国产黄在线免费观看 | 西西444www高清大胆 | 国产日韩欧美视频在线观看 | 国产黄色免费看 | 91最新网址 | 国产一区二区在线免费观看 | 日日干av | 91精品视频在线看 | 精品久久五月天 | av电影免费观看 | 日韩欧美一区二区在线播放 | 手机av电影在线观看 | 国产在线视频资源 | 91在线一区| 日韩av在线一区二区 | 亚洲精区二区三区四区麻豆 | 亚洲精选视频免费看 | 国产精品久久久久久久久久久久午夜 | 午夜视频在线观看一区 | 日韩欧美xxxx | 国际精品久久久久 | 欧美日韩破处 | 免费在线观看av电影 | 国产精品一区二区三区四区在线观看 | 视频在线91 | 首页国产精品 | 国产精品久久网 | 亚洲国产精品va在线看黑人动漫 | 91看片在线播放 | 精品国产美女在线 | 亚洲免费在线视频 | 日日夜夜精品 | 五月天久久久久久 | 久久在线一区 | 日韩亚洲在线 | 日韩色在线观看 | 亚洲精品456在线播放 | 激情欧美丁香 | 国产精品黄色影片导航在线观看 | av中文在线影视 | 波多野结衣在线播放视频 | 韩国av一区二区三区 | 人人射人人射 | 九色琪琪久久综合网天天 | 91久久国产自产拍夜夜嗨 | 久久黄色片子 | 免费精品国产va自在自线 | 三级a视频 | 日韩美精品视频 | 国产精品99蜜臀久久不卡二区 | 精品极品在线 | 日韩三区在线 | 国产露脸91国语对白 | 日韩黄色影院 | 亚洲在线不卡 | a级国产乱理伦片在线播放 久久久久国产精品一区 | 2022中文字幕在线观看 | 欧洲精品在线视频 | 国产精品视频在线看 | 最近中文字幕免费观看 | 一区二区在线电影 | 成人在线免费观看网站 | 波多野结衣久久资源 | 国产精品一区二区久久精品爱涩 | 日本不卡久久 | 色a网 | 在线日韩av | 欧洲色综合| 成人91在线观看 | 日日干夜夜草 | av亚洲产国偷v产偷v自拍小说 | 亚洲女同videos | 午夜影院日本 | 成人免费一级 | 国产97av| 二区视频在线观看 | 国产96精品 | 中文字幕黄色 | 婷婷在线视频 | 96亚洲精品久久 | 五月婷综合网 | 成人久久久精品国产乱码一区二区 | 99热国产在线中文 | 在线观看免费av网 | 久久艹人人 | 亚洲mv大片欧洲mv大片免费 | 亚洲成人家庭影院 | 日韩在线观看视频中文字幕 | 午夜精品视频免费在线观看 | 97香蕉久久超级碰碰高清版 | 黄色毛片一级片 | 中文字幕成人一区 | 国产专区一 | 五月天精品视频 | 日韩在线观 | 国产一级在线看 | 国产高清免费 | 久久久91精品国产一区二区三区 | 欧美巨乳网 | 久久高清 | 国产成人综| 国产精品久久久久久久久软件 | 91久久国产综合精品女同国语 | 久草在线观看视频免费 | 国模吧一区 | 免费观看黄色av | 久久精品久久精品 | 亚洲激情在线视频 | 国产又粗又猛又黄又爽的视频 | 97久久久免费福利网址 | 日韩精品久久久久久久电影99爱 | 亚洲黄色三级 | 欧美精品久久久久久 | 久久国产区 | 午夜精品久久久久久久99 | 国产精品手机视频 | 最新中文字幕在线资源 | 超碰国产在线观看 | 婷婷丁香色|