日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 >

Cloud in Action: Install OpenStack Ocata from scratch

發布時間:2023/11/29 51 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Cloud in Action: Install OpenStack Ocata from scratch 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

Cloud in Action: Install OpenStack Ocata from scratch

?

薛國鋒???? xueguofeng2011@gmail.com


OpenStack can control and manage large pools of compute, storage, and networking resources throughout a datacenter, througha dashboard or via the OpenStack API, and work with popular enterprises and open source technologies making it ideal for heterogeneous infrastructure. Exercising OpenStack can greatly grow our knowledge and skills on IT/DC and Cloud. Today we are going to install OpenStack from scratch and get some hands-on experiences with some of its key services.?Below is the physical and logical network design :



The simplest architecture is deployed here for us to have a fast and overall understanding for OpenStack:

-?????????Adopt Ubuntu Desktop (ubuntu-16.04.3-desktop-amd64.iso) for easy configuration:

https://www.ubuntu.com/download/desktop

-?????????Adopt OpenStack Ocata release and Canonical’s Ubuntu Cloud archive repository for Ubuntu 16.04 (LTS):?https://docs.openstack.org/ocata/install-guide-ubuntu/InstallGuide.pdf

-?????????Adopt ‘Nested Virtualization’ to build a minimum OpenStack system and launch instances on top of VMs: 1 controller node(VM) and 2 compute nodes(VM) without block and object storage nodes; networking agents reside on the controller node instead of one or more dedicated network nodes; adopt the Networking Option 1 to provide a DHCP service for launched instances, and bridge VMs and virtual networks to physical networks which actually provide layer-3 routing services; LBaaS and FWassS arenot supported in this option.

-?????????The controller node runs the Identity service, Image service, management portions of Compute, management portion of Networking, various Networking agents, and the Dashboard. It also includes supporting services such as an SQL database, message queue, and NTP.

-?????????The compute node runs the hypervisor portion of Compute that operates instances. By default, Compute uses the KVM hypervisor. The compute node also runs a Networking service agent that connects instances to virtual networks and provides firewalling services to instances via security groups. 2 compute nodes are deployed in this test.

-?????????Two VMnets are created:VMnet1(192.168.100.0/24, No DHCP and IP GW by VMware Workstation) simulates the physical network connecting the lanuched VMs with DC_GW(192.168.100.111/24,10.0.0.111/24),?also linked to VMnet8(10.0.0.0/24, IP GW:10.0.0.2, DHCP: 10.0.0.128~ 10.0.0.254) which serves as both the management network and Internet. The IP addr of DNS is 10.0.1.1.?


1 Configure GNS3 for DC GW

2 Basic configuration

3 NTP – Chrony

4 OpenStack packages

5 SQL database - MariaDB

6 Message queue – RabbitMQ

7 Memcached

8 Identity service –Keystone

9 Image service – Glance

10 Compute service – Nova

11 Networking service –Neutron

12 Dashboard - Horizon

13 Lanuch instances

Main blockers


?

1 Configure GNS3 for DC GW


2 Basic configuration?

Basic configuration

controller

compute1

compute2

/ Create VMs

user/pw: gset/ipcc2014

c:\xgf\OpenStack\controller

?

8.192 GB MEM

4 Processors? ?with Virtualize Intel VT-x/EPT

30GB HD

Network Adapter(eth0): NAT

Network Adapter2(eth1):Host-only

user/pw: gset/ipcc2014

c:\xgf\OpenStack\compute1

?

4.096 GB MEM

2 Processors? ?with Virtualize Intel VT-x/EPT

20GB HD

Network Adapter(eth0): NAT

Network Adapter2(eth1):Host-only

user/pw: gset/ipcc2014

c:\xgf\OpenStack\compute2

?

4.096 GB MEM

2 Processors? ?with Virtualize Intel VT-x/EPT

20GB HD

Network Adapter(eth0): NAT

Network Adapter2(eth1):Host-only

System settings/brightness&lock – ?uncheck ‘Lock’

CTRL+ALT+T / Terminal / Edit / Profile ?Preferences / Terminal Size: 80 x 40

?

/ Upgrade Ubuntu Software

sudo apt-get update

sudo apt-get upgrade

sudo apt-get dist-upgrade

?

/ Install VMware Tools

sudo mkdir ?/mnt/cdrom

Reinstall VMware Tools by VMware Workstation

sudo mount /dev/cdrom /mnt/cdrom

cd /mnt/cdrom

sudo cp VMwareTools-10.1.6-5214329.tar.gz ?/opt

cd /opt

sudo tar -xvzf ?VMwareTools-10.1.6-5214329.tar.gz

cd vmware-tools-distrib

sudo ./vmware-install.pl

?

/ Change interace names to eth0, eth1, eth2….

sudo gedit /etc/default/grub

GRUB_CMDLINE_LINUX_DEFAULT="quiet ?splash"

GRUB_CMDLINE_LINUX="net.ifnames=0 ?biosdevname=0"

?

sudo ?update-grub

sudo? grub-mkconfig -o /boot/grub/grub.cfg

?

/ Configure name resolution

sudo gedit /etc/hosts

127.0.0.1?????? localhost

10.0.0.11?????? controller

10.0.0.31?????? compute1

10.0.0.32?????? compute2

/ Configure interfaces, IP Addr and DNS

sudo gedit /etc/network/interfaces

auto lo

iface lo inet loopback

auto eth0

iface eth0 inet static

address 10.0.0.11

netmask 255.255.255.0

gateway 10.0.0.2

dns-nameserver 10.0.1.1

auto eth1

iface eth1 inet manual???????

sudo gedit /etc/network/interfaces

auto lo

iface lo inet loopback

auto eth0

iface eth0 inet static

address 10.0.0.31

netmask 255.255.255.0

gateway 10.0.0.2

dns-nameserver 10.0.1.1

auto eth1

iface eth1 inet manual

sudo gedit /etc/network/interfaces

auto lo

iface lo inet loopback

auto eth0

iface eth0 inet static

address 10.0.0.32

netmask 255.255.255.0

gateway 10.0.0.2

dns-nameserver 10.0.1.1

auto eth1

iface eth1 inet manual

/ Configure hostnames

sudo gedit /etc/hostname

?controller

?compute1

?compute2

/ Install ?openssh & git

sudo apt-get install openssh-server

sudo apt-get install openssh-client

sudo apt-get install sysv-rc-conf

sudo sysv-rc-conf ssh on

sudo sysv-rc-conf --list | grep ssh

netstat -ta | grep ssh

?

sudo apt-get install git-core


3 NTP – Chrony

Network Time Protocl – NTP

controller

compute1

compute2

?

/ Install Chrony to synchronize services ?among nodes

sudo apt-get install chrony

?

sudo gedit /etc/chrony/chrony.conf

allow 10.0.0.0./24?? // ?put at the first line

?

?

?

sudo service chrony restart

sudo apt-get install chrony

?

sudo gedit /etc/chrony/chrony.conf

server controller iburst // put at the first line

# pool 2.debian.pool.ntp.org offline iburst // comment out

?

sudo service chrony restart

sudo apt-get install chrony

?

sudo gedit /etc/chrony/chrony.conf

server controller iburst // put at the first line

# pool 2.debian.pool.ntp.org offline iburst // comment out

?

sudo service chrony restart

/ Verify operation



4 OpenStack packages

OpenStack packages

controller

compute1

compute2

/ For all nodes: controller, compute and ?block storage….

sudo apt-get install ?software-properties-common

sudo add-apt-repository cloud-archive:ocata

sudo apt-get update

sudo apt-get dist-upgrade

sudo apt-get install python-openstackclient


5 SQL database - MariaDB

SQL database

controller

compute1

compute2

/ Install and Run MySQL

sudo apt-get install mariadb-server python-pymysql

?

sudo gedit /etc/mysql/mariadb.conf.d/99-openstack.cnf

[mysqld]

bind-address = 10.0.0.11

default-storage-engine = innodb

innodb_file_per_table = on

max_connections = 4096

collation-server = utf8_general_ci

character-set-server = utf8

?

sudo service mysql restart

sudo mysqladmin -u root password ipcc2014? // for database root user

sudo mysql_secure_installation

netstat -tnlp | grep 3306

?

/ Set password for Linux root user

sudo passwd? ?// set ‘ipcc2014’

su root?? ?// enter the root mode

#mysql? ?// the root user no longer uses a password for local access to MySQL ?server

MariaDB [(none)]>

show databases;

use mysql;

show tables;




6 Message queue – RabbitMQ

Message queue

Controller

compute1

compute2

/ Install RabbitMQ

sudo apt-get install rabbitmq-server

sudo rabbitmqctl add_user openstack ipcc2014

sudo rabbitmqctl set_permissions openstack ?".*" ".*" ".*"




7 Memcached

Memcached

Controller

compute1

compute2

/ Install Memcached

sudo apt-get install memcached ?python-memcache

?

sudo gedit /etc/memcached.conf

-l 10.0.0.11

?

sudo service memcached restart




8 Identity service –Keystone

Identity service

controller

compute1

compute2

/ Create a database?

su root?? ?// enter the root mode

#mysql

MariaDB [(none)]>

CREATE DATABASE keystone;

GRANT ALL PRIVILEGES ON keystone.* TO ?'keystone'@'localhost'? IDENTIFIED BY ?'ipcc2014';

GRANT ALL PRIVILEGES ON keystone.* TO ?'keystone'@'%'? IDENTIFIED BY ?'ipcc2014';

?

/ Install Keystone

sudo apt-get install keystone

?

sudo gedit /etc/keystone/keystone.conf

[database]

connection = ?mysql+pymysql://keystone:ipcc2014@controller/keystone

?

[token]

provider = fernet

?

sudo su -s /bin/sh -c "keystone-manage ?db_sync" keystone

sudo keystone-manage fernet_setup ?--keystone-user keystone --keystone-group keystone

sudo keystone-manage credential_setup ?--keystone-user keystone --keystone-group keystone

sudo keystone-manage bootstrap ?--bootstrap-password ipcc2014 ?--bootstrap-admin-url http://controller:35357/v3/ --bootstrap-internal-url ?http://controller:5000/v3/ --bootstrap-public-url http://controller:5000/v3/ ?--bootstrap-region-id RegionOne

?

sudo gedit /etc/apache2/apache2.conf

ServerName controller? // ?put in the first line

?

sudo service apache2 restart

sudo rm -f /var/lib/keystone/keystone.db

?

export OS_USERNAME=admin

export OS_PASSWORD=ipcc2014

export OS_PROJECT_NAME=admin

export OS_USER_DOMAIN_NAME=Default

export OS_PROJECT_DOMAIN_NAME=Default

export OS_AUTH_URL=http://controller:35357/v3

export OS_IDENTITY_API_VERSION=3

?

openstack project create --domain default ?--description "Service Project" service

openstack project create --domain default ?--description "Demo Project" demo

openstack user create --domain default ?--password-prompt demo? // ipcc2014

openstack role create user

openstack role add --project demo --user ?demo user



/ Verify ?operation

sudo gedit /etc/keystone/keystone-paste.ini

// remove ‘admin_token_auth’ from the

[pipeline:public_api], [pipeline:admin_api], ?and [pipeline:api_v3] sections.

?

unset OS_AUTH_URL OS_PASSWORD

?

openstack --os-auth-url ?http://controller:35357/v3 --os-project-domain-name default ?--os-user-domain-name default --os-project-name admin --os-username admin ?token issue

openstack --os-auth-url ?http://controller:5000/v3 --os-project-domain-name default ?--os-user-domain-name default --os-project-name demo --os-username demo token ?issue

?

gedit admin-openrc

export OS_PROJECT_DOMAIN_NAME=Default

export OS_USER_DOMAIN_NAME=Default

export OS_PROJECT_NAME=admin

export OS_USERNAME=admin

export OS_PASSWORD=ipcc2014

export OS_AUTH_URL=http://controller:35357/v3

export OS_IDENTITY_API_VERSION=3

export OS_IMAGE_API_VERSION=2

?

gedit demo-openrc

export OS_PROJECT_DOMAIN_NAME=Default

export OS_USER_DOMAIN_NAME=Default

export OS_PROJECT_NAME=demo

export OS_USERNAME=demo

export OS_PASSWORD=ipcc2014

export OS_AUTH_URL=http://controller:5000/v3

export OS_IDENTITY_API_VERSION=3

export OS_IMAGE_API_VERSION=2

?

. admin-openrc

openstack token issue

. demo-openrc

openstack token issue

?

?

?

?

?

?

?

?

?

?

?



?

?

?

?

// copy ‘admin-openrc’

?

?

?

?

?

?

?

?

// copy ‘demo-openrc’

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?



?

?

?

?

// copy ‘admin-openrc’

?

?

?

?

?

?

?

?

// copy ‘demo-openrc’

?

?


9 Image service – Glance

Image service

Controller

compute1

compute2

/ Create a database?

su root?? ?// enter the root mode

#mysql

MariaDB [(none)]>

CREATE DATABASE glance;

GRANT ALL PRIVILEGES ON glance.* TO ?'glance'@'localhost'? IDENTIFIED BY ?'ipcc2014';

GRANT ALL PRIVILEGES ON glance.* TO ?'glance'@'%'? IDENTIFIED BY 'ipcc2014';

?

. admin-openrc

openstack user create --domain default ?--password-prompt glance

openstack role add --project service --user ?glance admin

openstack service create --name glance ?--description "OpenStack Image" p_w_picpath

?

openstack endpoint create --region RegionOne ?p_w_picpath public http://controller:9292

openstack endpoint create --region RegionOne ?p_w_picpath internal http://controller:9292

openstack endpoint create --region RegionOne ?p_w_picpath admin http://controller:9292

?

/ Install Glance

sudo apt-get install glance

?

sudo gedit /etc/glance/glance-api.conf

[database]

connection = mysql+pymysql://glance:ipcc2014@controller/glance

?

[keystone_authtoken]

auth_uri = http://controller:5000

auth_url = http://controller:35357

memcached_servers = controller:11211

auth_type = password

project_domain_name = default

user_domain_name = default

project_name = service

username = glance

password = ipcc2014

?

[paste_deploy]

flavor = keystone

?

[glance_store]

stores = file,http

default_store = file

filesystem_store_datadir = /var/lib/glance/p_w_picpaths/

?

sudo gedit /etc/glance/glance-registry.conf

[database]

connection = mysql+pymysql://glance:ipcc2014@controller/glance

?

[keystone_authtoken]

auth_uri = http://controller:5000

auth_url = http://controller:35357

memcached_servers = controller:11211

auth_type = password

project_domain_name = default

user_domain_name = default

project_name = service

username = glance

password = ipcc2014

?

?[paste_deploy]

flavor = keystone

?

sudo su -s /bin/sh -c "glance-manage ?db_sync" glance

sudo service glance-registry restart

sudo service glance-api restart

?

/ Verify ?operation

/ Download the source p_w_picpath – ‘cirros’

wget http://download.cirros-cloud.net/0.3.5/cirros-0.3.5-x86_64-disk.img

?

/ Upload to p_w_picpath service using the QCOW2 ?disk format

. admin-openrc

openstack p_w_picpath create ?"cirros_0_3_5" --file cirros-0.3.5-x86_64-disk.img --disk-format ?qcow2 --container-format bare --public

openstack p_w_picpath list




10 Compute service – Nova

Compute service

Controller

compute1

compute2

/ Create a database?

su root?? ?// enter the root mode

#mysql

MariaDB [(none)]>

CREATE DATABASE nova_api;

CREATE DATABASE nova;

CREATE DATABASE nova_cell0;

?

GRANT ALL PRIVILEGES ON nova_api.* TO ?'nova'@'localhost' IDENTIFIED BY 'ipcc2014';

GRANT ALL PRIVILEGES ON nova_api.* TO ?'nova'@'%' IDENTIFIED BY 'ipcc2014';

GRANT ALL PRIVILEGES ON nova.* TO 'nova'@'localhost' ?IDENTIFIED BY 'ipcc2014';

GRANT ALL PRIVILEGES ON nova.* TO 'nova'@'%' ?IDENTIFIED BY 'ipcc2014';

GRANT ALL PRIVILEGES ON nova_cell0.* TO ?'nova'@'localhost' IDENTIFIED BY 'ipcc2014';

GRANT ALL PRIVILEGES ON nova_cell0.* TO ?'nova'@'%' IDENTIFIED BY 'ipcc2014';

?

. admin-openrc

?

openstack user create --domain default ?--password-prompt nova

openstack role add --project service --user ?nova admin

openstack service create --name nova ?--description "OpenStack Compute" compute

?

openstack endpoint create --region RegionOne ?compute public http://controller:8774/v2.1

openstack endpoint create --region RegionOne ?compute internal http://controller:8774/v2.1

openstack endpoint create --region RegionOne ?compute admin http://controller:8774/v2.1

?

openstack user create --domain default ?--password-prompt placement

openstack role add --project service --user ?placement admin

openstack service create --name placement ?--description "Placement API" placement

?

openstack endpoint create --region RegionOne ?placement public http://controller:8778

openstack endpoint create --region RegionOne ?placement internal http://controller:8778

openstack endpoint create --region RegionOne ?placement admin http://controller:8778

?

/ Install Nova

sudo apt-get install nova-api nova-conductor ?nova-consoleauth nova-novncproxy nova-scheduler nova-placement-api

?

sudo gedit /etc/nova/nova.conf

[api_database]

connection = mysql+pymysql://nova:ipcc2014@controller/nova_api

# connection=sqlite:var/lib/nova/nova.sqlite // comment out

?

[database]

connection = mysql+pymysql://nova:ipcc2014@controller/nova

?

?

[DEFAULT]

transport_url = rabbit://openstack:ipcc2014@controller

my_ip = 10.0.0.11

use_neutron = True

firewall_driver = nova.virt.firewall.NoopFirewallDriver

#log_dir=/var/log/nova // ?comment out

?

[api]

auth_strategy = keystone

?

[keystone_authtoken]

auth_uri = http://controller:5000

auth_url = http://controller:35357

memcached_servers = controller:11211

auth_type = password

project_domain_name = default

user_domain_name = default

project_name = service

username = nova

password = ipcc2014

?

[vnc]

enabled = true

vncserver_listen = $my_ip

vncserver_proxyclient_address = $my_ip

?

?

?

[glance]

api_servers = http://controller:9292

?

[oslo_concurrency]

lock_path = /var/lib/nova/tmp

# lock_path=/var/lock/nova // comment out

?

[placement]

os_region_name = RegionOne

project_domain_name = Default

project_name = service

auth_type = password

user_domain_name = Default

auth_url = http://controller:35357/v3

username = placement

password = ipcc2014

# os_region_name = openstack // comment out

?

?

sudo su -s /bin/sh -c "nova-manage ?api_db sync" nova

sudo su -s /bin/sh -c "nova-manage ?cell_v2 map_cell0" nova

sudo su -s /bin/sh -c "nova-manage ?cell_v2 create_cell --name=cell1 --verbose" nova

sudo su -s /bin/sh -c "nova-manage db ?sync" nova

sudo nova-manage cell_v2 list_cells

?

sudo service nova-api restart

sudo service nova-consoleauth restart

sudo service nova-scheduler restart

sudo service nova-conductor restart

sudo service nova-novncproxy restart

?

sudo ufw disable // open port 5672 for MQ ?server

sudo ufw status

?

?

sudo su -s /bin/sh -c "nova-manage ?cell_v2 discover_hosts --verbose" nova

?

?

?

sudo su -s /bin/sh -c "nova-manage ?cell_v2 discover_hosts --verbose" nova

?

?

?

egrep -c '(vmx|svm)' /proc/cpuinfo

2

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

/ Install Nova

sudo apt-get install nova-compute

?

?

?

sudo gedit /etc/nova/nova.conf

?

?

?

?

?

?

?

?

?

?

?

?

[DEFAULT]

transport_url = rabbit://openstack:ipcc2014@controller

my_ip = 10.0.0.31

use_neutron = True

firewall_driver = nova.virt.firewall.NoopFirewallDriver

#log_dir=/var/log/nova // ?comment out

?

[api]

auth_strategy = keystone

?

[keystone_authtoken]

auth_uri = http://controller:5000

auth_url = http://controller:35357

memcached_servers = controller:11211

auth_type = password

project_domain_name = default

user_domain_name = default

project_name = service

username = nova

password = ipcc2014

?

[vnc]

enabled = True

vncserver_listen = 0.0.0.0

vncserver_proxyclient_address = $my_ip

novncproxy_base_url = http://controller:6080/vnc_auto.html

?

[glance]

api_servers = http://controller:9292

?

[oslo_concurrency]

lock_path = /var/lib/nova/tmp

# lock_path=/var/lock/nova // comment out

?

[placement]

os_region_name = RegionOne

project_domain_name = Default

project_name = service

auth_type = password

user_domain_name = Default

auth_url = http://controller:35357/v3

username = placement

password = ipcc2014

# os_region_name = openstack // comment out

?

[libvirt]

hw_machine_type = ?"x86_64=pc-i440fx-xenial,i686=pc-i440fx-xenial"

?

?

?

?

?

?

?

?

?

?

?

?

?

?

sudo service nova-compute restart

cat /var/log/nova/nova-compute.log

?

?

?

egrep -c '(vmx|svm)' /proc/cpuinfo

2

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

/ Install Nova

sudo apt-get install nova-compute

?

?

?

sudo gedit /etc/nova/nova.conf

?

?

?

?

?

?

?

?

?

?

?

?

[DEFAULT]

transport_url = rabbit://openstack:ipcc2014@controller

my_ip = 10.0.0.32

use_neutron = True

firewall_driver = nova.virt.firewall.NoopFirewallDriver

#log_dir=/var/log/nova // ?comment out

?

[api]

auth_strategy = keystone

?

[keystone_authtoken]

auth_uri = http://controller:5000

auth_url = http://controller:35357

memcached_servers = controller:11211

auth_type = password

project_domain_name = default

user_domain_name = default

project_name = service

username = nova

password = ipcc2014

?

[vnc]

enabled = True

vncserver_listen = 0.0.0.0

vncserver_proxyclient_address = $my_ip

novncproxy_base_url = http://controller:6080/vnc_auto.html

?

[glance]

api_servers = http://controller:9292

?

[oslo_concurrency]

lock_path = /var/lib/nova/tmp

# lock_path=/var/lock/nova // comment out

?

[placement]

os_region_name = RegionOne

project_domain_name = Default

project_name = service

auth_type = password

user_domain_name = Default

auth_url = http://controller:35357/v3

username = placement

password = ipcc2014

# os_region_name = openstack // comment out

?

[libvirt]

hw_machine_type = ?"x86_64=pc-i440fx-xenial,i686=pc-i440fx-xenial"

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

sudo service nova-compute restart

cat /var/log/nova/nova-compute.log

?

/ Verify ?operation

. admin-openrc

openstack hypervisor list

openstack compute service list

openstack catalog list

sudo nova-status upgrade check


11 Networking service –Neutron

Networking service

controller

compute1

compute2

/ Create a database?

su root?? ?// enter the root mode

#mysql

MariaDB [(none)]>

CREATE DATABASE neutron;

GRANT ALL PRIVILEGES ON neutron.* TO ?'neutron'@'localhost'IDENTIFIED BY 'ipcc2014';

GRANT ALL PRIVILEGES ON neutron.* TO ?'neutron'@'%'IDENTIFIED BY 'ipcc2014';

?

. admin-openrc

?

openstack user create --domain default ?--password-prompt neutron

openstack role add --project service --user ?neutron admin

openstack service create --name neutron ?--description "OpenStack Networking" network

?

openstack endpoint create --region RegionOne ?network public http://controller:9696

openstack endpoint create --region RegionOne ?network internal http://controller:9696

openstack endpoint create --region RegionOne ?network admin http://controller:9696

?

/ Install Neutorn

sudo apt-get install neutron-server ?neutron-plugin-ml2 neutron-linuxbridge-agent neutron-dhcp-agent ?neutron-metadata-agent

?

sudo gedit /etc/neutron/neutron.conf

[database]

connection = mysql+pymysql://neutron:ipcc2014@controller/neutron

# connection = sqlite:var/lib/neutron/neutron.sqlite // comment ?out

?

[DEFAULT]

core_plugin = ml2

service_plugins =

transport_url = rabbit://openstack:ipcc2014@controller

auth_strategy = keystone

notify_nova_on_port_status_changes = true

notify_nova_on_port_data_changes = true

?

[keystone_authtoken]

auth_uri = http://controller:5000

auth_url = http://controller:35357

memcached_servers = controller:11211

auth_type = password

project_domain_name = default

user_domain_name = default

project_name = service

username = neutron

password = ipcc2014

?

[nova]

auth_url = http://controller:35357

auth_type = password

project_domain_name = default

user_domain_name = default

region_name = RegionOne

project_name = service

username = nova

password = ipcc2014

?

sudo gedit /etc/neutron/plugins/ml2/ml2_conf.ini

[ml2]

type_drivers = flat,vlan

tenant_network_types =

mechanism_drivers = linuxbridge

extension_drivers = port_security

?

[ml2_type_flat]

flat_networks = provider

?

[securitygroup]

enable_ipset = true

?

sudo gedit /etc/neutron/plugins/ml2/linuxbridge_agent.ini

?

[linux_bridge]

physical_interface_mappings = provider:eth1

?

?

[vxlan]

enable_vxlan = false

?

[securitygroup]

enable_security_group = true

firewall_driver = ?neutron.agent.linux.iptables_firewall.IptablesFirewallDriver

?

sudo gedit /etc/neutron/dhcp_agent.ini

[DEFAULT]

interface_driver = linuxbridge

dhcp_driver = neutron.agent.linux.dhcp.Dnsmasq

enable_isolated_metadata = true

?

sudo gedit /etc/neutron/metadata_agent.ini

[DEFAULT]

nova_metadata_ip = controller

metadata_proxy_shared_secret = ipcc2014

?

sudo gedit /etc/nova/nova.conf

[neutron]

url = http://controller:9696

auth_url = http://controller:35357

auth_type = password

project_domain_name = default

user_domain_name = default

region_name = RegionOne

project_name = service

username = neutron

password = ipcc2014

service_metadata_proxy = true

metadata_proxy_shared_secret = ipcc2014

?

sudo su -s /bin/sh -c ?"neutron-db-manage --config-file /etc/neutron/neutron.conf \

--config-file ?/etc/neutron/plugins/ml2/ml2_conf.ini upgrade head" neutron

?

sudo service nova-api restart

?

sudo service neutron-server restart

sudo service neutron-linuxbridge-agent ?restart

sudo service neutron-dhcp-agent restart

sudo service neutron-metadata-agent restart

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

/ Install Neutorn

sudo apt-get install ?neutron-linuxbridge-agent

?

?

sudo gedit /etc/neutron/neutron.conf

[database]

?

?

?

# connection = sqlite:var/lib/neutron/neutron.sqlite // ?comment out

?

[DEFAULT]

transport_url = rabbit://openstack:ipcc2014@controller

auth_strategy = keystone

?

?

?

?

?

[keystone_authtoken]

auth_uri = http://controller:5000

auth_url = http://controller:35357

memcached_servers = controller:11211

auth_type = password

project_domain_name = default

user_domain_name = default

project_name = service

username = neutron

password = ipcc2014

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

sudo gedit /etc/neutron/plugins/ml2/linuxbridge_agent.ini

[linux_bridge]

physical_interface_mappings = provider:eth1

?

?

[vxlan]

enable_vxlan = false

?

[securitygroup]

enable_security_group = true

firewall_driver = ?neutron.agent.linux.iptables_firewall.IptablesFirewallDriver

?

?

?

?

?

?

?

?

?

?

?

?

sudo gedit /etc/nova/nova.conf

[neutron]

url = http://controller:9696

auth_url = http://controller:35357

auth_type = password

project_domain_name = default

user_domain_name = default

region_name = RegionOne

project_name = service

username = neutron

password = ipcc2014

?

?

?

?

?

?

?

?

?

?

?

sudo service nova-compute restart

sudo service neutron-linuxbridge-agent restart

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

/ Install Neutorn

sudo apt-get install ?neutron-linuxbridge-agent

?

?

sudo gedit /etc/neutron/neutron.conf

[database]

?

?

?

# connection = sqlite:var/lib/neutron/neutron.sqlite // ?comment out

?

[DEFAULT]

transport_url = rabbit://openstack:ipcc2014@controller

auth_strategy = keystone

?

?

?

?

?

[keystone_authtoken]

auth_uri = http://controller:5000

auth_url = http://controller:35357

memcached_servers = controller:11211

auth_type = password

project_domain_name = default

user_domain_name = default

project_name = service

username = neutron

password = ipcc2014

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

sudo gedit /etc/neutron/plugins/ml2/linuxbridge_agent.ini

[linux_bridge]

physical_interface_mappings = provider:eth1

?

[vxlan]

enable_vxlan = false

?

[securitygroup]

enable_security_group = true

firewall_driver = ?neutron.agent.linux.iptables_firewall.IptablesFirewallDriver

?

?

?

?

?

?

?

?

?

?

?

?

sudo gedit /etc/nova/nova.conf

[neutron]

url = http://controller:9696

auth_url = http://controller:35357

auth_type = password

project_domain_name = default

user_domain_name = default

region_name = RegionOne

project_name = service

username = neutron

password = ipcc2014

?

?

?

?

?

?

?

?

?

?

?

sudo service nova-compute restart

sudo service neutron-linuxbridge-agent ?restart

/ Verify ?operation

. admin-openrc

openstack extension list –network

openstack network agent list



12 Dashboard - Horizon

Dashboard

Controller

compute1

compute2

/ Install Horizon

sudo apt-get install openstack-dashboard

?

sudo gedit /etc/openstack-dashboard/local_settings.py

#OPENSTACK_HOST = "127.0.0.1" // comment out

OPENSTACK_HOST = "controller"

?

ALLOWED_HOSTS = ['*', ]? ?// at the beginning, not Ubuntu Settings

?

SESSION_ENGINE = 'django.contrib.sessions.backends.cache' // the ?memcached session

CACHES = {

??????????? 'default': {

??????????????????????? 'BACKEND': ?'django.core.cache.backends.memcached.MemcachedCache',

??????????????????????? 'LOCATION': 'controller:11211',

??????????????????????? }

??????????? }

?

#OPENSTACK_KEYSTONE_URL = "http://%s:5000/v2.0" % ?OPENSTACK_HOST // comment out

OPENSTACK_KEYSTONE_URL = "http://%s:5000/v3" % ?OPENSTACK_HOST

?

#OPENSTACK_KEYSTONE_MULTIDOMAIN_SUPPORT = False? // comment out

OPENSTACK_KEYSTONE_MULTIDOMAIN_SUPPORT = True

?

OPENSTACK_API_VERSIONS = {

"identity": 3,

"p_w_picpath": 2,

"volume": 2,

}

?

#OPENSTACK_KEYSTONE_DEFAULT_DOMAIN = 'Default'? // ?comment out

OPENSTACK_KEYSTONE_DEFAULT_DOMAIN = "Default"

?

#OPENSTACK_KEYSTONE_DEFAULT_ROLE = "_member_"? // ?comment out

OPENSTACK_KEYSTONE_DEFAULT_ROLE = "user"

?

OPENSTACK_NEUTRON_NETWORK = {

#??? 'enable_router': ?True,

#??? 'enable_quotas': ?True,

#??? 'enable_ipv6': True,

#??? ?'enable_distributed_router': False,

#??? 'enable_ha_router': ?False,

#??? 'enable_lb': True,

#??? 'enable_firewall': ?True,

#??? 'enable_***': True,

#??? ?'enable_fip_topology_check': True,? ?// comment out

'enable_router': False,

'enable_quotas': False,

'enable_ipv6': False,

'enable_distributed_router': False,

'enable_ha_router': False,

'enable_lb': False,

'enable_firewall': False,

'enable_***': False,

'enable_fip_topology_check': False,

?

TIME_ZONE = "UTC"

?

sudo chown www-data:www-data ?/var/lib/openstack-dashboard/secret_key

?

sudo gedit ?/etc/apache2/conf-available/openstack-dashboard.conf

WSGIApplicationGroup %{GLOBAL}

?

sudo service apache2 reload

?

/ Verify ?operation

http://controller/horizon

default/admin/ipcc2014

default/demo/ipcc2014




?13 Lanuch instances

?

Lanuch an instance

controller

compute1

compute2

/ Create the provider network

. admin-openrc??????????????????????????????????????????????????????????????????????????

openstack network create --share --external ?--provider-physical-network provider --provider-network-type flat provider

?

/ Create a subnet on the provider network

openstack subnet create --network provider ?--allocation-pool start=192.168.100.200,end=192.168.100.220 --dns-nameserver 10.0.1.1 --gateway 192.168.100.111 --subnet-range 192.168.100.0/24 provider

?

/ Create m1.nano flavor

openstack flavor create --id 0 --vcpus 1 ?--ram 64 --disk 1 m1.nano

?

/ Add rules for the default security group

openstack ?security group rule create --proto icmp default????????

openstack security group rule create --proto ?tcp --dst-port 22 default



/ Verify ?operation

. admin-openrc

openstack ?flavor list

openstack p_w_picpath ?list

openstack ?network list

openstack ?security group list

openstack ?server list





Main blockers

?

Following the install guide carefully, I have still been confronted with several heavy blockers during theinstallation:

?

1) The dashboard gives an “internal server error” .

cat ?/var/log/apache2/error.log : [Sun Oct 2214:42:41.315045 2017] [wsgi:error] [pid 5472:tid 140055544346368] [remote10.0.0.11:36929] IOError: [Errno 13] Permission denied:'/var/lib/openstack-dashboard/secret_key'.

Solved it in Controller Node by:sudo chown www-data:www-data /var/lib/openstack-dashboard/secret_key

https://bugs.launchpad.net/openstack-manuals/+bug/1683594

https://stackoverflow.com/questions/42632130/cant-launch-openstack-horizon-dashboard-ioerror-errno-13-permission-denied

?

2) No response from the dashboard.

Solved it in Controller Node by: sudo gedit /etc/apache2/conf-available/openstack-dashboard.conf

WSGIApplicationGroup%{GLOBAL}

https://ask.openstack.org/en/question/91352/openstack-mitaka-can-not-access-dashboard/

?

3) VMs don’t boot and are stuck at "Booting fromHarddisk GRUB" in the console VNC.

Solved it in Compute Nodes by:sudo gedit /etc/nova/nova.conf

[libvirt]

hw_machine_type= "x86_64=pc-i440fx-xenial,i686=pc-i440fx-xenial"

https://ask.openstack.org/en/question/103598/libvirt-vm-does-not-boot-in-ocata-libvirtxml-missing-wrong-owner-for-consolelog/

https://ask.openstack.org/en/question/107212/ocata-vnc-shows-cirros-instance-stuck-at-grub/

?

In addtion, please be extremely careful with the configuration files of Nova and Neutron; any minor negligence would make the system fail to work and it is very hard and time-consuming to find the reasons.


轉載于:https://blog.51cto.com/8493144/1975230

總結

以上是生活随笔為你收集整理的Cloud in Action: Install OpenStack Ocata from scratch的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

蜜臀av网址 | 日本激情视频中文字幕 | 热久久在线视频 | 亚洲国产精品一区二区久久,亚洲午夜 | 久久伊人八月婷婷综合激情 | 欧美999| 日韩美在线观看 | 91精品导航| 麻花豆传媒mv在线观看网站 | 久久永久视频 | 国产很黄很色的视频 | 一级成人网 | 国产精品 亚洲精品 | 狠狠操夜夜操 | 久久99久久99精品 | 欧美一级性生活片 | 九九热在线视频 | 婷婷深爱| 国产视频 亚洲精品 | 可以免费看av | 色偷偷男人的天堂av | 成人午夜免费福利 | www最近高清中文国语在线观看 | 天天天操天天天干 | 综合国产在线观看 | 日韩综合一区二区三区 | 欧美久久久久久久久中文字幕 | 91mv.cool在线观看 | 久久免费福利 | 在线免费观看视频你懂的 | 天天色天天操综合网 | 国产成人精品女人久久久 | 一区二区精品视频 | 亚洲国产一区av | 国产97免费| 欧美性视频网站 | 国产精品欧美久久久久无广告 | 六月色丁| 国产精品免费一区二区三区在线观看 | 国产视频2 | 国产精品去看片 | a天堂最新版中文在线地址 久久99久久精品国产 | 在线观看国产亚洲 | 一区二区三区日韩精品 | 菠萝菠萝在线精品视频 | 在线观看黄色的网站 | 国产视频中文字幕 | 夜夜躁日日躁狠狠久久av | 久久人人爽爽人人爽人人片av | 91丨九色丨国产女 | 国产99久久久精品 | 丁香五婷| 六月丁香婷婷久久 | 超碰免费公开 | 亚洲精品五月 | 国产精品久久久久久久久久了 | 在线观看片| 99久久久久久 | 久久精品国产一区二区电影 | 色在线免费观看 | 国产日产在线观看 | 人人要人人澡人人爽人人dvd | 欧美污污网站 | 久久呀 | 欧美最新另类人妖 | www.综合网.com| 国产麻豆剧果冻传媒视频播放量 | 国产精品久久久久久一二三四五 | 91精品在线看 | 精品亚洲va在线va天堂资源站 | 天天射天天舔天天干 | 国内精品久久久久久久影视麻豆 | 在线观看国产www | 17videosex性欧美 | 丁香5月婷婷 | 亚洲国产精品推荐 | 在线观看中文字幕视频 | 久久国产高清视频 | 黄污在线看| 色综合久久66 | 国精产品999国精产品视频 | 日韩精品久久久久久久电影99爱 | 麻豆超碰| 97超碰国产在线 | 99久久久成人国产精品 | 国产精品九九九 | 97在线观看免费观看 | 波多野结衣一区二区三区中文字幕 | 亚州国产视频 | 99精品欧美一区二区蜜桃免费 | 免费视频一区 | 国产v在线观看 | 国产精品久久久久9999吃药 | a成人在线| 成人看片| 91精品国产欧美一区二区成人 | 丁香av | 精品久久一级片 | 国产高清在线不卡 | www.天天色 | 亚洲夜夜网 | 精品国产_亚洲人成在线 | 香蕉视频免费在线播放 | 国产专区一 | 日韩电影精品一区 | 91av在线免费| 成人av地址| 国产视频在线观看一区 | 黄色在线观看www | 国产在线一线 | 顶级bbw搡bbbb搡bbbb | av观看在线观看 | 成人免费一区二区三区在线观看 | 在线看不卡av| 亚洲欧美999| 国产精品成人免费精品自在线观看 | 日韩免费一级a毛片在线播放一级 | 免费看亚洲毛片 | 精品国产日本 | 综合天天色 | 国产精品美女久久久久久2018 | 日韩三级.com | 97精产国品一二三产区在线 | 91麻豆高清视频 | 国产黄色一级片在线 | 丁香九月激情综合 | 日韩理论片中文字幕 | 91精品久久久久久综合乱菊 | 成 人 黄 色 免费播放 | 亚洲精品视频在线观看网站 | 日躁夜躁狠狠躁2001 | 99热这里只有精品在线观看 | 亚洲视频一 | 国产精品久久久久久超碰 | 天天爱天天操 | 日日碰狠狠添天天爽超碰97久久 | 99视频精品视频高清免费 | 天天干天天做天天操 | 超碰人人做 | 国产色视频网站2 | 亚洲成av人影院 | 天天色天天艹 | 日韩精品一区二区久久 | 午夜 久久 tv | 日韩福利在线观看 | 五月天中文字幕 | 国产在线最新 | 久久精品5 | 麻豆免费在线播放 | 狠狠色狠狠色合久久伊人 | 国产免费黄视频在线观看 | 国产麻豆精品传媒av国产下载 | 亚洲在线黄色 | 在线中文字幕播放 | 国产一级免费播放 | 最近中文字幕国语免费av | 欧美色综合天天久久综合精品 | 亚洲一二区视频 | 国产一区二区久久久 | 日韩中文字幕a | 天天摸夜夜添 | 91av片| 麻豆视屏 | 人人精久| 欧美性脚交 | 久久久精品电影 | 美女视频黄免费网站 | 色婷婷久久一区二区 | 91爱爱中文字幕 | 欧美aa级| 日韩在线视频网 | 亚洲精品97| 亚洲中字幕 | 五月综合色婷婷 | 97超级碰碰碰碰久久久久 | 国产精品一区二区三区视频免费 | 制服丝袜在线91 | 91精品国产综合久久福利 | 在线中文字幕av观看 | 九九九热精品免费视频观看 | 夜夜躁日日躁狠狠久久88av | 伊人网综合在线观看 | 91亚洲狠狠婷婷综合久久久 | aa一级片 | 天天操天天添天天吹 | 国产a级免费| 久草亚洲视频 | 亚洲精品中文在线资源 | 亚洲天堂网在线观看视频 | 日韩在线欧美在线 | 久久精品视频网站 | 麻豆国产网站入口 | 激情五月婷婷丁香 | 99久精品 | 国产精品免费不卡 | 999在线视频 | 狠狠狠色丁香综合久久天下网 | 日韩免费视频在线观看 | 天天操夜夜逼 | 国产精品一区二区三区四 | 免费日韩av电影 | 成人黄色电影在线观看 | 天天操天天插 | 超碰在线观看99 | 亚洲精品免费看 | 成年人免费在线观看网站 | 激情片av | 亚洲va欧美 | 热久久精品在线 | 亚洲成人动漫在线观看 | 欧美日韩国产精品一区二区亚洲 | 亚洲综合欧美日韩狠狠色 | 91成人免费 | 久久久久久激情 | 97人人澡人人爽人人模亚洲 | 中文字幕在线观看第一区 | 四虎在线免费视频 | 91亚洲精品久久久蜜桃网站 | 一区二区男女 | 久久亚洲欧美日韩精品专区 | 99热9| 亚洲毛片在线观看. | 久久成人福利 | 亚洲国产一区在线观看 | 国产码电影 | 国产成人在线观看免费 | 91大神免费视频 | 国产精品爽爽爽 | av激情五月 | 国产精品国产精品 | av天天在线观看 | 国产成人在线观看免费 | 天天操天天操天天 | 国产伦精品一区二区三区四区视频 | 最近中文字幕免费大全 | 97在线资源 | 黄色福利网 | 91精品国自产在线偷拍蜜桃 | 99精品视频免费在线观看 | 特级西西人体444是什么意思 | 久草在线费播放视频 | se婷婷| 欧美一级日韩三级 | 毛片网站免费 | 亚洲成人一二三 | 丁香婷婷深情五月亚洲 | 在线观看日本高清mv视频 | 国产在线精品福利 | 91x色| 干干干操操操 | 狠狠操狠狠操 | 不卡国产在线 | 在线最新av | 人人射av | 在线看片中文字幕 | 精品国产一区二区三区四区在线观看 | 国产精品自在欧美一区 | av观看在线观看 | 久久蜜臀av | 蜜臀久久99精品久久久无需会员 | www在线观看视频 | 色综合久久久久综合体 | 米奇狠狠狠888 | 亚洲国产免费 | 国产伦理剧 | 久久视频在线视频 | 午夜精品99久久免费 | 亚洲最新合集 | www黄免费 | 国产精品久久久久久婷婷天堂 | 免费在线色电影 | 久久久免费| 草久在线观看视频 | 精品视频一区在线观看 | 国产福利一区二区三区在线观看 | 福利一区二区在线 | 久国产在线播放 | 福利视频精品 | 97电院网手机版 | 成人av电影网址 | 99久久超碰中文字幕伊人 | 欧美国产在线看 | 99热最新| 国产精品一区在线 | 日韩理论片中文字幕 | 最新日韩视频在线观看 | 在线观看国产亚洲 | 亚洲黄色一级大片 | 啪啪免费视频网站 | 一区精品在线 | 99久久www | 日韩久久久久久久 | 亚洲va在线va天堂va偷拍 | 欧美激情精品久久久久久免费 | www.夜夜| 欧美午夜久久 | 伊人五月 | 欧美另类亚洲 | 91超级碰碰 | 99久久久久久久久 | 国偷自产视频一区二区久 | 婷婷中文在线 | 一本一本久久a久久精品牛牛影视 | 伊人五月天综合 | 在线观看成人小视频 | 精品久久久久久一区二区里番 | 奇米影音四色 | 免费日韩 精品中文字幕视频在线 | 一区二区三区高清不卡 | 中文字幕在线观看第一页 | 婷婷伊人五月 | 狠狠躁日日躁夜夜躁av | 国产亚洲精品中文字幕 | 国产亚洲精品久久久久久久久久 | 超碰人人干人人 | 在线精品视频在线观看高清 | 中文字幕日韩在线播放 | 国产在线a不卡 | 精品一区二区影视 | 成人在线免费av | 日韩毛片久久久 | 日韩免费 | 九九热在线视频免费观看 | 国产露脸91国语对白 | 中文字幕成人 | 免费看片成人 | 欧美日韩一级久久久久久免费看 | av网站播放 | 欧美日韩二区在线 | 久久伊人精品一区二区三区 | 永久免费的啪啪网站免费观看浪潮 | 中文字幕在线影院 | 91看片在线看片 | 亚洲精品91天天久久人人 | 日韩在线观看网站 | 精品一二三四在线 | 欧美在线1区| 天天曰夜夜操 | 色国产视频 | 伊人五月天 | 日韩网站一区二区 | 999久久| 91禁在线观看 | 午夜精品久久 | 人人藻人人澡人人爽 | 亚州免费视频 | 日韩精品一区二区三区三炮视频 | 久久黄色免费观看 | 色激情五月 | 久久精品一区二区三区中文字幕 | 91桃色国产在线播放 | 99精品欧美一区二区三区黑人哦 | 激情开心色 | 久久国产精品色av免费看 | 亚洲永久国产精品 | 久久久久久久久久久久久国产精品 | 久久视频免费在线观看 | 欧美一区二区在线看 | 中文字幕一区在线 | 精品伊人久久久 | 精品视频国产一区 | 亚洲永久精品一区 | 在线观看中文字幕网站 | 久久精品一二三 | 色综合国产 | 日本韩国精品一区二区在线观看 | 日日干av| 色婷婷视频在线 | 激情视频网页 | 夜夜骑日日 | 在线亚洲成人 | 久久中文网 | 国产成人一区三区 | 97福利在线 | 超碰av在线免费观看 | 久久综合导航 | 最新av电影网址 | 亚洲综合色丁香婷婷六月图片 | 麻豆91在线看 | 日本91在线 | 久久九九视频 | 国产91对白在线播 | 欧美日韩一级在线 | 88av网站| 欧美一级日韩三级 | 不卡av在线免费观看 | 一本一道久久a久久综合蜜桃 | 亚洲激情在线观看 | 日韩伦理一区二区三区av在线 | 波多野结衣在线观看一区 | 久久免费高清 | 日本精品视频免费观看 | 91黄色免费看 | 人成在线免费视频 | 婷婷色吧 | 欧美极品xxxxx| 欧美美女一级片 | 国产精品一区二区62 | 婷婷丁香花五月天 | 天天干天天干天天干天天干天天干天天干 | a级国产乱理论片在线观看 特级毛片在线观看 | 久久视频一区 | 亚洲一区日韩精品 | 成人资源在线 | 91日韩精品| 色99中文字幕 | 91大神在线看 | 97成人精品区在线播放 | 日韩成人中文字幕 | 日韩精品视频免费在线观看 | av 一区二区三区四区 | 亚洲精品97 | 色综合天天狠狠 | 日韩欧美在线观看一区 | 尤物97国产精品久久精品国产 | 欧美va日韩va | 中文字幕一二 | 97超碰在线人人 | 91精品久久久久久综合五月天 | 久久毛片网 | 免费观看黄 | 精品福利国产 | 天天综合精品 | 成人精品亚洲 | 国产中文字幕视频 | 深爱激情五月综合 | 超碰在线观看97 | 久久九九视频 | 在线观看91 | 夜夜躁日日躁狠狠久久88av | 久久免费资源 | 免费高清看电视网站 | 国产精品久久免费看 | 免费看国产曰批40分钟 | av免费在线观 | 国产中文字幕在线看 | 色婷婷天天干 | wwwwww色| 久久久久欠精品国产毛片国产毛生 | 不卡的av片| 成人欧美一区二区三区在线观看 | 精品亚洲男同gayvideo网站 | 99精品视频网站 | 天天操天天摸天天射 | 天天操夜夜想 | 97成人在线免费视频 | 五月婷婷激情六月 | 欧美在线视频一区二区 | 色就色,综合激情 | 一级精品视频在线观看宜春院 | 婷婷综合av | 国产高清精品在线观看 | 久久精品久久久久久久 | 亚洲亚洲精品在线观看 | 日韩精品黄 | 成人免费视频网站在线观看 | 97人人模人人爽人人少妇 | 中文字幕日韩伦理 | 91在线中文| 国产日韩三级 | 日操操 | 97精品在线观看 | 中文字幕成人av | 亚洲一区黄色 | 午夜精品一二区 | av成人免费在线看 | 在线不卡a | 午夜久久久精品 | 91精品麻豆 | 日韩系列在线观看 | 麻豆系列在线观看 | 亚洲dvd | 日韩中文字幕电影 | 九九国产精品视频 | 久久精品国亚洲 | 丝袜网站在线观看 | 国产在线观看,日本 | 天天玩夜夜操 | 色 免费观看 | 国产精品一区二区三区观看 | 国产精品美女久久久 | 亚色视频在线观看 | 一区二区三区在线免费播放 | 国产高清不卡av | 久久亚洲综合国产精品99麻豆的功能介绍 | 久久久免费观看视频 | 丝袜美女在线观看 | 久草在线手机观看 | 亚洲综合成人在线 | 在线 视频 一区二区 | 日韩国产欧美在线视频 | 一区二区三区高清 | 欧美日本日韩aⅴ在线视频 插插插色综合 | 香蕉在线视频播放网站 | 国产资源免费在线观看 | 99久久精品久久久久久动态片 | 久久免费美女视频 | 国产日产亚洲精华av | 狠狠地日 | 男女激情网址 | 在线看小早川怜子av | 国产专区视频在线 | 热久在线 | 97视频免费 | 免费av网站在线 | 午夜精品一区二区三区在线观看 | 婷婷中文在线 | 中文字幕免费在线看 | 在线观看中文字幕第一页 | 欧洲精品在线视频 | 日韩视频 一区 | 国产成人av综合色 | 日本久久精品 | 麻豆精品传媒视频 | 中文字幕在线观看一区二区三区 | 999电影免费在线观看 | 成人免费在线网 | 国产老太婆免费交性大片 | 色婷婷狠狠18| 久草在线综合 | 四虎在线免费 | 免费一级特黄毛大片 | 亚洲人天堂| 狠狠躁日日躁狂躁夜夜躁 | 在线看国产精品 | 亚洲视频2 | 日韩亚洲在线 | 97超碰在线播放 | 国产精品毛片一区视频播不卡 | 狠狠色丁香婷婷综合久小说久 | 狠狠色狠狠色 | 狠狠的操狠狠的干 | 国产一区二区在线免费播放 | 亚洲欧洲一级 | 超碰在线9 | 久久久久成人精品免费播放动漫 | 免费色黄 | 午夜视频二区 | 深夜免费福利在线 | 久久视频这里有久久精品视频11 | 欧美日韩一区二区三区免费视频 | 亚洲在线免费视频 | 91x色| 免费av大片 | 国产特级毛片aaaaaaa高清 | 99久久婷婷国产综合亚洲 | 欧美人人爱 | 五月天高清欧美mv | 成人在线免费小视频 | 日韩高清久久 | 超碰在线成人 | 天天要夜夜操 | 五月天色丁香 | 久久综合成人网 | 激情五月婷婷激情 | 狠狠躁日日躁夜夜躁av | 91视频91自拍| 国产精品 国内视频 | 成人精品一区二区三区中文字幕 | 亚洲一区精品人人爽人人躁 | 亚洲精选视频免费看 | 黄色小说18 | 久久伊人精品一区二区三区 | 国产视频精选 | 天天色天天操天天爽 | 天天射天天射天天 | 国产亚洲一区二区三区 | 一本一道波多野毛片中文在线 | 在线观看中文字幕dvd播放 | 精品国产日本 | av电影在线免费观看 | 国产91学生粉嫩喷水 | 亚洲精品免费视频 | 久久久久99精品国产片 | 欧美 亚洲 另类 激情 另类 | 在线精品在线 | 亚洲丁香日韩 | 久久久久久久久久电影 | 在线视频观看你懂的 | 欧美日韩p片| 中文永久免费观看 | 国产高清视频免费最新在线 | 韩国av免费在线观看 | 亚洲成人精品久久 | 中文字幕高清在线 | 日本精品视频网站 | 国内综合精品午夜久久资源 | 天天av资源 | 亚洲黄色片在线 | 九九久久影视 | 黄色aa久久 | 福利视频精品 | 69国产盗摄一区二区三区五区 | 黄色av免费看 | 久久精品视频99 | 国产探花在线看 | 精品久久久久亚洲 | 天天操综合 | 亚洲一级电影在线观看 | 亚洲a网 | 99在线免费观看视频 | 国产精品一区二区免费视频 | 成人av一级片 | 超碰人人国产 | 国产精品久久一卡二卡 | 国产精品久久久久久久久久了 | 国产美女免费观看 | 中文字幕有码在线播放 | 国产一线在线 | 欧美一级黄大片 | 五月婷婷六月丁香在线观看 | 天无日天天操天天干 | 欧美性超爽 | 一区二区三区免费在线观看视频 | 91久久精品一区 | 三级大片网站 | 91免费在线播放 | 免费看污污视频的网站 | 91精品国自产在线观看欧美 | 国产高清一区二区 | 91在线中文字幕 | 91一区啪爱嗯打偷拍欧美 | 五月婷婷开心 | 黄色www | 91成年人在线观看 | 成人av资源在线 | 在线观看aa | 色视频国产直接看 | 国产精品一区二区三区久久 | 一区在线播放 | 亚洲精品在线观看视频 | 91一区二区三区久久久久国产乱 | 97伊人网| 日韩免费av网址 | 精品女同一区二区三区在线观看 | 成人资源站 | 国产一级久久 | 国产精品成人av电影 | 国产精品一区二区久久精品 | 国内精品视频一区二区三区八戒 | 久久黄色美女 | 亚洲精品三级 | 欧美精品免费一区二区 | 国产精品白浆视频 | 免费在线看成人av | 国产日韩亚洲 | 国产小视频在线 | 在线国产一区 | 黄色特一级| 亚洲国产一区二区精品专区 | 色悠悠久久综合 | 一区免费观看 | 五月天激情综合 | 狠狠插狠狠干 | 国产成人av一区二区三区在线观看 | 99视频国产精品 | 91成人精品一区在线播放69 | 99热官网 | 在线观看黄色av | av免费网页 | 国产精品青青 | 一级黄色a视频 | 九九视频这里只有精品 | 999久久国产精品免费观看网站 | 久久y | 久操视频在线 | 国产精品久久麻豆 | 精品国产一二三四区 | 国产午夜精品一区二区三区 | 国产99久久久久 | 亚洲国产日韩欧美在线 | 日本xxxxav | av在线播放不卡 | 欧美aaa大片| www.久久久.cum | 日b视频国产 | 日日摸日日添夜夜爽97 | 日韩在线视频观看免费 | 久久激情视频 久久 | 久久精品96 | 精品国产一区二区三区日日嗨 | 国产一区二区在线免费播放 | 美女网站视频免费都是黄 | 黄色精品在线看 | 久久久免费精品 | japanese黑人亚洲人4k | 国产破处在线视频 | www.色五月 | 日日夜夜天天久久 | 高清一区二区三区av | 国产精品国产亚洲精品看不卡 | 亚洲成a人片在线观看网站口工 | 国产99精品 | 一区二区三区四区久久 | 久久一区二区免费视频 | 国产中文字幕在线视频 | 91超碰免费在线 | 日韩黄色大片在线观看 | 亚洲天堂视频在线 | 天天操天天干天天操天天干 | 久久久久综合 | 久久免费视频一区 | 亚洲精品美女在线观看 | 黄色官网在线观看 | 欧美一级片免费播放 | 韩国在线视频一区 | 欧美日在线| 99在线精品视频观看 | 在线小视频 | www九九热 | 国产精品一区二区免费 | 久久不射影院 | 午夜丰满寂寞少妇精品 | 91精品国产综合久久福利 | 久久精品久久精品 | 伊人永久在线 | 日韩午夜在线 | 久久精品一区二区 | 国产一在线精品一区在线观看 | 日韩欧美在线视频一区二区 | 国产美女主播精品一区二区三区 | 天天操夜操 | 在线播放国产一区二区三区 | 天天激情综合网 | 蜜臀久久99精品久久久无需会员 | 国产精品 9999 | 一区二区理论片 | 久久久久国产精品一区 | 18性欧美xxxⅹ性满足 | 69精品| 日韩中文字幕a | 97色涩 | 高潮久久久久久 | 久草视频在线资源站 | 最近字幕在线观看第一季 | 精品视频免费在线 | 国产高清在线不卡 | 一级做a视频 | 激情五月六月婷婷 | 久久超级碰视频 | 久久久私人影院 | 精品免费一区 | 91资源在线播放 | 久久精品黄 | 亚洲国产精品一区二区尤物区 | va视频在线 | 中日韩在线 | 91精品在线免费 | 黄色毛片观看 | 久久国产精品免费视频 | 日韩精品一区二区三区第95 | 一区中文字幕 | 日韩精品免费专区 | 久久久综合九色合综国产精品 | 91亚·色 | 日韩乱码中文字幕 | 中文字幕在线观看1 | 色香蕉在线视频 | 99产精品成人啪免费网站 | 成人一级在线 | 亚洲九九九在线观看 | 国产区欧美 | 亚洲乱码国产乱码精品天美传媒 | 欧美日韩在线视频一区二区 | 麻豆精品视频在线 | 999久久a精品合区久久久 | 精品国产一区二区三区久久久蜜臀 | www.福利视频 | 日韩免费网站 | 亚洲成色777777在线观看影院 | 久久综合九色综合欧美狠狠 | 99热999| 手机看片午夜 | 国产一区视频免费在线观看 | 91精品一区国产高清在线gif | 天天操人| 亚洲 中文 在线 精品 | 开心激情婷婷 | 丁香综合av| 91视频链接| 国产日产高清dvd碟片 | 国产精品二区在线观看 | 亚洲伊人天堂 | 久久精品国产精品亚洲精品 | 亚洲美女精品视频 | www.888av| 久久资源总站 | 国产精品成人免费精品自在线观看 | 婷婷视频在线播放 | 亚洲国产精品视频 | aaa免费毛片| 久久久久久久久亚洲精品 | 国产主播大尺度精品福利免费 | 91精品欧美 | 亚洲国产精品视频在线观看 | 日韩午夜小视频 | 在线视频a| 亚洲国产av精品毛片鲁大师 | 最新真实国产在线视频 | 一级特黄av | 亚洲欧洲av在线 | .国产精品成人自产拍在线观看6 | 在线观看中文字幕视频 | 国产日韩精品一区二区三区在线 | 亚洲涩涩网站 | 狠狠色狠狠色综合日日92 | 一区二区三区动漫 | 成人少妇影院yyyy | 亚州激情视频 | 亚洲精品在线免费 | 伊人狠狠色丁香婷婷综合 | 天天色天天操天天爽 | 国产精品1024| 福利片免费看 | 91精品久久久久 | 免费韩国av | 蜜桃传媒一区二区 | 国产女人免费看a级丨片 | 69精品视频在线观看 | 九九热re| 国产一区二区三区免费在线观看 | 久久福利剧场 | 人人爽人人片 | 国产黄色片免费观看 | 国产精品五月天 | 精品国自产在线观看 | 亚洲视频久久 | 亚洲精品网站在线 | 在线观看一级片 | 伊人激情网 | av资源网在线播放 | 国产成人在线一区 | 日日综合 | 韩国在线一区二区 | 免费在线一区二区三区 | 久久久蜜桃一区二区 | 日韩精品一区二区三区电影 | 91久久久久久久一区二区 | 午夜狠狠操 | 国产精品大尺度 | 91人人射| 久久免费电影网 | 精品视频免费看 | 亚洲精品动漫在线 | 欧美日韩一区久久 | 99国产在线视频 | www.色婷婷.com | 久久综合99| 久久久www免费电影网 | 精品毛片一区二区免费看 | 日韩爱爱片| 麻豆视频国产精品 | 中文字幕在线免费看 | 亚洲一区久久久 | 亚洲欧美激情插 | 久精品在线 | 国产高清网站 | 99视频+国产日韩欧美 | 国产综合激情 | 成人av在线直播 | 成人午夜电影久久影院 | 欧美大片在线观看一区 | 国产精品久久久久久久午夜 | www成人精品 | 精品亚洲在线 | 国产一区不卡在线 | 麻豆视频在线观看 | 91av免费观看| 中文字幕一区二区三区四区在线视频 | 免费色视频网站 | 黄色毛片视频 | 99爱国产精品 | 西西444www| 国产一区视频导航 | 国产最顶级的黄色片在线免费观看 | 日本中文字幕在线看 | 一级黄色大片 | 国产成人免费在线观看 | 人人干人人做 | 亚洲精品视频在线观看免费视频 | 在线欧美最极品的av | 日韩精品观看 | 亚洲精品国产片 | 成年人黄色大片在线 | 午夜精品久久久久久久99热影院 | 久久久综合 | 亚洲欧美乱综合图片区小说区 | 国际精品久久久 | 一区二区三区视频网站 | 免费中文字幕在线观看 | 天天综合网 天天综合色 | 视频一区亚洲 | 国产精久久 | 国产一区观看 | 中文字幕中文字幕在线一区 | 久久99久久99精品中文字幕 | 精品免费一区 | 久久精品一二三 | 人人看人人艹 | 欧美色综合天天久久综合精品 | 在线国产中文字幕 | 一区二区三区精品久久久 | 日韩一区二区久久 | 视频一区亚洲 | 久久综合色天天久久综合图片 | 久久国产精品99国产精 | 国产精品午夜在线观看 | aa一级片| 天天干天天拍 | 欧美乱码精品一区二区 | 狠狠久久综合 | 69av久久 | 精品久久久久国产免费第一页 | 91免费观看网站 | 91精品夜夜 | 黄色一区二区在线观看 | 美女网站视频久久 | 中文字幕av免费在线观看 | 成人观看视频 | 操操爽| 天天夜夜狠狠操 | 91成人免费视频 | 伊人天堂av | 午夜精品麻豆 | 国产精品久久久久久久久久妇女 | 天天干,夜夜操 | 国产午夜不卡 | 亚洲免费国产视频 | 国产精品久久久久久超碰 | 91精品啪在线观看国产线免费 | 久久天天综合网 | 国产精品青草综合久久久久99 | 国产自制av | 国产精品免费久久久久 | 黄色软件网站在线观看 | 免费视频一二三 | 91 在线视频 | 国产成人一二片 | 色婷婷电影网 | 国产一级一片免费播放放 | 操操日日 | 欧美精品久久久久久久久老牛影院 | 九九精品在线观看 | 亚洲六月丁香色婷婷综合久久 | 国内三级在线 | 欧美成人xxx| 国产一级不卡毛片 | 色网站在线观看 | 香蕉91视频 | 久久综合亚洲鲁鲁五月久久 | 午夜三级在线 | 亚洲另类视频在线观看 | 欧美日韩精品电影 | 婷婷福利影院 | 欧美专区日韩专区 | 久草爱视频 | 久久久久久欧美二区电影网 | 欧美日本高清视频 | 97视频免费观看 | 国产精品99久久久久久久久 | 特黄色大片 | 超碰97在线看 | 中文字幕在线国产精品 | 久久综合中文色婷婷 | 久草视频在线资源 | 亚洲欧美成人在线 | 日韩精品视频免费专区在线播放 | 欧美韩国在线 | 97视频免费播放 | 日韩高清无线码2023 | 99精品视频免费观看 | 在线视频 一区二区 | 精品一区免费 | 久久草草影视免费网 | 美女黄频在线观看 | 国产精品网址在线观看 | av在线专区 | 最近更新好看的中文字幕 | 免费在线观看一区 | 色综合a | 精品久久中文 | 精品免费久久久久久 | 亚洲视频aaa| 国产视频97 | 91麻豆产精品久久久久久 | 精品欧美日韩 | 成人av在线电影 | 麻豆视频免费看 | 免费看短 | 天天色天天骑天天射 | 日韩精品在线观看视频 | 一区二区三区电影大全 | 久久精品视频免费 | 欧美精品首页 | 精品久久视频 | 久久99国产精品久久 | 五月婷婷丁香网 | 色小说在线 |