日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當(dāng)前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

OPENSTACK

發(fā)布時(shí)間:2024/3/12 编程问答 44 豆豆
生活随笔 收集整理的這篇文章主要介紹了 OPENSTACK 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

OPENSTACK

    • 基礎(chǔ)環(huán)境
    • controller節(jié)點(diǎn)
      • ceph安裝
      • 基本軟件
      • keystone
      • glance
      • placement
      • nova-controller
      • nova_compute
      • neutron_controller
      • neutron_network
      • neutron_compute
      • horizon
      • cinder_controller
      • cinder_storage
    • compute節(jié)點(diǎn)
      • ceph安裝
      • yum源
      • nova_compute
      • neutron_compute
      • cinder_storage
    • 熱遷移

本次部署是基于openstack train+ceph,前前后后,各種重復(fù)實(shí)驗(yàn)大概一個(gè)月時(shí)間,預(yù)見各種坑。部署思路基于兩臺服務(wù)器,首先部署controller節(jié)點(diǎn),在通過新增計(jì)算節(jié)點(diǎn)方式進(jìn)行。
vware準(zhǔn)備兩臺cenots7,不在累述前期安裝過程,基礎(chǔ)參數(shù)如下:

網(wǎng)絡(luò)環(huán)境:gateway:192.168.200.2gateway:192.168.100.2controller:ens33:192.168.200.200 管理網(wǎng)絡(luò)ens34:192.168.100.100 外部網(wǎng)絡(luò)compute:ens33:192.168.200.201 管理網(wǎng)絡(luò)ens34:192.168.100.101 外部網(wǎng)絡(luò)磁盤環(huán)境:controller+compute:均為/dev/sda4默認(rèn)密碼:所有密碼均為:000000

基礎(chǔ)環(huán)境

  • 基本工具
yum install -y expect lrzsz tree vim wget bash-completion bash-completion-extras
  • ip轉(zhuǎn)發(fā)
echo 'net.ipv4.ip_forward=1 ' >>/etc/sysctl.conf echo 'net.ipv4.tcp_tw_recycle=1 ' >>/etc/sysctl.conf echo 'net.ipv4.tcp_tw_reuse=1 ' >>/etc/sysctl.conf sysctl -p
  • 域名配置
hostnamectl set-hostname controller hostnamectl set-hostname compute
  • hosts配置
sed -i "$ a 192.168.200.200 controller" /etc/hosts sed -i "$ a 192.168.200.201 compute" /etc/hosts
  • dns配置
sed -i "$ a nameserver 192.168.100.2" /etc/resolv.conf sed -i "$ a nameserver 114.114.114.114" /etc/resolv.conf
  • 關(guān)閉防火墻、selinux、NetworkManager
systemctl disable NetworkManager Firewalld systemctl stop NetworkManager Firewalldsed -i '/^SELINUX/s/enforcing/disabled/' /etc/selinux/config
  • 時(shí)間同步
/etc/chrony.conf controller:server ntp.aliyun.com iburstallow 192.168.200.0/24local stratum 10 compute:server controller iburst
  • 密鑰分發(fā)
ssh-keygen ssh-copy-id root@controller ssh-copy-id root@compute
  • yum源
sed -i 's#keepcache=0#keepcache=1#g' /etc/yum.conf wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

controller節(jié)點(diǎn)

ceph安裝

  • yum源
[Ceph] name=Ceph packages for $basearch baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/$basearch enabled=1 gpgcheck=0 type=rpm-md gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc priority=1 [Ceph-noarch] name=Ceph noarch packages baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/noarch enabled=1 gpgcheck=0 type=rpm-md gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc priority=1 [ceph-source] name=Ceph source packages baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/SRPMS enabled=1 gpgcheck=0 type=rpm-md gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc priority=1
  • 開始安裝
yum install -y ceph-deploy python-setuptools mkdir ./cluster && cd ./cluster yum install -y ceph #等于ceph-deploy install controller ceph-deploy new controller ceph-deploy mon create-initial ceph-deploy admin controller ceph-deploy mgr create controller ceph-deploy osd create --data /dev/sda4 controller

基本軟件

  • train源
yum install centos-release-openstack-train -y yum install openstack-utils -y yum install python-openstackclient -y
  • mysql安裝
yum install mariadb mariadb-server python2-PyMySQL -y cat > /etc/my.cnf.d/openstack.cnf <<- EOF [mysqld] bind-address = 192.168.200.200 default-storage-engine = innodb innodb_file_per_table = on max_connections = 4096 collation-server = utf8_general_ci character-set-server = utf8 EOFsystemctl enable mariadb.service systemctl start mariadb.serviceexpect <<-EOF &> /etc/null spawn mysql_secure_installation expect "*none*" { send "\n"; } expect "*Y/n*" { send "n\n"; } expect "*Y/n*" { send "y\n"; } expect "*Y/n*" { send "y\n"; } expect "*Y/n*" { send "y\n"; } expect "*Y/n*" { send "y\n"; } expect eof EOF
  • rabbitmq安裝
yum install rabbitmq-server -ysystemctl enable rabbitmq-server.service systemctl start rabbitmq-server.servicerabbitmqctl add_user openstack 000000 rabbitmqctl set_permissions openstack ".*" ".*" ".*"
  • memcached安裝
yum install memcached python-memcached -ysed -i '/OPTIONS/c\OPTIONS="-l 192.168.200.200"' /etc/sysconfig/memcachedsystemctl enable memcached.service systemctl start memcached.service
  • etcd安裝
yum install etcd -ycp /etc/etcd/etcd.conf{,.bak} cat > /etc/etcd/etcd.conf <<- EOF #[Member] ETCD_DATA_DIR="/var/lib/etcd/default.etcd" ETCD_LISTEN_PEER_URLS="http://192.168.200.200:2380" ETCD_LISTEN_CLIENT_URLS="http://192.168.200.200:2379" ETCD_NAME="controller" #[Clustering] ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.200.200:2380" ETCD_ADVERTISE_CLIENT_URLS="http://192.168.200.200:2379" ETCD_INITIAL_CLUSTER="controller=http://192.168.200.200:2380" ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster-01" ETCD_INITIAL_CLUSTER_STATE="new" EOFsystemctl enable etcd systemctl start etcd

keystone

yum install openstack-keystone httpd mod_wsgi -ymysql -uroot -e "CREATE DATABASE keystone;GRANT ALL PRIVILEGES ON keystone.* TO 'keystone'@'localhost' IDENTIFIED BY '000000';GRANT ALL PRIVILEGES ON keystone.* TO 'keystone'@'%' IDENTIFIED BY '000000';"cp -a /etc/keystone/keystone.conf{,.bak} grep -Ev "^$|#" /etc/keystone/keystone.conf.bak > /etc/keystone/keystone.conf openstack-config --set /etc/keystone/keystone.conf database connection mysql+pymysql://keystone:$KEYSTONE_DBPASS@$IPADDR/keystone openstack-config --set /etc/keystone/keystone.conf token provider fernetsu -s /bin/sh -c "keystone-manage db_sync" keystonekeystone-manage fernet_setup --keystone-user keystone --keystone-group keystone keystone-manage credential_setup --keystone-user keystone --keystone-group keystone keystone-manage bootstrap --bootstrap-password 000000 \--bootstrap-admin-url http://192.168.200.200:5000/v3/ \--bootstrap-internal-url http://192.168.200.200:5000/v3/ \--bootstrap-public-url http://192.168.200.200:5000/v3/ \--bootstrap-region-id RegionOnecp /etc/httpd/conf/httpd.conf{,.bak} sed -i "s/#ServerName www.example.com:80/ServerName controller/" /etc/httpd/conf/httpd.conf ln -s /usr/share/keystone/wsgi-keystone.conf /etc/httpd/conf.d/systemctl enable httpd.service systemctl start httpd.servicesed -i "$ a export OS_USERNAME=admin" /root/.bashrc sed -i "$ a export OS_PASSWORD=000000" /root/.bashrc sed -i "$ a export OS_PROJECT_NAME=admin" /root/.bashrc sed -i "$ a export OS_USER_DOMAIN_NAME=Default" /root/.bashrc sed -i "$ a export OS_PROJECT_DOMAIN_NAME=Default" /root/.bashrc sed -i "$ a export OS_AUTH_URL=http://192.168.200.200:5000/v3" /root/.bashrc sed -i "$ a export OS_IDENTITY_API_VERSION=3" /root/.bashrc source ~/.bashrc openstack project create --domain default --description "Service Project" service

glance

yum install openstack-glance -ymysql -uroot -e "CREATE DATABASE glance;GRANT ALL PRIVILEGES ON glance.* TO 'glance'@'localhost' IDENTIFIED BY '000000';GRANT ALL PRIVILEGES ON glance.* TO 'glance'@'%' IDENTIFIED BY '000000';"openstack user create --domain default --password 000000 glance &> /etc/null openstack role add --project service --user glance admin &> /etc/nullopenstack service create --name glance --description "OpenStack Image" imageopenstack endpoint create --region RegionOne image public http://192.168.200.200:9292 openstack endpoint create --region RegionOne image internal http://192.168.200.200:9292 openstack endpoint create --region RegionOne image admin http://192.168.200.200:9292cp -a /etc/glance/glance-api.conf{,.bak} cp -a /etc/glance/glance-registry.conf{,.bak} grep -Ev '^$|#' /etc/glance/glance-api.conf.bak > /etc/glance/glance-api.conf grep -Ev '^$|#' /etc/glance/glance-registry.conf.bak > /etc/glance/glance-registry.conf openstack-config --set /etc/glance/glance-api.conf database connection mysql+pymysql://glance:000000@192.168.200.200/glance openstack-config --set /etc/glance/glance-api.conf keystone_authtoken www_authenticate_uri http://192.168.200.200:5000 openstack-config --set /etc/glance/glance-api.conf keystone_authtoken auth_url http://192.168.200.200:5000 openstack-config --set /etc/glance/glance-api.conf keystone_authtoken memcached_servers 192.168.200.200:11211 openstack-config --set /etc/glance/glance-api.conf keystone_authtoken auth_type password openstack-config --set /etc/glance/glance-api.conf keystone_authtoken project_domain_name Default openstack-config --set /etc/glance/glance-api.conf keystone_authtoken user_domain_name Default openstack-config --set /etc/glance/glance-api.conf keystone_authtoken project_name services openstack-config --set /etc/glance/glance-api.conf keystone_authtoken username glance openstack-config --set /etc/glance/glance-api.conf keystone_authtoken password 000000 openstack-config --set /etc/glance/glance-api.conf paste_deploy flavor keystoneceph osd pool create images 64 64 ceph osd pool application enable images rbd ceph osd pool set images size 1 ceph auth get-or-create client.glance mon 'allow r' osd "images" -o /etc/ceph/ceph.client.glance.keyring chgrp glance /etc/ceph/ceph.client.glance.keyring sed -i "$ a client.glance" /etc/ceph/ceph.conf sed -i "$ a keyring = /etc/ceph/ceph.client.glance.keyring" /etc/ceph/ceph.confopenstack-config --set /etc/glance/glance-api.conf glance_store stores rbd openstack-config --set /etc/glance/glance-api.conf glance_store default_store rbd openstack-config --set /etc/glance/glance-api.conf glance_store rbd_store_pool images openstack-config --set /etc/glance/glance-api.conf glance_store rbd_store_user glance openstack-config --set /etc/glance/glance-api.conf glance_store rbd_store_ceph_conf /etc/ceph/ceph.confsu -s /bin/sh -c "glance-manage db_sync" glancesystemctl enable openstack-glance-api.service systemctl start openstack-glance-api.service

placement

yum install openstack-placement-api -ymysql -uroot -e "CREATE DATABASE placement;GRANT ALL PRIVILEGES ON placement.* TO 'placement'@'localhost' IDENTIFIED BY '000000';GRANT ALL PRIVILEGES ON placement.* TO 'placement'@'%' IDENTIFIED BY '000000';"openstack user create --domain default --password 000000 placement &> /etc/null openstack role add --project service --user placement admin &> /etc/nullopenstack service create --name placement --description "Placement API" placementopenstack endpoint create --region RegionOne placement public http://192.168.200.200:8778 openstack endpoint create --region RegionOne placement internal http://192.168.200.200:8778 openstack endpoint create --region RegionOne placement admin http://192.168.200.200:8778cp -a /etc/glance/glance-api.conf{,.bak} cp -a /etc/glance/glance-registry.conf{,.bak} grep -Ev '^$|#' /etc/glance/glance-api.conf.bak > /etc/glance/glance-api.conf grep -Ev '^$|#' /etc/glance/glance-registry.conf.bak > /etc/glance/glance-registry.conf openstack-config --set /etc/glance/glance-api.conf database connection mysql+pymysql://glance:000000@192.168.200.200/glance openstack-config --set /etc/glance/glance-api.conf keystone_authtoken www_authenticate_uri http://192.168.200.200:5000 openstack-config --set /etc/glance/glance-api.conf keystone_authtoken auth_url http://192.168.200.200:5000 openstack-config --set /etc/glance/glance-api.conf keystone_authtoken memcached_servers 192.168.200.200:11211 openstack-config --set /etc/glance/glance-api.conf keystone_authtoken auth_type password openstack-config --set /etc/glance/glance-api.conf keystone_authtoken project_domain_name Default openstack-config --set /etc/glance/glance-api.conf keystone_authtoken user_domain_name Default openstack-config --set /etc/glance/glance-api.conf keystone_authtoken project_name services openstack-config --set /etc/glance/glance-api.conf keystone_authtoken username glance openstack-config --set /etc/glance/glance-api.conf keystone_authtoken password 000000 openstack-config --set /etc/glance/glance-api.conf paste_deploy flavor keystoneceph osd pool create images 64 64 ceph osd pool application enable images rbd ceph osd pool set images size 1 ceph auth get-or-create client.glance mon 'allow r' osd "allow rwx pool=images" -o /etc/ceph/ceph.client.glance.keyring chgrp glance /etc/ceph/ceph.client.glance.keyring sed -i "$ a client.glance" /etc/ceph/ceph.conf sed -i "$ a keyring = /etc/ceph/ceph.client.glance.keyring" /etc/ceph/ceph.confopenstack-config --set /etc/glance/glance-api.conf glance_store stores rbd openstack-config --set /etc/glance/glance-api.conf glance_store default_store rbd openstack-config --set /etc/glance/glance-api.conf glance_store rbd_store_pool images openstack-config --set /etc/glance/glance-api.conf glance_store rbd_store_user glance openstack-config --set /etc/glance/glance-api.conf glance_store rbd_store_ceph_conf /etc/ceph/ceph.confsu -s /bin/sh -c "glance-manage db_sync" glancesystemctl enable openstack-glance-api.service systemctl start openstack-glance-api.service

nova-controller

yum install openstack-nova-api openstack-nova-conductor openstack-nova-novncproxy openstack-nova-scheduler -ymysql -uroot -e "CREATE DATABASE nova_api;GRANT ALL PRIVILEGES ON nova_api.* TO 'nova'@'localhost' IDENTIFIED BY '000000';GRANT ALL PRIVILEGES ON nova_api.* TO 'nova'@'%' IDENTIFIED BY '000000';" mysql -uroot -e "CREATE DATABASE nova;GRANT ALL PRIVILEGES ON nova.* TO 'nova'@'localhost' IDENTIFIED BY '000000';GRANT ALL PRIVILEGES ON nova.* TO 'nova'@'%' IDENTIFIED BY '000000';" mysql -uroot -e "CREATE DATABASE nova_cell0;GRANT ALL PRIVILEGES ON nova_cell0.* TO 'nova'@'localhost' IDENTIFIED BY '000000';GRANT ALL PRIVILEGES ON nova_cell0.* TO 'nova'@'%' IDENTIFIED BY '000000';"openstack user create --domain default --password 000000 nova openstack role add --project service --user nova adminopenstack service create --name nova --description "OpenStack Compute" computeopenstack endpoint create --region RegionOne compute public http://192.168.200.200:8774/v2.1 openstack endpoint create --region RegionOne compute internal http://192.168.200.200:8774/v2.1 openstack endpoint create --region RegionOne compute admin http://192.168.200.200:8774/v2.1cp -a /etc/nova/nova.conf{,.bak} grep -Ev '^$|#' /etc/nova/nova.conf.bak > /etc/nova/nova.confopenstack-config --set /etc/nova/nova.conf DEFAULT enabled_apis osapi_compute,metadata openstack-config --set /etc/nova/nova.conf DEFAULT my_ip 192.168.200.200 openstack-config --set /etc/nova/nova.conf DEFAULT use_neutron true openstack-config --set /etc/nova/nova.conf DEFAULT firewall_driver nova.virt.firewall.NoopFirewallDriver openstack-config --set /etc/nova/nova.conf DEFAULT transport_url rabbit://openstack:000000@192.168.200.200:5672/ openstack-config --set /etc/nova/nova.conf api_database connection mysql+pymysql://nova:000000@192.168.200.200/nova_api openstack-config --set /etc/nova/nova.conf database connection mysql+pymysql://nova:000000@192.168.200.200/nova openstack-config --set /etc/nova/nova.conf placement_database connection mysql+pymysql://placement:000000@192.168.200.200/placement openstack-config --set /etc/nova/nova.conf api auth_strategy keystone \openstack-config --set /etc/nova/nova.conf keystone_authtoken auth_url http://192.168.200.200:5000/ openstack-config --set /etc/nova/nova.conf keystone_authtoken www_authenticate_uri http://192.168.200.200:5000/ openstack-config --set /etc/nova/nova.conf keystone_authtoken memcached_servers 192.168.200.200:11211 openstack-config --set /etc/nova/nova.conf keystone_authtoken auth_type password openstack-config --set /etc/nova/nova.conf keystone_authtoken project_domain_name Default openstack-config --set /etc/nova/nova.conf keystone_authtoken user_domain_name Default openstack-config --set /etc/nova/nova.conf keystone_authtoken project_name services openstack-config --set /etc/nova/nova.conf keystone_authtoken username nova openstack-config --set /etc/nova/nova.conf keystone_authtoken password 000000 openstack-config --set /etc/nova/nova.conf vnc enabled true openstack-config --set /etc/nova/nova.conf vnc server_listen 0.0.0.0 openstack-config --set /etc/nova/nova.conf vnc server_proxyclient_address '$my_ip' openstack-config --set /etc/nova/nova.conf glance api_servers http://192.168.200.200:9292/ openstack-config --set /etc/nova/nova.conf oslo_concurrency lock_path /var/lib/nova/tmp openstack-config --set /etc/nova/nova.conf placement region_name RegionOne openstack-config --set /etc/nova/nova.conf placement project_domain_name Default openstack-config --set /etc/nova/nova.conf placement project_name services openstack-config --set /etc/nova/nova.conf placement auth_type password openstack-config --set /etc/nova/nova.conf placement user_domain_name Default openstack-config --set /etc/nova/nova.conf placement auth_url http://192.168.200.200:5000/ openstack-config --set /etc/nova/nova.conf placement username placement openstack-config --set /etc/nova/nova.conf placement password 000000 openstack-config --set /etc/nova/nova.conf scheduler discover_hosts_in_cells_interval 300su -s /bin/sh -c "nova-manage api_db sync" nova su -s /bin/sh -c "nova-manage cell_v2 map_cell0" su -s /bin/sh -c "nova-manage cell_v2 create_cell --name=cell1 --verbose" nova su -s /bin/sh -c "nova-manage db sync"systemctl enable openstack-nova-api.service openstack-nova-scheduler.service openstack-nova-conductor.service openstack-nova-novncproxy.service systemctl start openstack-nova-api.service openstack-nova-scheduler.service openstack-nova-conductor.service openstack-nova-novncproxy.service

nova_compute

yum install openstack-nova-compute -yopenstack-config --set /etc/nova/nova.conf DEFAULT enabled_apis osapi_compute,metadata openstack-config --set /etc/nova/nova.conf DEFAULT my_ip 192.168.200.200 openstack-config --set /etc/nova/nova.conf DEFAULT use_neutron true openstack-config --set /etc/nova/nova.conf DEFAULT firewall_driver nova.virt.firewall.NoopFirewallDriver openstack-config --set /etc/nova/nova.conf DEFAULT transport_url rabbit://openstack:000000@192.168.200.200:5672/ openstack-config --set /etc/nova/nova.conf DEFAULT allow_resize_to_same_host True openstack-config --set /etc/nova/nova.conf DEFAULT force_raw_images True openstack-config --set /etc/nova/nova.conf DEFAULT volume_api_class nova.volume.cinder.API openstack-config --set /etc/nova/nova.conf api auth_strategy keystone openstack-config --set /etc/nova/nova.conf keystone_authtoken auth_url http://192.168.200.200:5000/ openstack-config --set /etc/nova/nova.conf keystone_authtoken memcached_servers 192.168.200.200:11211 openstack-config --set /etc/nova/nova.conf keystone_authtoken auth_type password openstack-config --set /etc/nova/nova.conf keystone_authtoken project_domain_name Default openstack-config --set /etc/nova/nova.conf keystone_authtoken user_domain_name Default openstack-config --set /etc/nova/nova.conf keystone_authtoken project_name services openstack-config --set /etc/nova/nova.conf keystone_authtoken username nova openstack-config --set /etc/nova/nova.conf keystone_authtoken password 000000 openstack-config --set /etc/nova/nova.conf vnc enabled true openstack-config --set /etc/nova/nova.conf vnc server_listen 0.0.0.0 openstack-config --set /etc/nova/nova.conf vnc server_proxyclient_address '$my_ip' openstack-config --set /etc/nova/nova.conf vnc novncproxy_base_url http://192.168.200.200:6080/vnc_auto.html openstack-config --set /etc/nova/nova.conf glance api_servers http://192.168.200.200:9292/ openstack-config --set /etc/nova/nova.conf oslo_concurrency lock_path /var/lib/nova/tmp openstack-config --set /etc/nova/nova.conf placement region_name RegionOne openstack-config --set /etc/nova/nova.conf placement project_domain_name Default openstack-config --set /etc/nova/nova.conf placement project_name services openstack-config --set /etc/nova/nova.conf placement auth_type password openstack-config --set /etc/nova/nova.conf placement user_domain_name Default openstack-config --set /etc/nova/nova.conf placement auth_url http://192.168.200.200:5000/ openstack-config --set /etc/nova/nova.conf placement username placement openstack-config --set /etc/nova/nova.conf placement password 000000 openstack-config --set /etc/nova/nova.conf libvirt virt_type kvm openstack-config --set /etc/nova/nova.conf libvirt live_migration_scheme ssh openstack-config --set /etc/nova/nova.conf libvirt live_migration_inbound_addr 192.168.200.200ceph osd pool create vms 64 64 ceph osd pool application enable vms rbd ceph osd pool set vms size 1 ceph auth get-or-create client.nova mon 'allow r' osd "allow rwx pool=volumes, allow rwx pool=vms, allow rwx pool=images" -o /etc/ceph/ceph.client.nova.keyring chgrp glance /etc/ceph/ceph.client.nova.keyring sed -i "$ a client.nova" /etc/ceph/ceph.conf sed -i "$ a keyring = /etc/ceph/ceph.client.nova.keyring" /etc/ceph/ceph.confcat >> /etc/ceph/secret-client.nova.xml <<EOF <secret ephemeral='no' private='no'> <uuid>$(cat /etc/ceph/uuid-client.nova)</uuid> <usage type='ceph'> <name>client.nova secret</name> </usage> </secret> EOF virsh secret-define --file /etc/ceph/secret-client.nova.xml ceph auth get-key client.nova -o /etc/ceph/client.nova.key virsh secret-set-value --secret $(cat /etc/ceph/uuid-client.nova) --base64 $(cat /etc/ceph/client.nova.key)openstack-config --set /etc/nova/nova.conf DEFAULT force_raw_images True openstack-config --set /etc/nova/nova.conf libvirt disk_cachemodes "\"network=writeback\"" openstack-config --set /etc/nova/nova.conf libvirt images_type rbd openstack-config --set /etc/nova/nova.conf libvirt images_rbd_pool vms openstack-config --set /etc/nova/nova.conf libvirt images_rbd_ceph_conf /etc/ceph/ceph.conf openstack-config --set /etc/nova/nova.conf libvirt rbd_user nova openstack-config --set /etc/nova/nova.conf libvirt rbd_secret_uuid $(cat /etc/ceph/uuid-client.nova)systemctl enable libvirtd.service openstack-nova-compute.service systemctl start libvirtd.service openstack-nova-compute.service

neutron_controller

yum install openstack-neutron openstack-neutron-ml2 ebtables -ymysql -uroot -e "CREATE DATABASE neutron;GRANT ALL PRIVILEGES ON neutron.* TO 'neutron'@'localhost' IDENTIFIED BY '000000';GRANT ALL PRIVILEGES ON neutron.* TO 'neutron'@'%' IDENTIFIED BY '000000';"openstack user create --domain default --password 000000 neutron openstack role add --project service --user neutron adminopenstack service create --name neutron --description "OpenStack Networking" networkopenstack endpoint create --region RegionOne network public http://192.168.200.200:9696 openstack endpoint create --region RegionOne network internal http://192.168.200.200:9696 openstack endpoint create --region RegionOne network admin http://192.168.200.200:9696cp -a /etc/neutron/neutron.conf{,.bak} grep -Ev '^$|#' /etc/neutron/neutron.conf.bak > /etc/neutron/neutron.conf openstack-config --set /etc/neutron/neutron.conf database connection mysql+pymysql://neutron:000000@192.168.200.200/neutron openstack-config --set /etc/neutron/neutron.conf DEFAULT core_plugin ml2 openstack-config --set /etc/neutron/neutron.conf DEFAULT auth_strategy keystone openstack-config --set /etc/neutron/neutron.conf DEFAULT service_plugins router openstack-config --set /etc/neutron/neutron.conf DEFAULT transport_url rabbit://openstack:000000@192.168.200.200:5672/ openstack-config --set /etc/neutron/neutron.conf DEFAULT notify_nova_on_port_status_changes true openstack-config --set /etc/neutron/neutron.conf DEFAULT notify_nova_on_port_data_changes true openstack-config --set /etc/neutron/neutron.conf DEFAULT allow_overlapping_ips true openstack-config --set /etc/neutron/neutron.conf DEFAULT my_ip 192.168.200.200 openstack-config --set /etc/neutron/neutron.conf keystone_authtoken auth_url http://192.168.200.200:5000/ openstack-config --set /etc/neutron/neutron.conf keystone_authtoken www_authenticate_uri http://192.168.200.200:5000/ openstack-config --set /etc/neutron/neutron.conf keystone_authtoken memcached_servers 192.168.200.200:11211 openstack-config --set /etc/neutron/neutron.conf keystone_authtoken auth_type password openstack-config --set /etc/neutron/neutron.conf keystone_authtoken project_domain_name Default openstack-config --set /etc/neutron/neutron.conf keystone_authtoken user_domain_name Default openstack-config --set /etc/neutron/neutron.conf keystone_authtoken project_name services openstack-config --set /etc/neutron/neutron.conf keystone_authtoken username neutron openstack-config --set /etc/neutron/neutron.conf keystone_authtoken password 000000 openstack-config --set /etc/neutron/neutron.conf vnc enabled true openstack-config --set /etc/neutron/neutron.conf vnc server_listen 0.0.0.0 openstack-config --set /etc/neutron/neutron.conf vnc server_proxyclient_address '$my_ip' openstack-config --set /etc/neutron/neutron.conf nova auth_url http://192.168.200.200:5000/ openstack-config --set /etc/neutron/neutron.conf nova auth_type password openstack-config --set /etc/neutron/neutron.conf nova project_domain_name Default openstack-config --set /etc/neutron/neutron.conf nova user_domain_name Default openstack-config --set /etc/neutron/neutron.conf nova region_name RegionOne openstack-config --set /etc/neutron/neutron.conf nova project_name services openstack-config --set /etc/neutron/neutron.conf nova username neutron openstack-config --set /etc/neutron/neutron.conf nova password 000000 openstack-config --set /etc/neutron/neutron.conf oslo_concurrency lock_path /var/lib/neutron/tmpopenstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini ml2 type_drivers flat,vxlan openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini ml2 tenant_network_types flat,vxlan openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini ml2 mechanism_drivers openvswitch,l2population openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini ml2 extension_drivers port_security openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini ml2_type_flat flat_networks extnet openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini ml2_type_vxlan vni_ranges 1:1000 openstack-config --set /etc/neutron/plugins/ml2/ml2_conf.ini securitygroup enable_ipset trueopenstack-config --set /etc/nova/nova.conf neutron url http://192.168.200.200:9696 openstack-config --set /etc/nova/nova.conf neutron auth_url http://192.168.200.200:5000/v3/ openstack-config --set /etc/nova/nova.conf neutron memcached_servers 192.168.200.200:11211 openstack-config --set /etc/nova/nova.conf neutron auth_type v3password openstack-config --set /etc/nova/nova.conf neutron project_domain_name Default openstack-config --set /etc/nova/nova.conf neutron user_domain_name Default openstack-config --set /etc/nova/nova.conf neutron region_name RegionOne openstack-config --set /etc/nova/nova.conf neutron project_name services openstack-config --set /etc/nova/nova.conf neutron username neutron openstack-config --set /etc/nova/nova.conf neutron password 000000 openstack-config --set /etc/nova/nova.conf neutron service_metadata_proxy true openstack-config --set /etc/nova/nova.conf neutron metadata_proxy_shared_secret 000000ln -s /etc/neutron/plugins/ml2/ml2_conf.ini /etc/neutron/plugin.inisu -s /bin/sh -c "neutron-db-manage --config-file /etc/neutron/neutron.conf --config-file /etc/neutron/plugins/ml2/ml2_conf.ini upgrade head" neutronsystemctl enable neutron-server.service systemctl start neutron-server.service

neutron_network

yum install openstack-neutron openstack-neutron-ml2 openstack-neutron-openvswitch ebtables -yopenstack-config --set /etc/neutron/neutron.conf DEFAULT auth_strategy keystone openstack-config --set /etc/neutron/neutron.conf DEFAULT transport_url rabbit://openstack:000000@192.168.200.200:5672/ openstack-config --set /etc/neutron/neutron.conf keystone_authtoken auth_url http://192.168.200.200:5000/v3/ openstack-config --set /etc/neutron/neutron.conf keystone_authtoken www_authenticate_uri http://192.168.200.200:5000/v3/ openstack-config --set /etc/neutron/neutron.conf keystone_authtoken memcached_servers 192.168.200.200:11211 openstack-config --set /etc/neutron/neutron.conf keystone_authtoken auth_type password openstack-config --set /etc/neutron/neutron.conf keystone_authtoken project_domain_name Default openstack-config --set /etc/neutron/neutron.conf keystone_authtoken user_domain_name Default openstack-config --set /etc/neutron/neutron.conf keystone_authtoken project_name services openstack-config --set /etc/neutron/neutron.conf keystone_authtoken username neutron openstack-config --set /etc/neutron/neutron.conf keystone_authtoken password 000000 openstack-config --set /etc/neutron/neutron.conf oslo_concurrency lock_path /var/lib/neutron/tmp openstack-config --set /etc/neutron/dhcp_agent.ini DEFAULT dhcp_driver neutron.agent.linux.dhcp.Dnsmasq openstack-config --set /etc/neutron/dhcp_agent.ini DEFAULT enable_isolated_metadata true openstack-config --set /etc/neutron/dhcp_agent.ini DEFAULT interface_driver openvswitch openstack-config --set /etc/neutron/dhcp_agent.ini DEFAULT force_metadata trueopenstack-config --set /etc/neutron/metadata_agent.ini DEFAULT nova_metadata_host 192.168.200.200 openstack-config --set /etc/neutron/metadata_agent.ini DEFAULT metadata_proxy_shared_secret 000000openstack-config --set /etc/neutron/l3_agent.ini DEFAULT interface_driver openvswitchsystemctl enable neutron-openvswitch-agent.service neutron-dhcp-agent.service neutron-metadata-agent.service neutron-l3-agent.service systemctl start neutron-openvswitch-agent.service neutron-dhcp-agent.service neutron-metadata-agent.service neutron-l3-agent.service

neutron_compute

yum install neutron-openvswitch-agent.service neutron-dhcp-agent.service neutron-metadata-agent.service neutron-l3-agent.service -yopenstack-config --set /etc/neutron/neutron.conf DEFAULT auth_strategy keystone openstack-config --set /etc/neutron/neutron.conf DEFAULT transport_url rabbit://openstack:000000@192.168.200.200:5672/ openstack-config --set /etc/neutron/neutron.conf DEFAULT allow_resize_to_same_host True openstack-config --set /etc/neutron/neutron.conf DEFAULT allow_migrate_to_same_hostTrue openstack-config --set /etc/neutron/neutron.conf keystone_authtoken auth_url http://192.168.200.200:5000/ openstack-config --set /etc/neutron/neutron.conf keystone_authtoken www_authenticate_uri http://192.168.200.200:5000/ openstack-config --set /etc/neutron/neutron.conf keystone_authtoken memcached_servers 192.168.200.200:11211 openstack-config --set /etc/neutron/neutron.conf keystone_authtoken auth_type password openstack-config --set /etc/neutron/neutron.conf keystone_authtoken project_domain_name Default openstack-config --set /etc/neutron/neutron.conf keystone_authtoken user_domain_name Default openstack-config --set /etc/neutron/neutron.conf keystone_authtoken project_name services openstack-config --set /etc/neutron/neutron.conf keystone_authtoken username neutron openstack-config --set /etc/neutron/neutron.conf keystone_authtoken password 000000 openstack-config --set /etc/neutron/neutron.conf oslo_concurrency lock_path /var/lib/neutron/tmp openstack-config --set /etc/neutron/plugins/ml2/openvswitch_agent.ini linux_openvswitch physical_interface_mappings extnet:ens33 openstack-config --set /etc/neutron/plugins/ml2/openvswitch_agent.ini agent tunnel_types vxlan openstack-config --set /etc/neutron/plugins/ml2/openvswitch_agent.ini agent l2_population true openstack-config --set /etc/neutron/plugins/ml2/openvswitch_agent.ini ovs bridge_mappings extnet:br-ex openstack-config --set /etc/neutron/plugins/ml2/openvswitch_agent.ini ovs local_ip 192.168.200.200 openstack-config --set /etc/neutron/plugins/ml2/openvswitch_agent.ini securitygroup enable_security_group true openstack-config --set /etc/neutron/plugins/ml2/openvswitch_agent.ini securitygroup firewall_driver iptables_hybridopenstack-config --set /etc/nova/nova.conf neutron auth_url http://192.168.200.200:5000/v3/ openstack-config --set /etc/nova/nova.conf neutron auth_type v3password openstack-config --set /etc/nova/nova.conf neutron project_domain_name Default openstack-config --set /etc/nova/nova.conf neutron user_domain_name Default openstack-config --set /etc/nova/nova.conf neutron region_name RegionOne openstack-config --set /etc/nova/nova.conf neutron project_name services openstack-config --set /etc/nova/nova.conf neutron username neutron openstack-config --set /etc/nova/nova.conf neutron password 000000systemctl enable neutron-openvswitch-agent.service systemctl start neutron-openvswitch-agent.serviceovs-vsctl add-br br-ex ovs-vsctl add-port br-ex ens33 echo "TYPE=Ethernet" >> /etc/sysconfig/network-scripts/ifcfg-ens33 echo "BOOTPROTO=none" >> /etc/sysconfig/network-scripts/ifcfg-ens33 echo "NAME=ens33" >> /etc/sysconfig/network-scripts/ifcfg-ens33 echo "DEVICE=ens33" >> /etc/sysconfig/network-scripts/ifcfg-ens33 echo "ONBOOT=yes" >> /etc/sysconfig/network-scripts/ifcfg-ens33rm -f /etc/sysconfig/network-scripts/ifcfg-br-ex echo "TYPE=Ethernet" >> /etc/sysconfig/network-scripts/ifcfg-br-ex echo "BOOTPROTO=none" >> /etc/sysconfig/network-scripts/ifcfg-br-ex echo "NAME=br-ex" >> /etc/sysconfig/network-scripts/ifcfg-br-ex echo "DEVICE=br-ex" >> /etc/sysconfig/network-scripts/ifcfg-br-ex echo "IPADDR=192.168.100.100" >> /etc/sysconfig/network-scripts/ifcfg-br-ex echo "PREFIX=24" >> /etc/sysconfig/network-scripts/ifcfg-br-ex echo "GATEWAY=192.168.100.2" >> /etc/sysconfig/network-scripts/ifcfg-br-ex echo "DEFROUTE=yes" >> /etc/sysconfig/network-scripts/ifcfg-br-ex echo "ONBOOT=yes" >> /etc/sysconfig/network-scripts/ifcfg-br-ex service network restart

horizon

yum install openstack-dashboard -yrm -f /etc/openstack-dashboard/local_settingsopenssl rand -hex 10 52141c41dc456eadb871echo >> /etc/openstack-dashboard/local_settings <<- EOF # -*- coding: utf-8 -*-import os from django.utils.translation import ugettext_lazy as _ from openstack_dashboard.settings import HORIZON_CONFIG DEBUG = False ALLOWED_HOSTS = ['*'] LOCAL_PATH = '/tmp' SECRET_KEY='52141c41dc456eadb871' SESSION_ENGINE = 'django.contrib.sessions.backends.cache' CACHES = {'default': {'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache','LOCATION': 'controller:11211',} } EMAIL_BACKEND = 'django.core.mail.backends.console.EmailBackend' OPENSTACK_HOST = "controller" OPENSTACK_KEYSTONE_URL = "http://%s:5000/v3" % OPENSTACK_HOST OPENSTACK_KEYSTONE_MULTIDOMAIN_SUPPORT = True OPENSTACK_API_VERSIONS = {"identity": 3,"image": 2,"volume": 3, } OPENSTACK_KEYSTONE_DEFAULT_DOMAIN = "Default" OPENSTACK_KEYSTONE_DEFAULT_ROLE = "user" OPENSTACK_NEUTRON_NETWORK = {'enable_auto_allocated_network': False,'enable_distributed_router': False,'enable_fip_topology_check': False,'enable_ha_router': False,'enable_lb': False,'enable_firewall': False,'enable_vpn': False,'enable_ipv6': False,'enable_quotas': False,'enable_rbac_policy': False,'enable_router': True,'default_dns_nameservers': [],'supported_provider_types': ['*'],'segmentation_id_range': {},'extra_provider_types': {},'supported_vnic_types': ['*'],'physical_networks': [], } TIME_ZONE = "Asia/Shanghai" LOGGING = {'version': 1,'disable_existing_loggers': False,'formatters': {'console': {'format': '%(levelname)s %(name)s %(message)s'},'operation': {'format': '%(message)s'},},'handlers': {'null': {'level': 'DEBUG','class': 'logging.NullHandler',},'console': {'level': 'DEBUG' if DEBUG else 'INFO','class': 'logging.StreamHandler','formatter': 'console',},'operation': {'level': 'INFO','class': 'logging.StreamHandler','formatter': 'operation',},},'loggers': {'horizon': {'handlers': ['console'],'level': 'DEBUG','propagate': False,},'horizon.operation_log': {'handlers': ['operation'],'level': 'INFO','propagate': False,},'openstack_dashboard': {'handlers': ['console'],'level': 'DEBUG','propagate': False,},'novaclient': {'handlers': ['console'],'level': 'DEBUG','propagate': False,},'cinderclient': {'handlers': ['console'],'level': 'DEBUG','propagate': False,},'keystoneauth': {'handlers': ['console'],'level': 'DEBUG','propagate': False,},'keystoneclient': {'handlers': ['console'],'level': 'DEBUG','propagate': False,},'glanceclient': {'handlers': ['console'],'level': 'DEBUG','propagate': False,},'neutronclient': {'handlers': ['console'],'level': 'DEBUG','propagate': False,},'swiftclient': {'handlers': ['console'],'level': 'DEBUG','propagate': False,},'oslo_policy': {'handlers': ['console'],'level': 'DEBUG','propagate': False,},'openstack_auth': {'handlers': ['console'],'level': 'DEBUG','propagate': False,},'django': {'handlers': ['console'],'level': 'DEBUG','propagate': False,},'django.db.backends': {'handlers': ['null'],'propagate': False,},'requests': {'handlers': ['null'],'propagate': False,},'urllib3': {'handlers': ['null'],'propagate': False,},'chardet.charsetprober': {'handlers': ['null'],'propagate': False,},'iso8601': {'handlers': ['null'],'propagate': False,},'scss': {'handlers': ['null'],'propagate': False,},}, } SECURITY_GROUP_RULES = {'all_tcp': {'name': _('All TCP'),'ip_protocol': 'tcp','from_port': '1','to_port': '65535',},'all_udp': {'name': _('All UDP'),'ip_protocol': 'udp','from_port': '1','to_port': '65535',},'all_icmp': {'name': _('All ICMP'),'ip_protocol': 'icmp','from_port': '-1','to_port': '-1',},'ssh': {'name': 'SSH','ip_protocol': 'tcp','from_port': '22','to_port': '22',},'smtp': {'name': 'SMTP','ip_protocol': 'tcp','from_port': '25','to_port': '25',},'dns': {'name': 'DNS','ip_protocol': 'tcp','from_port': '53','to_port': '53',},'http': {'name': 'HTTP','ip_protocol': 'tcp','from_port': '80','to_port': '80',},'pop3': {'name': 'POP3','ip_protocol': 'tcp','from_port': '110','to_port': '110',},'imap': {'name': 'IMAP','ip_protocol': 'tcp','from_port': '143','to_port': '143',},'ldap': {'name': 'LDAP','ip_protocol': 'tcp','from_port': '389','to_port': '389',},'https': {'name': 'HTTPS','ip_protocol': 'tcp','from_port': '443','to_port': '443',},'smtps': {'name': 'SMTPS','ip_protocol': 'tcp','from_port': '465','to_port': '465',},'imaps': {'name': 'IMAPS','ip_protocol': 'tcp','from_port': '993','to_port': '993',},'pop3s': {'name': 'POP3S','ip_protocol': 'tcp','from_port': '995','to_port': '995',},'ms_sql': {'name': 'MS SQL','ip_protocol': 'tcp','from_port': '1433','to_port': '1433',},'mysql': {'name': 'MYSQL','ip_protocol': 'tcp','from_port': '3306','to_port': '3306',},'rdp': {'name': 'RDP','ip_protocol': 'tcp','from_port': '3389','to_port': '3389',}, } EOFpython /usr/share/openstack-dashboard/manage.py make_web_conf --apache > /etc/httpd/conf.d/openstack-dashboard.confln -s /etc/openstack-dashboard /usr/share/openstack-dashboard/openstack_dashboard/confchown -R apache:apache /usr/share/openstack-dashboard/systemctl restart httpd.service memcached.service

cinder_controller

yum install openstack-cinder -ymysql -uroot -e "CREATE DATABASE cinder;GRANT ALL PRIVILEGES ON cinder.* TO 'cinder'@'localhost' IDENTIFIED BY '000000';GRANT ALL PRIVILEGES ON cinder.* TO 'cinder'@'%' IDENTIFIED BY '000000';"openstack user create --domain default --password 000000 cinder openstack role add --project service --user cinder adminopenstack service create --name cinderv2 --description "OpenStack Block Storage" volumev2 openstack service create --name cinderv3 --description "OpenStack Block Storage" volumev3openstack endpoint create --region RegionOne volumev2 public http://192.168.200.200:8776/v2/%\(project_id\)s openstack endpoint create --region RegionOne volumev2 internal http://192.168.200.200:8776/v2/%\(project_id\)s openstack endpoint create --region RegionOne volumev2 admin http://192.168.200.200:8776/v2/%\(project_id\)s openstack endpoint create --region RegionOne volumev3 public http://192.168.200.200:8776/v3/%\(project_id\)s openstack endpoint create --region RegionOne volumev3 internal http://192.168.200.200:8776/v3/%\(project_id\)s openstack endpoint create --region RegionOne volumev3 admin http://192.168.200.200:8776/v3/%\(project_id\)scp -a /etc/cinder/cinder.conf{,.bak} grep -Ev '^$|#' /etc/cinder/cinder.conf.bak > /etc/cinder/cinder.conf openstack-config --set /etc/cinder/cinder.conf database connection mysql+pymysql://cinder:000000@192.168.200.200/cinder openstack-config --set /etc/cinder/cinder.conf DEFAULT transport_url rabbit://openstack:000000@192.168.200.200:5672/ openstack-config --set /etc/cinder/cinder.conf DEFAULT auth_strategy keystone openstack-config --set /etc/cinder/cinder.conf DEFAULT storage_availability_zone nova openstack-config --set /etc/cinder/cinder.conf DEFAULT default_availability_zone nova openstack-config --set /etc/cinder/cinder.conf DEFAULT enable_v3_api True openstack-config --set /etc/cinder/cinder.conf DEFAULT my_ip 192.168.200.200 openstack-config --set /etc/cinder/cinder.conf keystone_authtoken www_authenticate_uri http://192.168.200.200:5000/v3/ openstack-config --set /etc/cinder/cinder.conf keystone_authtoken auth_url http://192.168.200.200:5000/v3/ openstack-config --set /etc/cinder/cinder.conf keystone_authtoken memcached_servers 192.168.200.200:11211 openstack-config --set /etc/cinder/cinder.conf keystone_authtoken auth_type password openstack-config --set /etc/cinder/cinder.conf keystone_authtoken project_domain_name Default openstack-config --set /etc/cinder/cinder.conf keystone_authtoken user_domain_name Default openstack-config --set /etc/cinder/cinder.conf keystone_authtoken project_name services openstack-config --set /etc/cinder/cinder.conf keystone_authtoken username cinder openstack-config --set /etc/cinder/cinder.conf keystone_authtoken password 000000 openstack-config --set /etc/cinder/cinder.conf oslo_concurrency lock_path /var/lib/cinder/tmpopenstack-config --set /etc/nova/nova.conf cinder os_region_name RegionOnesu -s /bin/sh -c "cinder-manage db sync" cindersystemctl enable openstack-nova-api.service openstack-cinder-api.service openstack-cinder-scheduler.service systemctl start openstack-cinder-api.service openstack-cinder-scheduler.service

cinder_storage

openstack-config --set /etc/cinder/cinder.conf database connection mysql+pymysql://cinder:000000@192.168.200.200/cinder openstack-config --set /etc/cinder/cinder.conf DEFAULT auth_strategy keystone openstack-config --set /etc/cinder/cinder.conf DEFAULT my_ip 192.168.200.200 openstack-config --set /etc/cinder/cinder.conf DEFAULT transport_url rabbit://openstack:000000@192.168.200.200:5672/ openstack-config --set /etc/cinder/cinder.conf keystone_authtoken www_authenticate_uri http://192.168.200.200:5000/v3/ openstack-config --set /etc/cinder/cinder.conf keystone_authtoken auth_url http://192.168.200.200:5000/v3/ openstack-config --set /etc/cinder/cinder.conf keystone_authtoken memcached_servers 192.168.200.200:11211 openstack-config --set /etc/cinder/cinder.conf keystone_authtoken auth_type password openstack-config --set /etc/cinder/cinder.conf keystone_authtoken project_domain_name Default openstack-config --set /etc/cinder/cinder.conf keystone_authtoken user_domain_name Default openstack-config --set /etc/cinder/cinder.conf keystone_authtoken project_name services openstack-config --set /etc/cinder/cinder.conf keystone_authtoken username cinder openstack-config --set /etc/cinder/cinder.conf keystone_authtoken password 000000 openstack-config --set /etc/cinder/cinder.conf oslo_concurrency lock_path /var/lib/cinder/tmpceph osd pool create cinder 64 64 ceph osd pool application enable cinder rbd ceph osd pool set cinder size 1 ceph auth get-or-create client.nova mon 'allow r' osd "volumes" "client.cinder" "allow rwx pool=images, allow rwx pool=volumes" -o /etc/ceph/ceph.client.cinder.keyring chgrp glance /etc/ceph/ceph.client.cinder.keyring sed -i "$ a client.cinder" /etc/ceph/cinder.conf sed -i "$ a keyring = /etc/ceph/ceph.client.cinder.keyring" /etc/ceph/ceph.confcat >> /etc/ceph/secret-client.cinder.xml <<EOF <secret ephemeral='no' private='no'> <uuid>$(cat /etc/ceph/uuid-client.cinder)</uuid> <usage type='ceph'> <name>client.cinder secret</name> </usage> </secret> EOF virsh secret-define --file /etc/ceph/secret-client.cinder.xml ceph auth get-key client.cinder -o /etc/ceph/client.cinder.key virsh secret-set-value --secret $(cat /etc/ceph/uuid-client.cinder) --base64 $(cat /etc/ceph/client.cinder.key)openstack-config --set /etc/cinder/cinder.conf DEFAULT enabled_backends ceph openstack-config --set /etc/cinder/cinder.conf DEFAULT default_volume_type ceph openstack-config --set /etc/cinder/cinder.conf DEFAULT glance_api_servers http://192.168.200.200:9292 openstack-config --set /etc/cinder/cinder.conf ceph volume_driver cinder.volume.drivers.rbd.RBDDriver openstack-config --set /etc/cinder/cinder.conf ceph volume_backend_name ceph openstack-config --set /etc/cinder/cinder.conf ceph rbd_pool volumes openstack-config --set /etc/cinder/cinder.conf ceph rbd_ceph_conf /etc/ceph/ceph.conf openstack-config --set /etc/cinder/cinder.conf ceph rbd_flatten_volume_from_snapshot false openstack-config --set /etc/cinder/cinder.conf ceph rbd_max_clone_depth 5 openstack-config --set /etc/cinder/cinder.conf ceph rbd_store_chunk_size 4 openstack-config --set /etc/cinder/cinder.conf ceph rados_connect_timeout -1 openstack-config --set /etc/cinder/cinder.conf ceph glance_api_version 2 openstack-config --set /etc/cinder/cinder.conf ceph rbd_user cinder openstack-config --set /etc/cinder/cinder.conf ceph rbd_secret_uuid $(cat /etc/ceph/uuid-client.cinder)cinder type-create ceph cinder type-key ceph set volume_backend_name=cephsystemctl start openstack-cinder-volume.service systemctl enable openstack-cinder-volume.service

compute節(jié)點(diǎn)

ceph安裝

  • yum源
[Ceph] name=Ceph packages for $basearch baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/$basearch enabled=1 gpgcheck=0 type=rpm-md gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc priority=1 [Ceph-noarch] name=Ceph noarch packages baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/noarch enabled=1 gpgcheck=0 type=rpm-md gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc priority=1 [ceph-source] name=Ceph source packages baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/SRPMS enabled=1 gpgcheck=0 type=rpm-md gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc priority=1
  • 開始安裝
計(jì)算節(jié)點(diǎn): yum install -y ceph 控制節(jié)點(diǎn): cd ./cluster echo "public_network = 192.168.200.0/24" >> ceph.conf ceph-deploy osd create --data /dev/sda4 compute ceph-deploy admin compute

yum源

yum install centos-release-openstack-train -y yum install openstack-utils -y yum install python-openstackclient -y

nova_compute

yum install openstack-nova-compute -yopenstack-config --set /etc/nova/nova.conf DEFAULT enabled_apis osapi_compute,metadata openstack-config --set /etc/nova/nova.conf DEFAULT my_ip 192.168.200.201 openstack-config --set /etc/nova/nova.conf DEFAULT use_neutron true openstack-config --set /etc/nova/nova.conf DEFAULT firewall_driver nova.virt.firewall.NoopFirewallDriver openstack-config --set /etc/nova/nova.conf DEFAULT transport_url rabbit://openstack:000000@192.168.200.200:5672/ openstack-config --set /etc/nova/nova.conf DEFAULT allow_resize_to_same_host True openstack-config --set /etc/nova/nova.conf DEFAULT force_raw_images True openstack-config --set /etc/nova/nova.conf DEFAULT volume_api_class nova.volume.cinder.API openstack-config --set /etc/nova/nova.conf api auth_strategy keystone openstack-config --set /etc/nova/nova.conf keystone_authtoken auth_url http://192.168.200.200:5000/ openstack-config --set /etc/nova/nova.conf keystone_authtoken memcached_servers 192.168.200.200:11211 openstack-config --set /etc/nova/nova.conf keystone_authtoken auth_type password openstack-config --set /etc/nova/nova.conf keystone_authtoken project_domain_name Default openstack-config --set /etc/nova/nova.conf keystone_authtoken user_domain_name Default openstack-config --set /etc/nova/nova.conf keystone_authtoken project_name services openstack-config --set /etc/nova/nova.conf keystone_authtoken username nova openstack-config --set /etc/nova/nova.conf keystone_authtoken password 000000 openstack-config --set /etc/nova/nova.conf vnc enabled true openstack-config --set /etc/nova/nova.conf vnc server_listen 0.0.0.0 openstack-config --set /etc/nova/nova.conf vnc server_proxyclient_address '$my_ip' openstack-config --set /etc/nova/nova.conf vnc novncproxy_base_url http://192.168.200.200:6080/vnc_auto.html openstack-config --set /etc/nova/nova.conf glance api_servers http://192.168.200.200:9292/ openstack-config --set /etc/nova/nova.conf oslo_concurrency lock_path /var/lib/nova/tmp openstack-config --set /etc/nova/nova.conf placement region_name RegionOne openstack-config --set /etc/nova/nova.conf placement project_domain_name Default openstack-config --set /etc/nova/nova.conf placement project_name services openstack-config --set /etc/nova/nova.conf placement auth_type password openstack-config --set /etc/nova/nova.conf placement user_domain_name Default openstack-config --set /etc/nova/nova.conf placement auth_url http://192.168.200.200:5000/ openstack-config --set /etc/nova/nova.conf placement username placement openstack-config --set /etc/nova/nova.conf placement password 000000 openstack-config --set /etc/nova/nova.conf libvirt virt_type kvm openstack-config --set /etc/nova/nova.conf libvirt live_migration_scheme ssh openstack-config --set /etc/nova/nova.conf libvirt live_migration_inbound_addr 192.168.200.201scp root@controller:/etc/ceph/ceph.client.nova.keyring /etc/ceph/ scp root@controller:/etc/ceph/uuid-client.nova /etc/ceph/ scp root@controller:/etc/ceph/client.nova.key /etc/ceph/ virsh secret-define --file /etc/ceph/secret-client.nova.xml virsh secret-set-value --secret $(cat /etc/ceph/uuid-client.nova) --base64 $(cat /etc/ceph/client.nova.key)openstack-config --set /etc/nova/nova.conf DEFAULT force_raw_images True openstack-config --set /etc/nova/nova.conf libvirt disk_cachemodes "\"network=writeback\"" openstack-config --set /etc/nova/nova.conf libvirt images_type rbd openstack-config --set /etc/nova/nova.conf libvirt images_rbd_pool vms openstack-config --set /etc/nova/nova.conf libvirt images_rbd_ceph_conf /etc/ceph/ceph.conf openstack-config --set /etc/nova/nova.conf libvirt rbd_user nova openstack-config --set /etc/nova/nova.conf libvirt rbd_secret_uuid $(cat /etc/ceph/uuid-client.nova)chgrp glance /etc/ceph/ceph.client.nova.keyringsystemctl enable libvirtd.service openstack-nova-compute.service systemctl start libvirtd.service openstack-nova-compute.service

neutron_compute

yum install neutron-openvswitch-agent.service neutron-dhcp-agent.service neutron-metadata-agent.service neutron-l3-agent.service -yopenstack-config --set /etc/neutron/neutron.conf DEFAULT auth_strategy keystone openstack-config --set /etc/neutron/neutron.conf DEFAULT transport_url rabbit://openstack:000000@192.168.200.200:5672/ openstack-config --set /etc/neutron/neutron.conf DEFAULT allow_resize_to_same_host True openstack-config --set /etc/neutron/neutron.conf DEFAULT allow_migrate_to_same_hostTrue openstack-config --set /etc/neutron/neutron.conf keystone_authtoken auth_url http://192.168.200.200:5000/ openstack-config --set /etc/neutron/neutron.conf keystone_authtoken www_authenticate_uri http://192.168.200.200:5000/ openstack-config --set /etc/neutron/neutron.conf keystone_authtoken memcached_servers 192.168.200.200:11211 openstack-config --set /etc/neutron/neutron.conf keystone_authtoken auth_type password openstack-config --set /etc/neutron/neutron.conf keystone_authtoken project_domain_name Default openstack-config --set /etc/neutron/neutron.conf keystone_authtoken user_domain_name Default openstack-config --set /etc/neutron/neutron.conf keystone_authtoken project_name services openstack-config --set /etc/neutron/neutron.conf keystone_authtoken username neutron openstack-config --set /etc/neutron/neutron.conf keystone_authtoken password 000000 openstack-config --set /etc/neutron/neutron.conf oslo_concurrency lock_path /var/lib/neutron/tmp openstack-config --set /etc/neutron/plugins/ml2/openvswitch_agent.ini linux_openvswitch physical_interface_mappings extnet:ens33 openstack-config --set /etc/neutron/plugins/ml2/openvswitch_agent.ini agent tunnel_types vxlan openstack-config --set /etc/neutron/plugins/ml2/openvswitch_agent.ini agent l2_population true openstack-config --set /etc/neutron/plugins/ml2/openvswitch_agent.ini ovs bridge_mappings extnet:br-ex openstack-config --set /etc/neutron/plugins/ml2/openvswitch_agent.ini ovs local_ip 192.168.200.201 openstack-config --set /etc/neutron/plugins/ml2/openvswitch_agent.ini securitygroup enable_security_group true openstack-config --set /etc/neutron/plugins/ml2/openvswitch_agent.ini securitygroup firewall_driver iptables_hybridopenstack-config --set /etc/nova/nova.conf neutron auth_url http://192.168.200.200:5000/v3/ openstack-config --set /etc/nova/nova.conf neutron auth_type v3password openstack-config --set /etc/nova/nova.conf neutron project_domain_name Default openstack-config --set /etc/nova/nova.conf neutron user_domain_name Default openstack-config --set /etc/nova/nova.conf neutron region_name RegionOne openstack-config --set /etc/nova/nova.conf neutron project_name services openstack-config --set /etc/nova/nova.conf neutron username neutron openstack-config --set /etc/nova/nova.conf neutron password 000000systemctl enable neutron-openvswitch-agent.service systemctl start neutron-openvswitch-agent.serviceovs-vsctl add-br br-ex ovs-vsctl add-port br-ex ens33 echo "TYPE=Ethernet" >> /etc/sysconfig/network-scripts/ifcfg-ens33 echo "BOOTPROTO=none" >> /etc/sysconfig/network-scripts/ifcfg-ens33 echo "NAME=ens33" >> /etc/sysconfig/network-scripts/ifcfg-ens33 echo "DEVICE=ens33" >> /etc/sysconfig/network-scripts/ifcfg-ens33 echo "ONBOOT=yes" >> /etc/sysconfig/network-scripts/ifcfg-ens33rm -f /etc/sysconfig/network-scripts/ifcfg-br-ex echo "TYPE=Ethernet" >> /etc/sysconfig/network-scripts/ifcfg-br-ex echo "BOOTPROTO=none" >> /etc/sysconfig/network-scripts/ifcfg-br-ex echo "NAME=br-ex" >> /etc/sysconfig/network-scripts/ifcfg-br-ex echo "DEVICE=br-ex" >> /etc/sysconfig/network-scripts/ifcfg-br-ex echo "IPADDR=192.168.100.101" >> /etc/sysconfig/network-scripts/ifcfg-br-ex echo "PREFIX=24" >> /etc/sysconfig/network-scripts/ifcfg-br-ex echo "GATEWAY=192.168.100.2" >> /etc/sysconfig/network-scripts/ifcfg-br-ex echo "DEFROUTE=yes" >> /etc/sysconfig/network-scripts/ifcfg-br-ex echo "ONBOOT=yes" >> /etc/sysconfig/network-scripts/ifcfg-br-ex service network restart

cinder_storage

openstack-config --set /etc/cinder/cinder.conf database connection mysql+pymysql://cinder:000000@192.168.200.200/cinder openstack-config --set /etc/cinder/cinder.conf DEFAULT auth_strategy keystone openstack-config --set /etc/cinder/cinder.conf DEFAULT my_ip 192.168.200.201 openstack-config --set /etc/cinder/cinder.conf DEFAULT transport_url rabbit://openstack:000000@192.168.200.200:5672/ openstack-config --set /etc/cinder/cinder.conf keystone_authtoken www_authenticate_uri http://192.168.200.200:5000/v3/ openstack-config --set /etc/cinder/cinder.conf keystone_authtoken auth_url http://192.168.200.200:5000/v3/ openstack-config --set /etc/cinder/cinder.conf keystone_authtoken memcached_servers 192.168.200.200:11211 openstack-config --set /etc/cinder/cinder.conf keystone_authtoken auth_type password openstack-config --set /etc/cinder/cinder.conf keystone_authtoken project_domain_name Default openstack-config --set /etc/cinder/cinder.conf keystone_authtoken user_domain_name Default openstack-config --set /etc/cinder/cinder.conf keystone_authtoken project_name services openstack-config --set /etc/cinder/cinder.conf keystone_authtoken username cinder openstack-config --set /etc/cinder/cinder.conf keystone_authtoken password 000000 openstack-config --set /etc/cinder/cinder.conf oslo_concurrency lock_path /var/lib/cinder/tmpscp root@controller:/etc/ceph/ceph.client.cinder.keyring /etc/ceph/ scp root@controller:/etc/ceph/uuid-client.cinder /etc/ceph/ scp root@controller:/etc/ceph/client.cinder.key /etc/ceph/ virsh secret-define --file /etc/ceph/secret-client.cinder.xml virsh secret-set-value --secret $(cat /etc/ceph/uuid-client.cinder) --base64 $(cat /etc/ceph/client.cinder.key)openstack-config --set /etc/cinder/cinder.conf DEFAULT enabled_backends ceph openstack-config --set /etc/cinder/cinder.conf DEFAULT default_volume_type ceph openstack-config --set /etc/cinder/cinder.conf DEFAULT glance_api_servers http://192.168.200.200:9292 openstack-config --set /etc/cinder/cinder.conf ceph volume_driver cinder.volume.drivers.rbd.RBDDriver openstack-config --set /etc/cinder/cinder.conf ceph volume_backend_name ceph openstack-config --set /etc/cinder/cinder.conf ceph rbd_pool volumes openstack-config --set /etc/cinder/cinder.conf ceph rbd_ceph_conf /etc/ceph/ceph.conf openstack-config --set /etc/cinder/cinder.conf ceph rbd_flatten_volume_from_snapshot false openstack-config --set /etc/cinder/cinder.conf ceph rbd_max_clone_depth 5 openstack-config --set /etc/cinder/cinder.conf ceph rbd_store_chunk_size 4 openstack-config --set /etc/cinder/cinder.conf ceph rados_connect_timeout -1 openstack-config --set /etc/cinder/cinder.conf ceph glance_api_version 2 openstack-config --set /etc/cinder/cinder.conf ceph rbd_user cinder openstack-config --set /etc/cinder/cinder.conf ceph rbd_secret_uuid $(cat /etc/ceph/uuid-client.cinder)chgrp glance /etc/ceph/ceph.client.cinder.keyringsystemctl start openstack-cinder-volume.service systemctl enable openstack-cinder-volume.service

熱遷移

結(jié)合參數(shù):

libvirt live_migration_scheme = ssh libvirt live_migration_inbound_addr = 192.168.200.200libvirt live_migration_scheme = ssh libvirt live_migration_inbound_addr = 192.168.200.201 usermod -s "/bin/bash" nova echo "nova" | passwd nova --stdin su - nova ssh-keygen ssh-copy-id root@controller ssh-copy-id root@compute

總結(jié)

以上是生活随笔為你收集整理的OPENSTACK的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯,歡迎將生活随笔推薦給好友。

日韩在线免费播放 | 在线岛国av | 欧美日产在线观看 | 日韩在线播放欧美字幕 | 91网免费观看| av在线播放快速免费阴 | 国产精品久久久免费看 | 中文字幕在线视频一区 | 91精品久久久久久 | 久久精品这里热有精品 | 色之综合网 | 韩国av在线 | 国产又粗又硬又爽视频 | 欧美激情片在线观看 | 99精品久久精品一区二区 | 午夜影院三级 | 91cn国产在线 | 日韩精品视频第一页 | 久久这里有精品 | 激情综合中文娱乐网 | 最新国产精品拍自在线播放 | 2019免费中文字幕 | 日韩精品免费一线在线观看 | 久久成人国产精品免费软件 | 91看片黄色 | 日韩av影视 | 国产成人三级在线 | 91一区啪爱嗯打偷拍欧美 | 亚洲最新av在线网址 | 欧美日韩在线观看视频 | 在线观看av中文字幕 | 精品国产三级a∨在线欧美 免费一级片在线观看 | 日韩欧美69 | 97视频资源 | 欧美一区二区免费在线观看 | 国产高清视频免费在线观看 | av在线免费观看网站 | 国产一区二区三区在线免费观看 | 国产99久 | 国产91亚洲| 天天操天天舔天天干 | av三级在线免费观看 | 综合婷婷| 91麻豆精品国产91久久久久久久久 | 亚洲理论在线观看 | 色在线亚洲 | 欧美日本不卡高清 | 日韩视频一区二区三区在线播放免费观看 | 91精品办公室少妇高潮对白 | 国产最顶级的黄色片在线免费观看 | 99r国产精品| 欧美a视频在线观看 | 欧美日韩免费观看一区二区三区 | 精品久久久久久久久久 | 最新超碰在线 | 欧美视频国产视频 | 91精品对白一区国产伦 | 日本少妇久久久 | 国产精品免费观看网站 | 国产黑丝袜在线 | japanese黑人亚洲人4k | 亚洲精品国精品久久99热 | 国产理论片在线观看 | 国产精品区一区 | 狠狠狠干 | 日韩精品免费在线 | 国产原厂视频在线观看 | 婷久久| 日日干日日操 | 天天操夜夜干 | 亚洲精品黄色 | 久久久久久久久电影 | 操高跟美女 | 日韩欧美高清在线 | 久久成人人人人精品欧 | 久久av免费| 91麻豆精品国产91久久久使用方法 | 九九热视频在线播放 | 精品欧美小视频在线观看 | 天天综合网国产 | 综合色播 | 丝袜美腿在线视频 | 日韩免费视频一区二区 | 国产精品自在线拍国产 | 天堂网av 在线 | 亚州国产精品视频 | 午夜影院日本 | 久久精品一区二区三区中文字幕 | 国产91亚洲 | 免费在线电影网址大全 | 激情综合网在线观看 | 337p日本大胆噜噜噜噜 | 中文字幕在线久一本久 | 国产淫a| 亚洲精品午夜久久久 | 五月天丁香综合 | 国产精品久久久久久久久费观看 | 亚洲精品中文在线资源 | 91在线在线观看 | 最新中文字幕视频 | 久久久久久久免费观看 | 天天人人| 久99久精品 | 欧美日韩视频免费看 | 国产三级国产精品国产专区50 | 超碰在线人人草 | 日韩欧美视频在线观看免费 | 亚洲va欧美va人人爽 | 国产乱对白刺激视频在线观看女王 | 00av视频| 久久婷婷久久 | 瑞典xxxx性hd极品 | 激情婷婷综合 | 日韩精品一区二区三区免费视频观看 | 日韩久久久久久久久久 | 黄色在线成人 | 国产91小视频 | 久久久久久久久影视 | 一区二区欧美在线观看 | zzijzzij日本成熟少妇 | 美女网站视频一区 | 在线看小早川怜子av | 91看片在线 | 成人影视免费看 | 婷婷丁香视频 | 国产精品午夜av | 99国产精品久久久久老师 | 狠狠操狠狠干天天操 | 中文字幕av网站 | 在线观看a视频 | 在线观看精品一区 | 国产精品高清一区二区三区 | 高清视频一区二区三区 | 五月婷婷操 | 免费三级黄 | 五月激情丁香图片 | 91高清一区 | 欧美成人va| 黄色免费高清视频 | 成片免费观看视频 | 在线观看中文字幕第一页 | 91在线免费视频 | a级片久久 | 8x成人在线| 97成人精品视频在线播放 | av福利第一导航 | 很污的网站| 91九色视频在线播放 | 在线观看免费成人av | 久久久久国产成人精品亚洲午夜 | 亚洲国产日韩在线 | 国产成人在线免费观看 | 婷婷99| 精品国产免费看 | 精品美女视频 | 免费看成人a | 91av视频在线观看免费 | 韩日精品视频 | 欧美日韩免费观看一区=区三区 | 久久精品视 | 91av视频导航 | 伊人婷婷网| 中文字幕在线看 | 国产精品一区二区在线看 | aⅴ精品av导航 | 国产精品资源在线观看 | 日韩久久精品一区 | 国产精品网在线观看 | 午夜少妇一区二区三区 | 99精品久久久 | 丁香在线| 91专区在线观看 | 免费在线a| 中文字幕一区二区三区乱码在线 | 亚洲视频免费在线看 | av中文天堂在线 | 天天草综合网 | 69夜色精品国产69乱 | 福利一区视频 | 欧美 亚洲 另类 激情 另类 | 麻豆91在线观看 | 久久撸在线视频 | 亚洲综合小说电影qvod | 香蕉视频久久 | 成人午夜在线观看 | 欧美一级片播放 | www久久九 | 日韩精品一区二区三区免费观看视频 | 国产在线自 | 国产一级久久久 | 色婷婷伊人 | 在线看黄色的网站 | 国产三级午夜理伦三级 | 成人一区二区在线观看 | 国产 日韩 欧美 在线 | 成人国产精品久久久春色 | 最近2019中文免费高清视频观看www99 | 国产视频不卡 | 亚洲国产经典视频 | 国产亚洲永久域名 | 91精品国产自产91精品 | 91免费网| 亚洲成人资源在线 | 日韩av中文字幕在线免费观看 | 丰满少妇在线观看资源站 | 久草免费资源 | 亚洲精品国偷自产在线91正片 | 久久兔费看a级 | 中文在线a在线 | 国产成人亚洲在线观看 | 国产在线p| 2023av在线 | 国产大陆亚洲精品国产 | 亚洲国产mv | 欧美日韩另类视频 | 亚洲欧美精品一区二区 | 91精品国自产在线偷拍蜜桃 | 欧美最猛性xxxxx免费 | 人人爽人人澡人人添人人人人 | 黄色软件视频网站 | 国产精品久久久久久久7电影 | 黄色大片日本免费大片 | 成人国产精品一区二区 | 国产精品免费在线视频 | 亚洲免费不卡 | 97av影院 | 在线观看视频一区二区三区 | 久久成人18免费网站 | 91精品国产成人观看 | 久久嗨| 综合久久精品 | 中文字幕在线影视资源 | 日韩一区在线免费观看 | 91av在线视频播放 | 亚洲成人av片在线观看 | 五月婷婷丁香 | 超碰国产在线 | 国产精品久久久精品 | 在线免费观看视频一区 | 国产99在线免费 | 精品夜夜嗨av一区二区三区 | 国产精品99久久99久久久二8 | 免费看一级黄色大全 | 欧美日韩免费一区 | 国产精品丝袜久久久久久久不卡 | 国产精品久久久久久久av大片 | www黄| 亚洲丁香久久久 | 在线观看91视频 | 午夜视频在线观看一区二区三区 | 成人免费精品 | 国产日本亚洲高清 | 911在线 | 成人在线观看日韩 | 97在线精品国自产拍中文 | 中文乱码视频在线观看 | 婷久久 | 精品 激情 | 欧美国产亚洲精品久久久8v | 国产精品第7页 | 久久久久国产视频 | 四虎在线视频免费观看 | 成人小视频在线观看免费 | 亚洲欧美国内爽妇网 | 国产一级一级国产 | 久久艹精品 | 狠狠色噜噜狠狠狠合久 | 首页中文字幕 | 国产精品一区二区三区四 | 国产精品福利午夜在线观看 | 久久精国产 | 国产日韩欧美精品在线观看 | 免费一级片视频 | 麻豆免费精品视频 | 亚洲国产69 | 国产精品黄色 | 国产免费亚洲 | 欧美日韩国产二区三区 | 久久国产欧美日韩 | 天天操狠狠操网站 | 一级淫片在线观看 | 久久精品久久久精品美女 | 日韩免费在线观看视频 | 九九九九精品 | 久久久久久久久亚洲精品 | 欧美激情视频免费看 | 又黄又爽又刺激视频 | 一级片免费观看 | 国产精品黄网站在线观看 | 国产精品亚州 | 精品久久久久久久久亚洲 | 亚洲免费不卡 | 日本精品午夜 | 丁香花五月 | 天天操狠狠干 | 五月婷婷在线视频观看 | 精品视频久久久久久 | 久久免费中文视频 | 成人毛片在线观看 | 91桃色在线观看视频 | 国产女做a爱免费视频 | 国产视频久久久久 | 久久首页 | 精品视频在线视频 | 天天操天天添天天吹 | 免费看日韩片 | 九九在线视频 | 久久久精品二区 | 中文字幕在线观看第三页 | 成人av av在线 | 日日操天天爽 | 在线成人av | 亚洲成人黄色在线观看 | 日韩高清不卡在线 | 中文字幕av免费在线观看 | 亚洲精品白浆高清久久久久久 | 免费观看一级特黄欧美大片 | 亚洲国产理论片 | 久久久国产精品网站 | 天天碰天天操 | 99久久精品免费看国产四区 | 中文字幕在线影院 | 日韩丝袜在线 | 天天色天天射天天干 | 人人爱夜夜操 | 免费在线观看成人 | 在线观看视频一区二区 | 日韩精品中字 | 天天色天天干天天 | 992tv在线| 天天综合精品 | 成人蜜桃视频 | 久久香蕉电影网 | 亚洲理论片在线观看 | 日韩在线色视频 | 一区二区亚洲精品 | 天天舔天天搞 | 美女在线观看网站 | 免费三级a| 免费在线观看日韩视频 | av先锋影音少妇 | 日韩免费在线观看视频 | 免费亚洲成人 | 国产午夜精品一区二区三区四区 | 国产精品一区二区吃奶在线观看 | 国产91精品久久久久久 | 国产日韩精品一区二区在线观看播放 | 尤物97国产精品久久精品国产 | 综合国产在线观看 | 精品国产免费久久 | 免费a视频| 波多野结衣在线播放一区 | 黄色一级大片在线观看 | 日韩欧美视频二区 | 日韩久久影院 | 99免费在线播放99久久免费 | 色资源网在线观看 | 国产亚洲亚洲 | 国产精品va在线播放 | 香蕉视频网站在线观看 | 国产精品免费视频一区二区 | 天堂素人在线 | 亚洲人人精品 | mm1313亚洲精品国产 | 久久久久9999亚洲精品 | 国产婷婷vvvv激情久 | 色妞色视频一区二区三区四区 | 五月婷婷综合久久 | 日韩大片在线看 | 国产网站av | 亚洲精品国产精品国自 | 久久精品xxx| 91成人免费| 国产精品区免费视频 | 中文字幕在线中文 | 六月丁香婷婷久久 | 国产视频一区在线播放 | 蜜臀av麻豆 | 中文字幕免 | 日韩美女久久 | 黄色看片| a在线观看视频 | 色综合色综合久久综合频道88 | 成人毛片网 | 狠狠色香婷婷久久亚洲精品 | 99热在线免费观看 | 日韩电影在线一区二区 | 亚洲91视频| 婷婷在线资源 | 欧美午夜理伦三级在线观看 | 国产精品久久 | 日韩一级理论片 | 国产高清免费在线播放 | 狠狠五月天 | 美女激情影院 | 美女久久久久久久久久 | 国产成人综合精品 | 91视频免费网址 | 97中文字幕 | 国产午夜精品久久 | 黄色三级在线 | 韩国三级av在线 | 日韩欧美精品免费 | 夜夜操天天摸 | 亚洲狠狠丁香婷婷综合久久久 | 久久在线精品 | 国产精品一区二区62 | 亚在线播放中文视频 | 国产1级毛片 | 亚洲资源 | 亚洲视频中文 | 亚洲欧美视频 | 免费日韩一区 | 国产亚洲综合精品 | av资源免费观看 | 最近中文字幕在线 | 久久 一区 | 国产伦精品一区二区三区… | 久久久久久久久久久网 | 九九热有精品 | 亚洲伊人色 | 日韩亚洲在线观看 | 午夜视频在线网站 | 国产成人三级在线 | 久久美女免费视频 | 九九九九九精品 | 日本久久影视 | 国产字幕在线看 | 91免费试看| 少妇bbb好爽 | 97国产在线播放 | 免费a网| 99久久精品网 | 欧美a级在线 | 免费视频 你懂的 | 五月婷婷av | av大全在线看 | 久久神马影院 | 欧美人交a欧美精品 | 天天做天天干 | 欧美精品久久久久久久免费 | 国产亚洲精品成人av久久ww | 国产色拍拍拍拍在线精品 | 精品一区av | 久草五月 | 五月婷婷在线视频观看 | 9色在线视频 | 中文字幕一区在线观看视频 | 免费看成人av | 欧美精品久久天天躁 | 在线天堂中文www视软件 | 91成人短视频在线观看 | 欧美激情视频久久 | 中文字幕电影网 | 国产免费精彩视频 | 久久香蕉电影网 | 婷婷综合久久 | 久久国产系列 | 欧美一区二区三区在线视频观看 | 色资源网免费观看视频 | 国产一区二区影院 | 国产网站色 | 操操综合网 | 精品国产一区二区三区四区在线观看 | 亚洲美女精品 | 91看毛片| 欧美日韩精品在线观看 | 激情影院在线观看 | 亚洲精品乱码久久久久久蜜桃不爽 | 久久午夜色播影院免费高清 | 久久8精品| 国产精品av免费 | 免费精品人在线二线三线 | av中文字幕亚洲 | 黄色小说免费观看 | 日韩av电影免费在线观看 | 亚洲一区二区三区精品在线观看 | 激情视频免费在线观看 | 久久久综合电影 | 天天射天天爱天天干 | 欧美日韩高清国产 | 久久在线免费 | 欧美精品视 | av中文字幕日韩 | 精品久久久久久久久久久院品网 | 久久成人免费电影 | 亚洲三级在线 | 日韩在线观看影院 | 69精品在线观看 | 视频二区在线 | 天天操夜夜操夜夜操 | 久久精品国产精品 | 天天天天色射综合 | 日韩高清dvd | 免费h视频 | 婷婷草| 亚洲电影第一页av | 9ⅰ精品久久久久久久久中文字幕 | 丁香六月天 | 亚洲精品国产精品国自产观看 | 日本在线观看中文字幕 | 日韩高清一二三区 | 在线播放精品一区二区三区 | 日韩欧美视频一区 | 91色蜜桃 | 亚洲精品网址在线观看 | 久热超碰 | 日韩精品无码一区二区三区 | 不卡中文字幕在线 | 99se视频在线观看 | 国产精品视频app | 日日干干夜夜 | 亚洲aⅴ乱码精品成人区 | 人人网av | 日韩高清在线不卡 | 亚洲精品乱码久久久久久高潮 | 国产精品视频免费 | 中日韩三级视频 | 免费在线一区二区 | 亚洲精品 在线视频 | 国产一级精品在线观看 | 日韩av中文在线 | 欧美成人h版在线观看 | 丁香在线视频 | 免费亚洲成人 | 国产亚洲精品精品精品 | 视频国产 | 999日韩 | 天天天干夜夜夜操 | www.在线观看av| av电影免费在线播放 | 婷婷六月丁 | 丁香花在线视频观看免费 | 亚洲国产综合在线 | 国产精品久久久久久影院 | 国产色在线,com | 97在线成人 | 日韩免费一二三区 | 香蕉视频在线免费 | 欧美另类网站 | 在线免费黄 | 操操操综合 | 成人在线视 | av电影亚洲 | 国产99视频在线观看 | 亚洲黄色在线播放 | 麻豆国产露脸在线观看 | 在线中文字幕网站 | 欧美精品一区二区性色 | 国产一级免费片 | 99 久久久久| 99久久精品免费看国产免费软件 | 美女久久精品 | 色999视频| 午夜国产影院 | 亚洲va男人天堂 | 国产精品一区二区三区四 | 麻豆视频在线 | 天天摸日日摸人人看 | 国产精品一区二区中文字幕 | 一级黄毛片 | 美女免费视频观看网站 | 色综合久久久久 | 成人app在线免费观看 | 欧美日韩伦理一区 | 国产黄色片免费 | 18国产精品福利片久久婷 | 欧美成人在线网站 | 97超碰资源总站 | 亚洲午夜精品一区二区三区电影院 | 一级黄色网址 | 亚洲在线不卡 | 精品久久久一区二区 | 97在线视频网站 | 久久久亚洲网站 | 成年人视频在线 | 伊人首页| 日韩精品免费专区 | 婷婷丁香五| 国内三级在线 | av一区在线播放 | 色视频成人在线观看免 | 欧美日韩视频在线一区 | 91资源在线| 国产精品免费一区二区三区 | 999视频网 | 91人人人| 日韩午夜小视频 | 中文字幕在线免费看线人 | 激情五月婷婷综合网 | 色综合亚洲精品激情狠狠 | 超碰97人人干 | 成人a毛片 | 中文字幕免费高清在线 | 麻豆av一区二区三区在线观看 | 国产麻豆传媒 | 国产精品久久99精品毛片三a | 天天操天天爱天天爽 | 六月丁香激情综合色啪小说 | 超碰国产在线 | 在线色吧| 青春草免费视频 | 国产综合香蕉五月婷在线 | 婷婷色在线播放 | 99这里都是精品 | 久久免费精品国产 | 国产精品11 | 91精品国产自产在线观看 | 91亚洲夫妻 | 国产精品美 | 中文字幕日本在线观看 | 国产精品白丝jk白祙 | 一级黄色片在线免费观看 | 精品一区二区三区香蕉蜜桃 | 麻豆传媒电影在线观看 | 一区二区三区在线免费观看视频 | 精品久操| 国产精品区免费视频 | 最近2019好看的中文字幕免费 | 日本字幕网| 免费裸体视频网 | 日本论理电影 | 天天爽夜夜爽精品视频婷婷 | 97国产一区二区 | 99r在线精品 | 国产小视频网站 | 超碰在线公开 | 成av在线 | 久久草草热国产精品直播 | 欧美一区日韩精品 | 四虎8848免费高清在线观看 | 国产中文字幕在线观看 | 99精品一区二区三区 | 国产高清在线观看av | 69av在线视频 | 国产成人精品999在线观看 | 天天色棕合合合合合合 | 在线视频一区观看 | 涩涩成人在线 | 99久久综合精品五月天 | 中文字幕av免费在线观看 | av大片免费在线观看 | 成人毛片100免费观看 | 久久国产精品偷 | 欧美久久久久久久久久久久久 | 国产在线精| 亚洲网久久 | 丁香婷婷色综合亚洲电影 | 91亚洲精品久久久蜜桃借种 | 亚洲影视九九影院在线观看 | 国产在线免费观看 | 中文字幕人成人 | 国产v欧美 | 久草影视在线观看 | 日韩剧情| 日韩在线电影观看 | 国产成人一区二区精品非洲 | 欧美亚洲国产一卡 | 福利区在线观看 | av在线成人| 久久精品人人做人人综合老师 | 国产精品高清在线 | 美女黄濒 | 天天综合网~永久入口 | 99视频国产精品免费观看 | 国产一级二级三级在线观看 | 国产在线a视频 | 激情久久伊人 | 亚洲乱码一区 | 天天操天天干天天操天天干 | 日韩三级视频在线观看 | 成人午夜影视 | 婷婷丁香六月天 | 亚洲国产剧情av | 亚洲欧美偷拍另类 | 久久免费福利视频 | 激情综合五月网 | 日韩av在线一区二区 | av在线免费观看黄 | 91精品网站在线观看 | 国产999精品久久久影片官网 | 午夜视频在线瓜伦 | 久久99久久99精品免费看小说 | 国产精品久久久久久模特 | 久久综合久久综合这里只有精品 | 九色视频网站 | 97色资源 | 91成人免费视频 | 亚洲一级黄色片 | 久久久久久亚洲精品 | 少妇视频在线播放 | 国产中的精品av小宝探花 | 91麻豆精品国产自产在线 | 天天射天天干天天爽 | 麻豆小视频在线观看 | 久久久久久久久久电影 | 国产成人在线观看 | 久日精品| 国产专区在线视频 | 伊人色综合网 | 成人国产精品免费观看 | 91精品国产91热久久久做人人 | 国产九色在线播放九色 | 国产精品伦一区二区三区视频 | 激情开心网站 | 国产成人在线观看 | 黄色三级免费看 | 伊人资源视频在线 | 99热最新网址 | 一级片视频在线 | 久久久精品视频网站 | 欧美日韩99 | 亚洲成人二区 | 一区二区影视 | 在线视频免费观看 | 综合久久久久久久 | 日韩中文字幕网站 | 我爱av激情网 | 国内久久久久久 | 久草综合视频 | 国内99视频| 激情久久五月 | 久久99久久99久久 | 成人动漫一区二区三区 | 成人黄色电影在线观看 | 婷婷色伊人 | 国产精品99久久久久久久久 | 成人午夜免费剧场 | 91免费高清视频 | 黄色视屏av | a亚洲视频| 亚洲精品va| 日韩视| 福利一区二区在线 | 视频国产一区二区三区 | 免费高清在线观看成人 | 中文字幕一区二区三区精华液 | 久久网站最新地址 | 久久av网| 日韩精品一区不卡 | 日韩黄在线观看 | 亚洲色视频 | 午夜精品中文字幕 | 精品免费观看 | 久久免费视频一区 | 最新超碰在线 | 在线观看v片 | 国产手机在线 | 成人黄色在线播放 | 久久99精品久久久久蜜臀 | 日韩三级视频在线观看 | 国产不卡视频在线播放 | 日本精a在线观看 | 在线免费观看国产视频 | 九九久久婷婷 | 九九热免费在线观看 | 亚洲无在线 | 黄色成品视频 | 国内精品久久久久久久影视简单 | 成年人免费在线 | 五月婷婷丁香综合 | 亚洲最大av网站 | 综合久久久久 | 九九热中文字幕 | 欧美va天堂在线电影 | 夜夜躁日日躁狠狠躁 | 久久综合狠狠综合久久狠狠色综合 | 精品久久网 | 国产精品久久久久久久久久ktv | 友田真希av| 97在线免费 | 精品国产一区二区三区蜜臀 | 91影视成人 | 久久人人爽爽 | 麻豆国产精品视频 | 奇米影视在线99精品 | 激情久久一区二区三区 | 国产麻豆精品免费视频 | 不卡精品 | 久久夜色精品国产欧美乱 | 日韩精品一区二区在线观看 | 国产在线色 | 97色涩| 狠狠干电影 | 国产精品永久在线 | 久久久国产一区 | 免费视频成人 | 四虎影视国产精品免费久久 | av看片网| 九九免费精品 | 成人在线免费视频观看 | 欧美日韩伦理在线 | 美女黄视频免费 | 国产成人精品免费在线观看 | 久久久天堂 | 免费网址在线播放 | 欧美精品在线观看一区 | 二区三区在线视频 | 日韩一级黄色av | 亚洲国产黄色片 | 啪啪精品| 免费看网站在线 | 国产精品久久久久久久妇 | 国产一线二线三线在线观看 | 国产在线免费av | 色全色在线资源网 | 91亚洲永久精品 | 三上悠亚一区二区在线观看 | www在线观看视频 | 亚洲日本va中文字幕 | 日韩日韩日韩日韩 | 热re99久久精品国产99热 | 亚洲精品自拍视频在线观看 | 波多在线视频 | 色婷婷亚洲 | 亚洲精品无 | 热久久免费国产视频 | 91精品网站| 狠狠操天天操 | 成人av影视观看 | 婷婷国产精品 | 精品视频在线看 | 亚洲va在线va天堂va偷拍 | 国产一区二区三区久久久 | 亚洲欧美怡红院 | 免费在线视频一区二区 | 成全在线视频免费观看 | 91在线免费播放 | 国产精品一区二区在线 | 欧美一区二视频在线免费观看 | 在线观看免费黄视频 | 成人在线视频免费观看 | 国产在线播放一区二区三区 | 麻豆成人小视频 | 91香蕉视频720p | 97国产精品一区二区 | 日韩精品一区二区免费视频 | 日韩精品在线免费播放 | 日韩免费一区二区 | 色视频国产直接看 | 免费高清男女打扑克视频 | 国产精品免费观看在线 | 99视频精品全部免费 在线 | 国产在线观看h | 91网页版免费观看 | 精品一区二区日韩 | 国产精品麻豆果冻传媒在线播放 | 国产成人l区 | 中文字幕在线成人 | 国产视频在线免费 | 久久久国产精品一区二区三区 | 亚洲一区视频在线播放 | 免费在线激情视频 | 国产在线观看高清视频 | 在线观看黄色小视频 | 97超碰在线资源 | 亚洲九九九| 欧美日韩精品网站 | av在线播放观看 | 亚洲免费专区 | 黄色成人av | 久久伊99综合婷婷久久伊 | 日韩亚洲国产中文字幕 | 亚洲成av片人久久久 | 一级片在线 | 国产无套视频 | 在线播放 日韩专区 | 久久久美女 | 视频二区在线 | 日本aaaa级毛片在线看 | 亚洲精品国产第一综合99久久 | 日韩av播放在线 | 中文字幕在线免费看 | 日韩视频中文 | 黄色www在线观看 | 在线视频app | 91高清免费观看 | 97av色| 国产精品18久久久 | 国产亚洲精品久久久久久移动网络 | 探花在线观看 | 国产精品网红直播 | 久久精品国产v日韩v亚洲 | 久亚洲 | 国产无区一区二区三麻豆 | 亚洲精品美女久久久久网站 | 在线免费视 | 亚洲视频99| 国产亚洲精品久久久网站好莱 | 五月综合色婷婷 | 日韩高清观看 | 久草在线视频首页 | www.婷婷com | 成人黄色大片网站 | 亚洲女人av | 成人精品视频久久久久 | 久久夜色精品国产欧美乱极品 | 久久久久国产精品午夜一区 | 日韩欧美网站 | 欧美日韩伦理在线 | www色av| 久久精品欧美一 | 99热手机在线观看 | 91av中文| 国产一及片| 香蕉视频18 | 2019精品手机国产品在线 | 超碰在线人人爱 | 婷婷在线观看视频 | 亚洲精品影视在线观看 | 久久久久久久久久久电影 | 精品久久久久久久 | 国产精品18久久久久vr手机版特色 | 亚洲精品xx | 国产精品久久一 | 成年人国产在线观看 | 九色自拍视频 | 91av电影在线观看 | 亚洲国产欧美一区二区三区丁香婷 | 免费激情在线电影 | 久久午夜免费视频 | 九九视频精品免费 | 国产亚洲欧美在线视频 | 狠狠色婷婷丁香六月 | 一二三久久久 | av免费播放 | 超碰97在线人人 | 国内三级在线观看 | 国产精品成人免费一区久久羞羞 | 日韩欧美精品免费 | 国色天香在线 | 国产一区91 | 日韩v在线| 久久精品99国产 | 欧美日韩视频在线一区 | 九九热免费在线观看 | 亚洲欧洲精品一区 | 国产成人精品午夜在线播放 | 日本在线观看中文字幕 | 国产一级片播放 | 亚洲精品高清在线观看 | 狠狠色丁香婷婷综合基地 | 日韩国产欧美在线视频 | 日韩精品在线免费播放 | 久久99精品国产99久久 | 免费久久网站 | 成年人在线观看 | 国产99在线免费 | 久久99久久精品国产 | 激情综合网色播五月 | 国产一卡二卡四卡国 | 国产福利a | 91精品国产乱码 | 超碰日韩| 99久久精品久久亚洲精品 | 福利视频午夜 | 欧美一级视频免费看 | 久久久精品小视频 | 国产一区二区在线看 | 激情综合国产 | 波多野结衣电影一区二区三区 | 欧美午夜精品久久久久久浪潮 | 在线观看91精品国产网站 | 黄色成人av在线 | 九九电影在线 | 色欧美日韩 | 精品久久福利 | 久久久69| 九九爱免费视频在线观看 | 91社区国产高清 | 欧美久久久久 | 日本三级吹潮在线 | 欧洲视频一区 | 久久免视频 | 国产成人综 | www.黄色网.com| 免费观看完整版无人区 | 久久精品资源 | 999抗病毒口服液 | 日韩视频区 | 黄色avwww | 欧美va在线观看 | 99热国产精品 | 国产高清在线永久 | 成人一区二区在线 | 久久午夜网 | 久久久精品国产免费观看同学 | 成人av一区二区兰花在线播放 | av网站手机在线观看 | 久久人人97超碰国产公开结果 | 亚洲精品午夜久久久 | 成人黄色在线 | 日韩电影在线一区二区 | 国内精品免费 | 色成人亚洲 | 色99色 | 伊人久操| 国产综合香蕉五月婷在线 |