Tagged: PostgreSQL

PostgreSql 常用操作

登陆控制台

psql -U postgres -h localhost -W -d baseName

一、用户和权限管理

# 可以使用 \h CREATE ROLE 查看语法
CREATE ROLE rolename;
CREATE USER username;

# 例子
CREATE USER jalena WITH CREATEDB LOGIN PASSWORD 'jalena';

CREATE USER和CREATE ROLE的区别在于,CREATE USER指令创建的用户默认是有登录权限的,而CREATE ROLE没有。

# 修改用户权限
ALTER USER jalena WITH NOCREATEDB; # 取消数据库创建权限
ALTER USER jalena WITH PASSWORD 'password'; # 修改密码

定义存取权限

# 授予jalena对demo库所有的权限
GRANT ALL PRIVILEGES ON DATABASE demo TO jalena;

# 只授予某个权限
GRANT UPDATE ON DATABASE demo TO jalena;
GRANT SELECT ON ALL TABLES IN SCHEMA PUBLIC TO jalena;

# 特殊符号《ALL》代表所有权限,《PUBLIC》代表所有用户
GRANT ALL ON demo TO jalena; # 赋给用户所有全选
GRANT SELECT ON demo TO PUBLIC; # 将SELECT权限赋予所有用户

二、备份

PostgreSql提供了2个备份命令,分别为pg_dump和pg_dumpall,这种方式可以在数据库正在使用的时候进行完整一致的备份, 并不阻塞其它用户对数据库的访问。

使用说明可以使用pg_dump --help查看。

pg_dump -F c -f <filename.dmp> -C -E UTF-8 -U <DataBaseUser> <DataBaseName>
pg_dumpall -U postgres -F c -c -f all.dmp

三、恢复

CREATE USER jalena WITH CREATEDB PASSWORD 'password';
CREATE DATABASE demo OWNER jalena;
GRANT ALL PRIVILEGES ON DATABASE odam to inspur;

pg_restore -j5 -U <DBUSER> -W -d <DBNAME> -v <FILEPATH>

四、表与文件之间的拷贝

postgresql提供了COPY命令用于表与文件(标准输出、标准输入)之间的相互拷贝,COPY TO由表至文件,COPY FROM由文件至表。

# 将整张表拷贝至标准输出
copy res_users to stdout;

# 将表的部分字段拷贝至标准输出,且输出字段名称,字段间使用','分割
copy res_users(id,login) to stdout delimiter ',' csv header;

# 将查询结果拷贝至标准输出
copy(select id,login from res_users) to stdout delimiter '|' quote '"' csv header;

将标准输入拷贝至表中需要注意几点

  1. 字段间分割符默认使用【Tab】键
  2. 换行使用回车键
  3. 结束使用反斜线加英文标点(\.)
  4. 指定字段顺序,不然会出现错误的赋值
#将标准输入拷贝至表中
copy res_users(id,login) from stdin;
>> 1	login1
>> 2	login2
>> \.

# 从标准输入拷贝至表中,并将标准输入第一行作为字段名,字段分隔符为','
copy res_users(id,login) from stdin delimiter ',' csv header;
>> 1,login1
>> 2,login2
>> \.

以上是表与标准输入、输出之间的相互拷贝,表与文件的拷贝和以上完全相同,只是将标准输入、输出换成文件。需要注意的是

  1. 数据库用户必须有文件所在路径的写权限
  2. 如果表存在中文字符,导出至csv文件时需要设置编码为GBK,否则使用excel打开中文显示乱码
  3. 将文件导入表中时任然需要考虑编码问题
# 将表拷贝至csv文件中
copy res_users to 'D:/res_users.csv' delimiter ',' csv header;

# 以GBK编码拷贝到cvs文件
copy res_users to 'D:/res_users.csv' delimiter ',' csv header encoding  'GBK';
# 将文件导入至表中
copy res_users from 'd:/res_users.csv' delimiter ',' csv header encoding 'GBK';

五、PSQL常用命令

-- 查看所有psql可执行的命令
\?

-- 退出控制台
\q

-- 退出当前执行命令
q

-- 更改当前工作目录
\cd [目录]

-- 从文件中执行命令
\i 文件

-- 列出全部数据库
\l

-- 列出全部序列
\ds

-- 切换当前数据库到指定的数据库
\c [database_name]

-- 显示所有的表
\dt

-- 显示指定的表的结构
\d [table_name]

-- 显示视图
\dv

-- 列出全部用户
\du or \dg

-- 列出当前数据库和连接的信息
\conninfo

-- 修改用户密码
\password uesrname

Postgres 日志分析

最近在项目开发过程中发现客户方总是出现卡顿,数据服务器峰值出现驼峰的情况,所以需要分析数据库日志,且ODOO使用的是 Postgres  的数据库,靠眼睛去看那是分析不出啥的。

pgBadger乃是 Postgres 的一个分析工具

项目地址:https://github.com/darold/pgbadger

yum install -y pgbadger
which pgbadger
pgbadger postgresql-* -f syslog

命令执行完成后,会在当前命令执行目录生成一个out.html的文件。

Postgresql pg_dump: 因为服务器版本不匹配而终止

之前在生产环境部署的Postgresql为9.6版本,但最近在备份数据的时候发现他所使用的客户端居然是9.2的版本。。

# 查看已安装的postgresql程序
yum list installed |grep postgresql

# 查看Yum已安装的源
yum repolist

# 引入postgresql对应版本的源
# http://yum.postgresql.org/repopackages.php
rpm -Uvh https://download.postgresql.org/pub/repos/yum/9.6/redhat/rhel-7-x86_64/pgdg-centos96-9.6-3.noarch.rpm

# 查找需要的版本
yum search postgresql --enablerepo=pgdg96

# 安装对应版本的客户端
yum install -y postgresql96

# 查看执行程序路径
find / -name pg_dump -type f

# 替换低版本
ln -snf /usr/pgsql-9.6/bin/pg_dump /usr/bin/pg_dump

备份命令

su - postgres -c "pg_dump -U odoo -Fc -d Yunshang -f Yunshang.dump"

恢复命令

createdb -U odoo Yunshang
pg_restore -v -U odoo "F:\python\YunShangZhuangShi\Yunshang.dump"

Centos7 部署 Odoo10.0 生产环境

更新

  • 经验证PostgreSQL 10在Odoo10下会引起一些运行问题,例如序号无法正常工作。2017年10月8日 已修复

准备工作

# EPEL repository
yum install -y epel-release yum-utils yum-fastestmirror python-pip python-wheel
yum upgrade python-setuptools
pip install --upgrade pip

# Update OS
yum -y update

PostgreSQL安装

# 获取安装源地址:https://yum.postgresql.org/repopackages.php#pg96
yum install -y https://download.postgresql.org/pub/repos/yum/9.6/redhat/rhel-7-x86_64/pgdg-centos96-9.6-3.noarch.rpm
# 清理缓存
yum clean all

# 查找当前最新的版本
yum -y search postgresql96
yum list | grep postgresql96

# 安装
yum -y install postgresql96-server

# 查看安装好的服务名
systemctl -l | grep postgresql
systemctl list-unit-files | grep postgresql

# 初始化数据库
find / -name postgresql*-setup
/usr/pgsql-9.6/bin/postgresql96-setup initdb

# 设置开机启动
systemctl enable postgresql-9.6

# 启动数据库
systemctl start postgresql-9.6

# 查看服务运行情况
systemctl status postgresql-9.6

# 停止服务
systemctl stop postgresql-9.6

# 重置超级管理员密码
su - postgres -c psql
alter user postgres with password 'new password';
# 查看用户
\du
# 查看帮助
\? 
# 退出 
\q
# 开启外部访问
# FAQ:https://www.postgresql.org/docs/9.6/static/auth-pg-hba-conf.html
find / -name pg_hba.conf
echo "host    odoo    all    0.0.0.0/0    md5" >> /var/lib/pgsql/9.6/data/pg_hba.conf

# 开放防火墙postgresql服务
firewall-cmd --permanent --get-services | grep postgresql # 查看防火墙规则文件是否存在
firewall-cmd --add-service=postgresql --permanent 
# 重载防火墙
firewall-cmd --reload
# 查看是否开启
firewall-cmd --query-service postgresql
firewall-cmd --list-services
firewall-cmd --list-all

Odoo 安装

# 添加Odoo 10 源
yum-config-manager --add-repo=https://nightly.odoo.com/10.0/nightly/rpm/odoo.repo

# 安装Odoo 10
yum update && yum -y install odoo

# 生成配置文件
odoo --save --config myodoo.cfg --stop-after-init

# 设置开机启动
systemctl enable odoo

# 修改配置
vi /etc/odoo/odoo.conf

# 启动Odoo
systemctl start odoo

# 重启Odoo
systemctl restart odoo

# 停止Odoo
systemctl stop odoo

# 检查运行情况
systemctl status odoo
ps aux | grep odoo

# 查看运行日志
tail -f /var/log/odoo/odoo-server.log

# 开启防火墙
firewall-cmd --zone=public --add-port=8069/tcp --permanent
# 重载规则
firewall-cmd --reload
# 查看是否生效
firewall-cmd --list-all
Read more

PostgreSQL 绿色版安装及初始化

程序下载地址:https://www.enterprisedb.com/download-postgresql-binaries

Step 1 下载及准备

下载适合自己的版本,解压到适当的目录;

Step 2 初始化

# 查看帮助
initdb --help

# 执行初始化
initdb -D data -E UTF-8 --locale=C -U User -W

# 注册系统服务
pg_ctl register -N PostgreSQL -D "D:\Program Files\pgsql\data"

设定系统变量

设定PGDATA目录环境变量
增加执行程序环境变量

Step 3 启动

pg_ctl -D data -l logfile start

pg_hba.conf

在pg_hba.conf文件中,每条记录占一行,指定一条访问认证规则。

总的来说访问控制记录大致有以下7种形式:

local      database  user  auth-method  [auth-options]
host       database  user  address  auth-method  [auth-options]
hostssl    database  user  address  auth-method  [auth-options]
hostnossl  database  user  address  auth-method  [auth-options]
host       database  user  IP-address  IP-mask  auth-method  [auth-options]
hostssl    database  user  IP-address  IP-mask  auth-method  [auth-options]
hostnossl  database  user  IP-address  IP-mask  auth-method  [auth-options]

下面对每个字段分别进行说明。

连接方式(type)

连接方式有四种:local 、host、hostssl、hostnossl

local

这条记录匹配通过 Unix 域套接字进行的联接企图, 没有这种类型的记录,就不允许 Unix 域套接字的联接。

host

这条记录匹配通过TCP/IP网络进行的联接尝试.他既匹配通过ssl方式的连接,也匹配通过非ssl方式的连接。

注意:要使用该选项你要在postgresql.conf文件里设置listen_address选项,不在listen_address里的IP地址是无法匹配到的。因为默认的行为是只在localhost上监听本地连接。

hostssl

这条记录匹配通过在TCP/IP上进行的SSL联接企图。

要使用该选项,服务器编译时必须使用--with-openssl选项,并且在服务器启动时ssl设置是打开的,具体内容可见这里

hostnossl

这个和上面的hostssl相反,只匹配通过在TCP/IP上进行的非SSL联接企图。

数据库(database)

声明记录所匹配的数据库。

值 all 表明该记录匹配所有数据库;

值 sameuser表示如果被请求的数据库和请求的用户同名,则匹配;

值samegroup 表示请求的用户必须是一个与数据库同名的组中的成员;

值 replication 表示匹配一条replication连接,它不指定一个特定的数据库,一般在流复制中使用;

在其他情况里,这就是一个特定的 PostgreSQL 数据库的名字。 我们可以通过用逗号分隔的方法声明多个数据库。 一个包含数据库名的文件可以通过对该文件前缀 @ 来声明.该文件必需和 pg_hba.conf 在同一个目录。

用户名(user)

为这条记录声明所匹配的 PostgreSQL 用户,值 all 表明它匹配 于所有用户。否则,它就是特定 PostgreSQL 用户的名字,多个用户名可以通过用逗号分隔的方法声明,在名字前面加上+代表匹配该用户组的所有用户。一个包含用户名的文件可以 通过在文件名前面前缀 @ 来声明,该文件必需和 pg_hba.conf 在同一个目录。

主机地址(address)

指定匹配的客户端的地址,它可以是一个主机名,一个IP地址范围,或者下面提到的这些选项。

一个IP地址范围是一个标准的点分十进制表示的 IP地址/掩码值。注意, 在'IP地址','/'和'掩码值'之间不要有任何的空白字符。

比如对于IPv4地址来说, 172.20.143.89/32指定单个主机的IP,172.20.143.0/24代表一个小的子网。对于IPv6地址来说,::1/128指定单个主机(这里是本机环回地址),fe80::7a31:c1ff:0000:0000/96 指定一个IPv6的子网。0.0.0.0/0代表所有IPv4地址,::0/0代表所有IPv6地址。

一个IPv4地址选项只能匹配IPv4地址,一个IPv6地址选项只能匹配IPv6地址,即使给出的地址选项在IPV4和IPv6中同时存在。

当然你可以使用 all 选项来匹配所有的IP地址,使用 samehost 匹配服务器自己所有的IP地址,samenet来匹配服务器直接接入的子网。

如果指定的是主机名(既不是IP地址也不是上面提到的选项),这个主机名将会和发起连接请求的客户端的IP地址的反向名称解析结果(即通过客户端的IP解析其主机名,比如使用反向DNS查找)进行比对,如果存在匹配,再使用正向名称解析(例如DNS查找)将主机名解析为IP地址(可能有多个IP地址),再判断客户端的IP地址是否在这些IP地址中。如果正向和反向解析都成功匹配,那么就真正匹配这个地址(所以在pg_nba.conf文件里的主机地址必须是客户端IP的 address-to-name 解析返回的那个主机名。一些主机名数据库允许将一个IP地址和多个主机名绑定,但是在解析IP地址时,操作系统只会返回一个主机名)。

有些主机名以点(.)开头,匹配那些具有相同后缀的主机名,比如.example.com匹配foo.example.com(当然不仅仅只匹配foo.example.com)。

还有,在pg_hba.conf文件中使用主机名的时候,你最好能保证主机名的解析比较快,一个好的建议就是建立一个本地的域名解析缓存(比如nscd)。

本选项只能在连接方式是host,hostssl或者hostnossl的时候指定。

ip地址(ip-address)、子网掩码(ip-mask)

这两个字段包含可以看成是标准点分十进制表示的 IP地址/掩码值的一个替代。例如。使用255.255.255.0 代表一个24位的子网掩码。它们俩放在一起,声明了这条记录匹配的客户机的 IP 地址或者一个IP地址范围。本选项只能在连接方式是host,hostssl或者hostnossl的时候指定。

认证方法(authentication method)

trust

无条件地允许联接,这个方法允许任何可以与PostgreSQL 数据库联接的用户以他们期望的任意 PostgreSQL 数据库用户身份进行联接,而不需要口令。

reject

联接无条件拒绝,常用于从一个组中"过滤"某些主机。

md5

要求客户端提供一个 MD5 加密的口令进行认证,这个方法是允许加密口令存储在pg_shadow里的唯一的一个方法。

password

和"md5"一样,但是口令是以明文形式在网络上传递的,我们不应该在不安全的网络上使用这个方式。

gss

使用GSSAPI认证用户,这只适用于 TCP/IP 连接。

sspi

使用SSPI认证用户,这只适用于 Windows 连接。

peer

获取客户端的操作系统的用户名并判断他是否匹配请求的数据库名,这只适用于本地连接。

ldap

使用LDAP服务进行验证。

radius

使用RADIUS服务进行验证。

cert

使用SSL服务进行验证。

pam

使用操作系统提供的可插入的认证模块服务 (Pluggable Authentication Modules)(PAM)来认证。

Archives