1. 配置SSH免密登录

    使用场景 如果想从A机器192.168.80.30登录B机器192.168.80.40,每次ssh gongenbo@192.168.80.40然后输密码是不是很麻烦呢,其实可以通过配置SSH实现免密登录 设置方法 1. 生成密钥 首先在A机器使用ssh-keygen命令生成密钥。

    2017/06/14 Linux

  2. 使用shell的nologin禁止用户登录

    使用场景 既不想删除用户,也不想删除用户的目录权限,只是想禁止用户登录,如果用户一登录就logout退出并提示相关信息。 设置方法 使用sudo权限修改/etc/passwd文件中用户后面的/bin/bash为/sbin/nologin。 vi /etc/passwd 新建 /etc/nologin.txt 这个文件,在文件内面写上不能登陆的原因,当用户登录时,屏幕上就会出现这个文件里面的内容。

    2017/06/14 Linux

  3. SparkFAQ

    1.java.io.InvalidClassException java.lang.RuntimeException: java.io.InvalidClassException: org.apache.spark.rpc.netty.RequestMessage; local class incompatible: stream classdesc serialVersionUID = -2221986757032131007, local class serialVersionUID = -5447855329526097695 可能是本地版本与服务器spark版本不一致所致 2.Invalid signature file digest for Manifest main attributes 删除打包文件目录下的文件 zip -d jar包名.jar 'META-INF/.SF' 'META-INF/.RSA' 'META-INF/*SF'

    2017/05/22 Spark

  4. 网络通讯高效序列化类protobuf

    简介 在http网络通讯时,一般使用Json或高效序列化类的方式对数据进行传输,高效序列化类比较流行的是谷歌的protocol buffer与spark的kryo。下面介绍一下protocol buffer,当对数据的描述由使用JSON改为Protobuf,这样就可通过IDL实现强制约束,包括数据类型、字段命名等,相比json格式protocol字段格式相对固定。 优点 protobuf 不管是处理时间上,还是空间占用上都优于现有的其他序列化方式。内存暂用是java 序列化的1/9,时间也是差了一个数量级,一次操作在1us左右。 缺点 缺点:就是对象结构体有限制,只适合于内部系统使用。 Mac安装Protobuf编译Java 安装Homebrew(如果已有编译环境这步可忽略)

    2017/05/10 Java