主要是C和C++编译器的配置和SYSROOT的配置。
还有一些是第三方库的cmake宏定义，例如openmpi，zlib：
2.1 sdk库和头文件的依赖
tops代码栈之前编译过程中依赖sdk的安装，所以建立了交叉编译工具链到sdk的lib库和dtu头文件路径的软链接，后面改成cmake_build下面的子目录传进来的做法之后，很多库在改变sysroot之后找不到了，所以在交叉编译工具链的根目录下面建立了到/home的软链接，确保改变sysroot之后也能找到相关的库和头文件。
2.2 x86_64-linux-gnu/lib和lib/x86_64-linux-gnu有什么差别
不同编译软件的搜索路径不一样，所以这些编译软件编译出来的库会存在搜索路径不一致的情况，这时为了统一，在某个目录放好源文件之后，另外一个目录需要建好软链接。
同样的差异还体现在include和x86_64-linux-gnu/include。
当前编译器的搜索路径可以用下面的命令查询。
库文件的搜索路径的查询命令”/home/.devtools/efb/efb_x86_64_gcc-5.5.0_glibc-2.17_linux/bin/x86_64-linux-gnu-gcc -print-search-dirs”，路径用”:”分隔：
头文件搜索路径的查询命令”/home/.devtools/efb/efb_x86_64_gcc-5.5.0_glibc-2.17_linux/bin/x86_64-linux-gnu-gcc -E -v -“：
一般需要添加到交叉编译工具链中。
3.1 大的第三方组件找不到
以python找不到为例。
需要在交叉编译工具链中增加python版本，当前增加了python3.5和python3.6，后续还需要增加python3.7和3.8，注意编译的时候需要增加sysroot的CFLAGS。
这类比较大的第三方组件需要用现有的交叉编译工具链进行编译。
3.2 小的第三方组件找不到
以sqlit找不到为例。
查了一下ubuntu1604上的sqlite包，发现里面不含glibc2.17以上的符号，直接下载增加到交叉编译工具链中。
查询：
下载：
解压：
deb包解压需要2步，先解压出data.tar.xz，再解压出数据文件：
解压完之后的目录结构如下，其中lib和include是我们需要的库和头文件，share部分文档不需要。将lib和include拷贝到交叉编译工具链的目录。
3.3 判断库是否使用了高版本GLIBC接口的方法
很多对外发布的库里面是不含symbol的，所以用nm命令查不到任何内容，这时可以使用strings命令来查，下面的命令结果表面libsqlite.so.0.8.6中需要使用GLIBC_2.2.5 / GLIBC_2.3 / GLIBC_2.4 / GLIBC_2.15 这几个版本的接口，当前环境只要GLIBC高于2.14就可以正常运行，我们当前的交叉编译工具链的版本是2.17，这种情况下就不需要额外自己编译这个库了。
主要是交叉编译工具链的传递，考虑到独立的cmake项目对应的infra的相对路径可能不一致，所以不能传相对路径的交叉编译工具链配置文件给独立的cmake项目，每个交叉编译工具链增加
CMAKE_TOOLCHAIN_FILE_FULL_PATH 变量类定义自己的全路径交叉工具链配置文件名。
先在sdk/toolchain/下面配置好，其他bazel项目建立到这个目录的软链接，确保全局只有一套bazel的交叉编译工具链配置。
对TensorFlow，如果配置了交叉编译工具链，还要配置host工具链，方便部分临时编译的host程序能通过执行来生成新的源代码，host工具链配置是bazel自带的。
bazel跨版本间的兼容性很差，一般网上别人给的toolchain配置，如果版本和当前不一样，一般都不能直接用，建议参考bazel编译过程中bazel自己生成的，一般在bazel编译路径的下面目录中可以找到：
bazel的配置项很多，大多数可以不改，但需要裁减掉不是相关host或者target的编译配置。
BUILD文件：
cc_toolchain_config.bzl：
部分项目的编译框架是python构建的，例如horovod，相关适配修改只能通过直接修改horovod的setup.py文件。
类似cmake的交叉编译工具链的配置，主要涉及CC/CXX/SYSROOT，要不然python项目中涉及的一些c或者c++代码的编译无法使用交叉编译工具链来编译。
如果python项目中有子项目是cmake或者bazel编译的话，需要参照其他cmake和bazel项目的编译配置方法进行配置。
7.1 不要直接修改全局的CC或者CXX，除非知道修改的影响
特别的，TensorFlow目标编译过程中需要host编译器编译的临时文件，在修改CC和CXX为交叉工具链编译的可执行文件之后，有可能在host上是无法运行。
但python项目又必须要修改CC和CXX，这时必须通过临时修改环境变量的做法，确保python项目里面使用的是交叉的CC和CXX，但其他项目还是用默认的CC和CXX。
7.2 bazel target的符号缺失问题
使用交叉编译工具链编译出来的bazel tf_cc_test目标，部分target会从动态链接变成静态链接，如果依赖规则里面没有alwayslink编译选项的话，可能导致部分.o静态链接的时候符号缺失，这种情况下需要增加alwayslink=1的选项。
Original: https://www.cnblogs.com/zhouronghua/p/16181617.html
Author: 周荣华
Title: 全栈交叉编译X86完成过程经验分享
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/805247/
转载文章受原作者版权保护。转载请注明原作者出处！